تصمیم‌گیری با داده و شواهد چیست و چه تفاوتی با اطلاعات داشتن دارد؟
تصمیم‌گیری با داده و شواهد در ساده‌ترین تعریف یعنی اینکه بین «آنچه می‌دانیم»، «آنچه تصور می‌کنیم» و «آنچه هنوز نمی‌دانیم» تمایز بگذاریم.
این تعریف ظاهراً بدیهی است، اما بخش بزرگی از خطاهای تصمیم‌گیری دقیقاً از همین‌جا شروع می‌شود. ذهن انسان دوست دارد فاصله میان مشاهده و نتیجه‌گیری را خیلی سریع پر کند. ما الگویی می‌بینیم و بلافاصله برای آن داستان می‌سازیم. موفقیتی را می‌بینیم و دنبال علتش می‌گردیم. عدد بزرگی می‌بینیم و آن را مهم می‌دانیم. نمونه کوچکی می‌بینیم و از آن قاعده‌ای بزرگ استخراج می‌کنیم.
مشکل این نیست که ذهن انسان منطقی نیست. مسئله این است که مغز برای تصمیم‌گیری در دنیای واقعی از میان‌برهای شناختی استفاده می‌کند. این میان‌برها در بسیاری از موقعیت‌ها مفیدند؛ اما وقتی با محیط‌های آماری پیچیده، شواهد ناقص و عدم قطعیت مواجه می‌شویم، می‌توانند ما را به نتیجه‌ای برسانند که از داده‌ها فاصله زیادی دارد.
پژوهش‌های مربوط به استدلال احتمالی و خطاهای شناختی بارها نشان داده‌اند که انسان‌ها، حتی زمانی که اطلاعات لازم برای پاسخ درست را در اختیار دارند، ممکن است به دلیل نادیده گرفتن نرخ پایه، گرفتار شدن در شباهت ظاهری یا تمرکز بیش از حد بر نشانه‌ای برجسته، احتمال واقعی را اشتباه برآورد کنند.
پس شاید نخستین سؤال هنگام مواجهه با یک ادعا این نباشد که «آیا این داده‌ها با نظر من سازگارند؟» بلکه این باشد: «این داده‌ها دقیقاً چه چیزی را اندازه گرفته‌اند، چگونه جمع‌آوری شده‌اند و تا چه حد می‌توانند ادعایی را که از آن‌ها استخراج شده پشتیبانی کنند؟»
تصور کنید کسی به شما می‌گوید: «۹۰ درصد مشتریان ما از محصول راضی‌اند.»
جمله قدرتمندی است. اما ۹۰ درصد از چه تعداد؟ از ۱۰ نفر؟ از هزار نفر؟ چه کسانی پرسشنامه را پر کرده‌اند؟ آیا مشتریان ناراضی بیشتر از پاسخ دادن خودداری کرده‌اند؟ سؤال دقیقاً چه بوده است؟ «رضایت دارید؟» یا «آیا محصول فوق‌العاده است؟»
آیا شرکت فقط مشتریانی را بررسی کرده که به‌تازگی خرید کرده‌اند؟ آیا نمونه نماینده کل مشتریان بوده است؟
همان عدد ۹۰ درصد می‌تواند در یک موقعیت شاهدی مهم و در موقعیتی دیگر تقریباً بی‌معنا باشد.
چگونه اعتبار منابع و داده‌ها را ارزیابی کنیم؟
تفاوت افزایش نسبی و افزایش مطلق چیست؟
فرض کنید احتمال موفقیت یک روش ۱۰ درصد بوده و بعد از مداخله به ۱۳ درصد رسیده است. افزایش نسبی ۳۰ درصدی اتفاق افتاده، اما افزایش مطلق فقط ۳ واحد درصد است.
اگر موضوع تصمیم‌گیری حساس باشد، این تفاوت می‌تواند بسیار مهم باشد. انسان‌ها در برابر تفاوت‌های نسبی واکنش شدیدتری نشان می‌دهند، زیرا عبارت‌هایی مانند «۳۰ درصد افزایش» از نظر روانی بزرگ‌تر به نظر می‌رسند؛ اما برای تصمیم‌گیری، گاهی تفاوت مطلق اهمیت بسیار بیشتری دارد.
این مسئله در پزشکی، اقتصاد، سیاست‌گذاری و حتی تصمیم‌های شخصی مرتباً تکرار می‌شود.
اگر خطر رویدادی از ۱ در ۱۰۰۰ به ۲ در ۱۰۰۰ برسد، خطر نسبی ۱۰۰ درصد افزایش یافته است؛ اما خطر مطلق هنوز فقط یک واحد در هزار افزایش پیدا کرده است. بدون دانستن خط پایه، درصد می‌تواند تصویری بسیار متفاوت از واقعیت بسازد.
اما حتی اگر منبع اطلاعات معتبر باشد، سؤال بعدی باقی می‌ماند: چه تعداد مشاهده پشت این ادعا وجود دارد؟
ذهن انسان ویژگی عجیبی دارد. یک مشاهده کافی است تا بتوانیم داستانی بسیار قانع‌کننده بسازیم. اما برای برآورد یک الگو، تعداد مشاهده‌ها اهمیت پیدا می‌کند.
تصور کنید پنج نفر را می‌شناسید که بعد از مهاجرت به کشوری خاص موفق شده‌اند. آیا از این پنج نفر می‌توان نتیجه گرفت که مهاجرت به آن کشور معمولاً به موفقیت منجر می‌شود؟
نه.
شاید این پنج نفر از قبل سرمایه، تحصیلات، شبکه اجتماعی یا ویژگی‌هایی داشته‌اند که آن‌ها را از جمعیت عمومی متمایز می‌کند. شاید صدها نفری که مهاجرت کرده‌اند و نتیجه خوبی نگرفته‌اند، اصلاً در داستان شما حضور ندارند.
نمونه‌گیری و سوگیری نمونه؛ چرا داده‌های زیاد همیشه معتبر نیستند؟
بنابراین وقتی با یک عدد روبه‌رو می‌شویم، بهتر است به‌جای پرسیدن صرفِ «چند نفر؟»، چند سؤال دیگر را نیز بپرسیم:
چه کسانی؟ چگونه انتخاب شدند؟ چه کسانی حذف شدند؟ چه کسانی پاسخ ندادند؟ چه چیزی اندازه‌گیری شد؟ در چه زمانی اندازه‌گیری شد؟ و آیا این نمونه واقعاً نماینده گروهی است که ما درباره آن تصمیم می‌گیریم؟
اینجاست که مسئله «سوگیری نمونه‌گیری» وارد می‌شود.
فرض کنید دانشگاهی می‌خواهد بداند دانشجویان چقدر از غذای سلف راضی‌اند. اگر پرسشنامه را فقط کنار رستوران دانشگاه قرار دهد و از دانشجویانی که همان لحظه در حال غذا خوردن هستند نظر بگیرد، ممکن است نمونه به‌طور سیستماتیک به نفع کسانی باشد که در آن روز از سلف استفاده کرده‌اند.
کسانی که به دلیل نارضایتی شدید دیگر به آنجا نمی‌روند، در نمونه حضور ندارند.
این یعنی حتی اگر ده هزار نفر پاسخ دهند، مشکل بنیادی برطرف نشده است. نمونه‌ای بسیار بزرگ می‌تواند بسیار دقیق باشد، اما دقیقاً درباره جمعیت اشتباه.
تفاوت دقت و درستی در تحلیل داده چیست؟
این تمایز مهم است: «دقت» و «درستی» یک چیز نیستند.
اگر ترازو هر بار وزن شما را دقیقاً دو کیلوگرم بیشتر نشان دهد، اندازه‌گیری‌هایش تکرارپذیرند؛ اما درست نیستند.
در آمار هم ممکن است برآوردی با خطای تصادفی کم داشته باشیم، ولی به دلیل سوگیری سیستماتیک از واقعیت دور باشیم.
اینجا یکی از خطرناک‌ترین سوءتفاهم‌ها درباره داده شکل می‌گیرد: تصور می‌کنیم هرچه عددها بیشتر باشند، حقیقت به‌طور خودکار بیشتر می‌شود.
اما داده زیاد می‌تواند یک خطای سیستماتیک را هم در مقیاسی بزرگ تکرار کند.
پایگاه داده عظیمی را در نظر بگیرید که رفتار میلیون‌ها کاربر اینترنتی را ثبت می‌کند. اگر سؤال از ابتدا به شکل نادرستی تعریف شده باشد، اگر متغیر اصلی بد اندازه‌گیری شده باشد یا اگر بخشی از جمعیت در داده وجود نداشته باشد، میلیون‌ها مشاهده لزوماً مشکل را حل نمی‌کنند.
همبستگی و علیت؛ آیا هر رابطه آماری نشان‌دهنده علت است؟
این مسئله در زندگی واقعی اهمیت زیادی دارد، زیرا بسیاری از روابط آماری ساختاری پیچیده دارند و تشخیص علت آن‌ها دشوار است.
اگر درآمد بالا با رضایت بیشتر از زندگی همراه باشد، آیا درآمد علت رضایت است؟
احتمالاً بخشی از رابطه می‌تواند علّی باشد، اما متغیرهای دیگری مانند سلامت، آموزش، شغل، امنیت، روابط اجتماعی و شرایط خانوادگی نیز ممکن است در این ارتباط نقش داشته باشند.
از سوی دیگر، ممکن است رابطه در جهت دیگری نیز کار کند: افراد سالم‌تر و راضی‌تر شاید بتوانند بهتر کار کنند و درآمد بیشتری به دست آورند.
یک نمودار دو‌متغیره معمولاً به ما نمی‌گوید «چه چیزی، چه چیزی را ایجاد کرده است».
علم برای پاسخ به سؤال علّی، به طراحی پژوهش نیاز دارد. یکی از دلایل اهمیت کارآزمایی تصادفی کنترل‌شده همین است.
وقتی افراد به‌صورت تصادفی به گروه‌های مختلف تخصیص داده می‌شوند، تلاش می‌شود تفاوت‌های اولیه میان گروه‌ها به شکلی غیرسیستماتیک توزیع شود. در نتیجه، اگر بعداً اختلافی در پیامد مشاهده شود، با رعایت سایر شرایط طراحی پژوهش، احتمال اینکه این اختلاف ناشی از مداخله باشد بیشتر می‌شود.
تصادفی‌سازی یکی از ابزارهای مهم برای کاهش تأثیر عوامل مخدوش‌کننده در بررسی روابط علّی است.
داستان زملوایس؛ چگونه داده‌ها به کشف یک علت کمک کردند؟
تاریخ پزشکی نمونه بسیار جالبی برای دیدن این تحول است.
در میانه قرن نوزدهم، ایگناتس زملوایس، پزشک مجارستانی، متوجه شد مرگ مادران پس از زایمان در یکی از کلینیک‌های بیمارستان عمومی وین به‌طور محسوسی بیشتر از کلینیک دیگر است.
یکی از تفاوت‌های مهم این بود که پزشکان و دانشجویان پزشکی کلینیک اول با کالبدشکافی سروکار داشتند و سپس به بخش زایمان می‌رفتند.
زملوایس فرض کرد ماده‌ای از اجساد به مادران منتقل می‌شود و پیشنهاد شست‌وشوی دست با محلول کلردار را مطرح کرد.
پس از اجرای این مداخله، مرگ‌ومیر در کلینیک کاهش یافت. تحلیل‌های تاریخی بعدی نیز الگوی داده‌های او را با فرضیه انتقال عفونت سازگار دانسته‌اند.
اما این داستان فقط داستان یک کشف پزشکی نیست؛ داستان قدرت و محدودیت داده است.
زملوایس ابتدا با یک تفاوت مواجه شد: دو بخش وجود داشتند و مرگ‌ومیرشان متفاوت بود. سپس دنبال توضیحی برای این تفاوت گشت.
اگر فقط به همبستگی نگاه می‌کرد، می‌توانست فرضیه‌های متعددی بسازد. اما چیزی که فرضیه او را تقویت کرد، «مداخله» بود.
شست‌وشوی دست صرفاً یک مشاهده جدید نبود؛ تغییری در شرایط ایجاد کرد و پیامد آن تغییر مشاهده شد.
آزمایش‌های علمی و شواهد علّی؛ چگونه علت واقعی را شناسایی کنیم؟
یکی از نقاط عطف مهم در تاریخ علم پزشکی، کارآزمایی استرپتومایسین برای درمان سل در سال ۱۹۴۸ بود.
این مطالعه که توسط شورای پژوهش پزشکی بریتانیا انجام شد، بیماران را به گروه درمان و کنترل اختصاص داد و از روش تخصیص تصادفی استفاده کرد. گزارش منتشرشده آن در همان سال، یکی از نقاط عطف مهم در تاریخ کارآزمایی‌های بالینی شناخته می‌شود.
جالب اینکه ایده تصادفی‌سازی پیش از آن در آزمایش‌های کشاورزی مطرح شده بود و مطالعات پزشکی دیگری نیز پیش از انتشار این پژوهش از روش‌های تصادفی استفاده کرده بودند.
این مثال درس دیگری به ما می‌دهد: شواهد فقط نتیجه عددی مطالعه نیستند؛ روش تولید آن عدد نیز بخشی از خود شواهد است.
اگر دو مطالعه بگویند «این روش باعث ۲۰ درصد بهبود شد»، ولی یکی با گروه کنترل مناسب و تخصیص تصادفی انجام شده باشد و دیگری بر اساس انتخاب داوطلبانه افراد، نباید این دو جمله را از نظر قدرت استنباطی یکسان فرض کنیم.
البته این به آن معنا نیست که «کارآزمایی تصادفی همیشه حقیقت است و مطالعه مشاهده‌ای همیشه ضعیف».
چنین برداشت ساده‌ای هم اشتباه است.
در برخی پرسش‌ها، برآوردهای حاصل از مطالعات مشاهده‌ای خوب‌طراحی‌شده و کارآزمایی‌های تصادفی می‌توانند به یکدیگر نزدیک باشند. در برخی پرسش‌ها نیز اصولاً اجرای آزمایش تصادفی ممکن یا اخلاقی نیست.
برای بررسی آثار ناخواسته، پیامدهای بسیار نادر، اثرات بلندمدت یا سؤال‌هایی که نمی‌توان برای پاسخ دادن به آن‌ها افراد را به شکل آزمایشی در معرض عاملی قرار داد، مطالعات مشاهده‌ای می‌توانند نقش اساسی داشته باشند.
پس به‌جای استفاده از یک نردبان مکانیکی که بگوید «این نوع مطالعه همیشه از آن یکی بهتر است»، باید بپرسیم: «این نوع شواهد برای پاسخ دادن به این سؤال چقدر مناسب است؟»
اکنون مسئله پیچیده‌تری مطرح می‌شود: داده‌ها چگونه می‌توانند گمراه‌کننده باشند، حتی وقتی دروغ نمی‌گویند؟
فرض کنید مدیر شرکتی می‌گوید فروش امسال ۲۰ درصد بیشتر شده است.
این جمله می‌تواند کاملاً درست باشد. اما شاید تعداد مشتریان ۳۰ درصد افزایش یافته و سود کاهش پیدا کرده باشد. شاید فروش اسمی بالا رفته باشد، ولی تورم بیشتر از آن افزایش یافته باشد.
شاید یک مشتری بزرگ اضافه شده و فروش در بقیه بازار کاهش پیدا کرده باشد. شاید درآمد بالا رفته، ولی هزینه خدمت‌رسانی حتی بیشتر افزایش یافته باشد.
هیچ‌کدام از این حالت‌ها لزوماً به معنای «دروغ بودن داده» نیست.
مسئله این است که یک عدد خاص، همه‌چیز را نشان نمی‌دهد.
ما اغلب با داده‌های خلاصه‌شده کار می‌کنیم. میانگین، میانه، درصد، نرخ رشد، ضریب همبستگی و موارد مشابه، ابزارهای بسیار مفیدی هستند؛ اما هر خلاصه‌سازی بخشی از اطلاعات را حذف می‌کند.
پراکندگی داده‌ها و خطاهای بصری؛ چرا میانگین همیشه واقعیت را نشان نمی‌دهد؟
یکی از نمونه‌های کلاسیک این مسئله، مجموعه داده‌های مشهور فرانسیس آنسکومب است.
آنسکومب در سال ۱۹۷۳ نشان داد که مجموعه‌هایی از داده‌ها می‌توانند میانگین، واریانس و ضریب همبستگی بسیار مشابهی داشته باشند، اما وقتی آن‌ها را روی نمودار رسم می‌کنیم، الگوهای کاملاً متفاوتی آشکار شوند.
چرا این مثال هنوز مهم است؟
چون به ما یادآوری می‌کند که «آمار خلاصه‌شده» یک واقعیت کامل نیست. یک میانگین می‌تواند شکل توزیع را پنهان کند. یک ضریب همبستگی می‌تواند روابط غیرخطی را پنهان کند. یک نمودار می‌تواند نقاط پرت را آشکار کند که جدول هرگز نشان نمی‌دهد.
اگر مدیر شرکتی به شما بگوید «میانگین رضایت مشتریان ۸٫۵ از ۱۰ است»، باید بپرسید توزیع چگونه است.
آیا همه تقریباً راضی‌اند؟ یا نیمی از مشتریان نمره ۱۰ داده‌اند و نیمی نمره ۷؟ آیا گروه کوچکی از مشتریان بسیار ناراضی وجود دارند که میانگین، وضعیت آن‌ها را پنهان کرده است؟
میانگین داستان نیست؛ خلاصه یک داستان است.
داده‌های گمشده چگونه نتیجه‌گیری را منحرف می‌کنند؟
مشکل مشابهی در «داده‌های گمشده» رخ می‌دهد.
تصور کنید ۱۰۰ نفر یک برنامه ورزشی را شروع می‌کنند. بعد از سه ماه، از ۳۰ نفر داده نهایی داریم و میانگین کاهش وزن آن‌ها ۶ کیلوگرم است.
آیا می‌توانیم بگوییم برنامه به‌طور متوسط ۶ کیلوگرم کاهش وزن ایجاد کرده است؟
نه؛ دست‌کم نه بدون بررسی این سؤال که ۷۰ نفر باقی‌مانده چه شده‌اند.
شاید کسانی که نتیجه خوبی نگرفته‌اند برنامه را رها کرده باشند و کسانی که موفق بوده‌اند در مطالعه مانده باشند. این حالت می‌تواند تصویر بسیار مثبت‌تری از واقعیت بسازد.
داده گمشده فقط «چیزی که نداریم» نیست؛ گاهی خودِ نبودن داده، اطلاعاتی درباره فرایند تولید داده است.
این مسئله در شبکه‌های اجتماعی بسیار واضح است.
ما دائماً موفقیت‌های دیگران را می‌بینیم، اما شکست‌های آن‌ها کمتر منتشر می‌شود. عکس کسی که در عرض شش ماه کسب‌وکارش را به موفقیت رسانده، در صفحه ما ظاهر می‌شود؛ اما صدها نفری که همان کار را آغاز کرده‌اند و بعد شکست خورده‌اند، احتمالاً حضور بسیار کمتری دارند.
اگر از این داده‌های انتخاب‌شده نتیجه بگیریم «این روش تقریباً همیشه جواب می‌دهد»، در واقع با یک نمونه‌گیری بسیار غیرتصادفی روبه‌رو هستیم.
این همان جایی است که «سوگیری بقا» وارد می‌شود.
یک تصمیم‌گیرنده باید همیشه از خود بپرسد: «چه کسانی را دارم می‌بینم و چه کسانی از میدان دید من حذف شده‌اند؟»
در تصمیم‌های شخصی نیز این سؤال فوق‌العاده مهم است.
وقتی درباره مهاجرت، سرمایه‌گذاری، شغل، ازدواج، تحصیل یا کارآفرینی تحقیق می‌کنیم، معمولاً به افرادی دسترسی داریم که هنوز حاضرند درباره تجربه خود حرف بزنند.
تجربه‌های خاموش کمتر به ما می‌رسند.
تجربه شخصی در برابر شواهد علمی؛ چرا داستان‌های قانع‌کننده کافی نیستند؟
یک مثال می‌تواند امکان وقوع چیزی را نشان دهد، اما معمولاً نمی‌تواند نرخ وقوع آن را مشخص کند.
اگر به شما نشان بدهم یک نفر با خرید سهمی خاص پولدار شده است، ثابت کرده‌ام که چنین نتیجه‌ای ممکن است. اما نشان نداده‌ام که احتمال موفقیت چقدر است.
ممکن است هزاران نفر همین کار را کرده باشند و پول از دست داده باشند.
این تفاوت میان «وجود یک مورد» و «شیوع یک الگو» بنیادی است.
انسان‌ها به دلیل ساختار شناختی خود نسبت به داستان‌ها بسیار حساس‌اند. داستان شخصیت دارد، توالی دارد، علت و معلول ظاهری دارد و به‌راحتی در حافظه می‌ماند.
یک جدول آماری بی‌احساس به‌سختی در ذهن می‌نشیند، اما داستان یک نفر ممکن است سال‌ها باقی بماند.
به همین دلیل باید میان «اطلاعاتی که به یادمان می‌ماند» و «اطلاعاتی که ارزش استنباطی بیشتری دارد» تفاوت بگذاریم.
این موضوع به معنای بی‌ارزش بودن روایت شخصی نیست.
داستان‌ها در علم نیز مهم‌اند. یک گزارش موردی ممکن است نخستین نشانه پدیده‌ای ناشناخته باشد. گاهی یک مورد غیرعادی دانشمندان را وادار می‌کند نظریه‌ای را تغییر دهند یا پرسش جدیدی مطرح کنند.
حتی در پزشکی، برخی گزارش‌های تک‌موردی می‌توانند سرنخ‌های مهمی درباره عوارض نادر یا روابط تازه ارائه کنند.
اما «کشف یک سرنخ» با «اثبات یک قاعده عمومی» تفاوت دارد.
پس بهتر است به‌جای تقابل ساده میان «داستان» و «آمار»، رابطه آن‌ها را این‌گونه ببینیم: داستان می‌تواند سؤال ایجاد کند؛ شواهد نظام‌مند باید بررسی کنند که آیا آن سؤال در سطح گسترده‌تر نیز پاسخ مشابهی دارد یا نه.
تفکر احتمالی؛ چگونه با عدم قطعیت تصمیم بگیریم؟
یکی از دشوارترین تغییرات ذهنی این است که به‌جای فکر کردن با زبان «درست یا غلط»، با زبان «چقدر محتمل؟» فکر کنیم.
ذهن ما دوست دارد بگوید: «این روش جواب می‌دهد» یا «این روش جواب نمی‌دهد.»
اما علم اغلب وضعیت دقیق‌تری دارد: «بر اساس شواهد فعلی، احتمال می‌دهیم اثر متوسطی وجود داشته باشد، اما درباره اندازه دقیق آن عدم قطعیت وجود دارد.»
این نحوه بیان شاید کمتر هیجان‌انگیز باشد، اما بسیار علمی‌تر است.
تفکر احتمالی یعنی دیدن جهان به شکل مجموعه‌ای از پیامدهای ممکن، نه فقط یک نتیجه قطعی.
اگر بگوییم «احتمال باران ۷۰ درصد است»، این به معنای آن نیست که ۷۰ درصد آسمان خیس می‌شود یا اینکه در ۷۰ درصد طول روز باران می‌بارد.
این عدد خلاصه‌ای از عدم قطعیت در یک پیش‌بینی است.
در تصمیم‌گیری شخصی نیز باید یاد بگیریم به‌جای صفر و یک، طیفی از احتمال‌ها را ببینیم.
نرخ پایه و احتمال شرطی؛ چرا باید اطلاعات قبلی را در نظر بگیریم؟
اما احتمال تنها یک عدد نیست؛ به اطلاعات قبلی ما نیز وابسته است.
تصور کنید آزمایشی پزشکی داریم که یک بیماری را با دقت بسیار بالا شناسایی می‌کند.
آیا اگر نتیجه آزمایش مثبت شد، تقریباً مطمئنیم فرد بیمار است؟
نه لزوماً.
دلیلش «نرخ پایه» است.
فرض کنید بیماری بسیار نادر است و از هر ده هزار نفر فقط ده نفر به آن مبتلا هستند. حالا آزمایش بسیار خوبی داریم که ۹۹ درصد بیماران را درست تشخیص می‌دهد، اما در ۱ درصد افراد سالم نیز نتیجه مثبت کاذب ایجاد می‌کند.
در ده هزار نفر، تقریباً ۱۰ بیمار داریم که به‌طور متوسط ۹٫۹ نفرشان نتیجه مثبت می‌گیرند. اما از ۹۹۹۰ فرد سالم، حدود ۱۰۰ نفر نیز به‌اشتباه نتیجه مثبت می‌گیرند.
در نتیجه، در میان حدود ۱۱۰ نتیجه مثبت، تنها حدود ۱۰ مورد واقعاً بیمارند.
بنابراین احتمال بیماری پس از دریافت نتیجه مثبت، حدود ۹ درصد است؛ نه ۹۹ درصد.
این مثال نشان می‌دهد که حتی یک آزمایش بسیار دقیق نیز باید در کنار شیوع اولیه بیماری تفسیر شود.
تفکر بیزی چگونه به تصمیم‌گیری کمک می‌کند؟
اما «تفکر بیزی» به این معنا نیست که هر بار باید قلم و کاغذ برداریم و فرمول بنویسیم.
در زندگی روزمره، معنای مهم‌تر آن این است: باورهایمان را با شواهد جدید به‌روزرسانی کنیم؛ نه اینکه از ابتدا مطلقاً مطمئن باشیم یا با اولین داده مخالف، کاملاً تغییر عقیده دهیم.
فرض کنید فکر می‌کنید همکاری قابل‌اعتماد است. سپس یک بار متوجه می‌شوید بخشی از اطلاعات را به شما نگفته است.
آیا باید بلافاصله نتیجه بگیرید که او فردی کاملاً غیرقابل‌اعتماد است؟
احتمالاً نه.
یک مشاهده باید باور شما را تغییر دهد، اما اندازه این تغییر باید با قدرت شواهد متناسب باشد.
حال اگر در ماه‌های بعد پنج مورد دیگر از رفتار مشابه ببینید، چرا نباید نظر خود را بیشتر تغییر دهید؟
این یعنی به‌روزرسانی تدریجی.
در مقابل، یکی از خطاهای شناختی این است که فرد به باوری اولیه می‌چسبد و حتی شواهد جدید را طوری تفسیر می‌کند که مجبور به تغییر باور نباشد.
خطای دیگر برعکس است: یک داده جدید آن‌قدر هیجان‌انگیز یا عجیب است که فرد بیش از اندازه واکنش نشان می‌دهد و احتمال قبلی را نادیده می‌گیرد.
در تفکر بیزی باید میان این دو خطر تعادل برقرار کنیم: وزن دادن بیش از حد به باورهای پیشین و وزن دادن بیش از حد به اطلاعات جدید.
خطاهای شناختی در تفسیر داده‌ها؛ آزمایش معروف لیندا
یک آزمایش کلاسیک در روان‌شناسی شناختی این مسئله را به شکل جذابی نشان داد.
در مسئله معروف «لیندا»، به شرکت‌کنندگان توضیح داده شد که لیندا زنی ۳۱ ساله، مجرد، باهوش و تحصیل‌کرده فلسفه است که به تبعیض اجتماعی و عدالت علاقه داشته و در تظاهرات ضدهسته‌ای شرکت کرده است.
سپس از آن‌ها پرسیده شد کدام گزینه محتمل‌تر است: اینکه لیندا کارمند بانک باشد، یا اینکه کارمند بانک باشد و در جنبش فمینیستی فعال باشد.
از نظر قواعد احتمال، گزینه دوم نمی‌تواند محتمل‌تر از گزینه اول باشد؛ زیرا گزینه دوم علاوه بر کارمند بانک بودن، شرط دیگری نیز دارد.
اما بسیاری از افراد به دلیل شباهت توصیف لیندا با تصویر ذهنی‌شان از یک فعال فمینیست، گزینه دوم را انتخاب کردند.
این خطا به «مغالطه عطف» مشهور است.
درس مهم این آزمایش آن نیست که انسان‌ها ناتوان از فکر کردن‌اند.
برعکس، توصیف غنی لیندا دقیقاً نوع اطلاعاتی است که برای قضاوت شهودی جذاب است.
مشکل زمانی ایجاد می‌شود که «چقدر این داستان شبیه یک مورد خاص است؟» جای «قواعد منطقی احتمال چه می‌گویند؟» را می‌گیرد.
در تصمیم‌گیری روزمره نیز همین اتفاق رخ می‌دهد:
«این شخص خیلی شبیه یک کارآفرین موفق است.»
«این شرکت دقیقاً شبیه شرکتی است که چند سال پیش نابود شد.»
«این سرمایه‌گذاری خیلی شبیه فلان فرصت فوق‌العاده است.»
شباهت می‌تواند اطلاعاتی در اختیارمان بگذارد؛ اما به‌تنهایی احتمال را مشخص نمی‌کند.
یکی از مهارت‌های مهم در تفکر بیزی همین است که بپرسیم شواهد جدید چقدر واقعاً قدرت تمایز میان توضیحات مختلف را دارند.
اگر خبر بدی درباره شرکتی بشنویم که در بسیاری از شرکت‌های دیگر نیز رایج است، آن خبر شاید ارزش تشخیصی کمی داشته باشد.
اما اگر اطلاعاتی به دست آوریم که در صورت درست بودن یک فرضیه بسیار محتمل و در صورت نادرست بودن آن بسیار بعید باشد، باید وزن بیشتری به آن بدهیم.
بنابراین یک سؤال کاربردی این است: «اگر فرضیه من غلط بود، چقدر احتمال داشت چنین داده‌ای را ببینم؟»
این سؤال به‌تنهایی می‌تواند کیفیت استدلال را به‌شدت بالا ببرد.
معناداری آماری و اندازه اثر؛ چرا هر نتیجه معناداری مهم نیست؟
اکنون به مسئله دیگری برسیم: چرا یک عدد «معنادار» لزوماً به معنای اثری «مهم» نیست؟
در آمار، تفاوتی بنیادی میان «از نظر آماری قابل‌تشخیص» و «از نظر عملی مهم» وجود دارد.
فرض کنید مطالعه‌ای روی صد هزار نفر نشان دهد مداخله‌ای، میانگین یک پیامد را به اندازه بسیار کوچکی تغییر داده و این تفاوت از نظر آماری قابل‌تشخیص است.
آیا باید بگوییم مداخله بسیار مؤثر است؟
نه.
معناداری آماری به‌تنهایی اندازه یا اهمیت عملی اثر را مشخص نمی‌کند.
مقدار احتمال یا P-value چه چیزی را نشان می‌دهد؟
اگر مقاله‌ای می‌گوید «مقدار احتمال کمتر از ۰٫۰۵ است»، هنوز سؤال‌های زیادی باقی مانده است:
اندازه اثر چقدر است؟ فاصله اطمینان چیست؟ مطالعه چقدر بزرگ بوده است؟ آیا نتیجه در مطالعات دیگر تکرار شده؟ طراحی مطالعه چقدر مناسب بوده؟ آیا پیامد از نظر عملی اهمیت دارد؟
مقدار احتمال یا P-value، تحت فرض مدل آماری و فرض صفر، میزان ناسازگاری داده‌های مشاهده‌شده با آن فرض را ارزیابی می‌کند. این مقدار به‌تنهایی احتمال درست بودن فرضیه پژوهشگر یا احتمال تصادفی بودن نتیجه نیست.
اینجاست که ناآشنایی با سواد آماری می‌تواند بسیار خطرناک شود.
سواد آماری لزوماً به معنای توانایی محاسبه مشتق یا انجام آزمون‌های پیچیده نیست.
برای یک تصمیم‌گیرنده، سواد آماری بیشتر یعنی توانایی پرسیدن سؤال‌های درست از عددها:
«درصد از چه چیزی؟»
«نسبت به چه خط پایه‌ای؟»
«نمونه چقدر بود؟»
«عدم قطعیت چقدر است؟»
«اثر مطلق چقدر است؟»
«چه کسانی در داده نیستند؟»
«آیا این رابطه همبستگی است یا می‌توان درباره علت صحبت کرد؟»
«این نتیجه روی چه جمعیتی به دست آمده است؟»
«آیا نتیجه در مطالعات دیگر هم تکرار شده؟»
«چه اطلاعاتی می‌تواند این نتیجه را رد کند؟»
این پرسش‌ها اغلب ارزشمندتر از حفظ کردن ده‌ها فرمول هستند.
چگونه نمودارها می‌توانند ما را گمراه کنند؟
یکی دیگر از دام‌های رایج، نگاه کردن به نمودار بدون دقت به محور آن است.
فرض کنید فروش شرکت الف از ۹۹ به ۱۰۰ واحد رسیده و فروش شرکت ب از ۲۰ به ۳۰ واحد افزایش یافته است.
اگر محور نمودار از صفر شروع نشود و فقط بازه ۹۸ تا ۱۰۱ را نمایش دهد، رشد کوچک شرکت الف ممکن است بسیار بزرگ به نظر برسد؛ درحالی‌که شرکت ب واقعاً ۵۰ درصد رشد کرده است.
نمودار لزوماً دروغ نگفته، اما قاب‌بندی آن ادراک ما را تغییر داده است.
به همین دلیل «نمایش داده» بخشی از استدلال است، نه صرفاً تزئین.
در تحلیل‌های جدی باید به مقیاس محور، واحد اندازه‌گیری، نحوه گروه‌بندی، انتخاب بازه زمانی و حتی ترتیب ارائه داده‌ها حساس باشیم.
کیفیت اندازه‌گیری و تعریف متغیر؛ آیا عددها همان واقعیت‌اند؟
اندازه‌گیری همیشه خودِ واقعیت نیست؛ مدلی از واقعیت است.
به زبان ساده، وقتی ویژگی پیچیده‌ای را به عدد تبدیل می‌کنیم، مجبوریم انتخاب کنیم چه چیزی را بشماریم و چه چیزی را نشماریم.
«تعداد تماس‌ها» با «کیفیت خدمات» یکی نیست.
«تعداد مقالات منتشرشده» با «اهمیت علمی» یکی نیست.
«ساعت مطالعه» با «یادگیری» یکی نیست.
«درآمد» با «رفاه» یکی نیست.
«تعداد دنبال‌کننده‌ها» با «نفوذ» یکی نیست.
«نمره یک آزمون» با «توانایی واقعی» یکی نیست.
در تصمیم‌گیری با داده، همیشه باید از خود بپرسیم: «این عدد نماینده چه چیزی است؟»
حال به یکی از مهم‌ترین مسائل برگردیم: کیفیت شواهد.
وقتی کسی ادعایی مطرح می‌کند، معمولاً با چند وضعیت متفاوت مواجه هستیم.
نخست، ادعا صرفاً یک ادعاست. کسی می‌گوید: «این روش فوق‌العاده است.» این جمله به‌خودی‌خود تقریباً هیچ شاهدی درون خود ندارد.
دوم، تجربه شخصی وجود دارد: «من این کار را انجام دادم و جواب گرفتم.» این اطلاعات از حالت ادعا یک گام جلوتر است، چون دست‌کم یک مشاهده واقعی داریم. اما هنوز نمی‌دانیم اگر شرایط تغییر کند، همین نتیجه چقدر تکرار خواهد شد.
سوم، شواهد مشاهده‌ای یا تجربی نظام‌مند داریم. مثلاً می‌دانیم کسانی که در شرایط خاصی بوده‌اند، به‌طور متوسط پیامد متفاوتی داشته‌اند. این شواهد اطلاعات بیشتری در اختیارمان می‌گذارند، اما هنوز ممکن است متغیرهای مخدوش‌کننده یا سوگیری‌های دیگر وجود داشته باشند.
چهارم، مطالعات آزمایشی مناسب، مجموعه‌ای از مطالعات مستقل، مرورهای نظام‌مند و شواهد همگرا داریم که می‌توانند تصویری محکم‌تر ایجاد کنند.
اما حتی اینجا نیز بهتر است از عبارت «اثبات قطعی» با احتیاط استفاده کنیم.
علم معمولاً با افزایش و کاهش درجه اطمینان کار می‌کند.
فرض کنید پنج نوع شاهد مستقل از هم نشان می‌دهند که ادعایی احتمالاً درست است: آزمایش آزمایشگاهی، مطالعه حیوانی، مطالعه مشاهده‌ای، کارآزمایی انسانی و سازگاری با سازوکار زیستی.
هرکدام محدودیت خود را دارند، اما وقتی در یک جهت همگرا می‌شوند، قدرت استدلال می‌تواند بسیار بیشتر شود.
داستان سیگار و سرطان ریه؛ قدرت همگرایی شواهد
داستان سیگار و سرطان ریه نمونه تاریخی مهمی است.
در دهه‌های ۱۹۴۰ و ۱۹۵۰ مطالعات مختلفی رابطه میان سیگار کشیدن و سرطان ریه را نشان دادند.
این شواهد فقط از یک نوع مطالعه به دست نیامده بودند. مطالعات موردشاهدی، مطالعات هم‌گروهی، داده‌های جمعیتی و شواهد آزمایشگاهی کنار هم قرار گرفتند.
در سال ۱۹۵۶، جان کورنفیلد و همکارانش نیز در تحلیل رابطه سیگار و سرطان ریه به بررسی شواهد اپیدمیولوژیک و مسئله تبیین‌های جایگزین پرداختند.
سپس کمیته مشاور جراح عمومی آمریکا در سال ۱۹۶۴، پس از مرور گسترده پژوهش‌های موجود، نتیجه گرفت که سیگار کشیدن علت مهم سرطان ریه و حنجره در مردان است و با بیماری‌های دیگری نیز ارتباط دارد.
این نتیجه از یک مشاهده منفرد حاصل نشده بود؛ حاصل کنار هم قرار گرفتن شواهد مختلف بود.
شواهد علمی معتبر چه ویژگی‌هایی دارند؟
یک کارآزمایی تصادفی کنترل‌شده، اگر خوب طراحی شده باشد، برای پرسشی مشخص درباره اثر مداخله بسیار قدرتمند است.
اما اگر نمونه کاملاً متفاوت از جمعیتی باشد که ما درباره آن تصمیم می‌گیریم، ممکن است قابلیت تعمیم محدودی داشته باشد.
یک مطالعه مشاهده‌ای بزرگ ممکن است برای بررسی پیامدهای بلندمدت ارزش زیادی داشته باشد.
یک مطالعه آزمایشگاهی ممکن است سازوکار زیستی را روشن کند، اما نشان ندهد اثر در دنیای واقعی چقدر بزرگ است.
یک گزارش موردی می‌تواند نخستین علامت عارضه‌ای نادر باشد، اما نمی‌تواند نرخ بروز آن را تعیین کند.
نظر یک متخصص می‌تواند در توضیح ساختار مسئله ارزشمند باشد، اما اعتبار آن به میزان پشتیبانی شواهد تجربی نیز بستگی دارد.
پس به‌جای پرسیدن «این شواهد در کدام طبقه قرار می‌گیرند؟»، گاهی بهتر است بپرسیم: «این شواهد کدام بخش از سؤال مرا پاسخ می‌دهند و کدام بخش را پاسخ نمی‌دهند؟»
فرض کنید می‌خواهیم تصمیم بگیریم آیا یک روش آموزشی باعث بهبود یادگیری می‌شود.
مصاحبه عمیق با معلم ممکن است به ما بفهماند چرا این روش در کلاس جذاب است.
یک آزمایش کنترل‌شده ممکن است نشان دهد دانش‌آموزان به‌طور متوسط در آزمونی عملکرد بهتری دارند.
یک مطالعه بلندمدت می‌تواند نشان دهد آیا این اثر در طول زمان باقی می‌ماند.
یک مطالعه کیفی می‌تواند تجربه دانش‌آموزان را توضیح دهد.
هیچ‌کدام جای دیگری را کاملاً نمی‌گیرند.
شواهد قوی گاهی نه از «یک مطالعه فوق‌العاده»، بلکه از کنار هم قرار گرفتن مطالعاتی به دست می‌آیند که نقاط کور یکدیگر را پوشش می‌دهند.
پس وقتی مقاله‌ای می‌خوانیم، به‌جای خیره شدن به نتیجه‌گیری نویسندگان، باید مسیر رسیدن به نتیجه‌گیری را دنبال کنیم.
ادعا چیست؟ سؤال دقیقاً چه بوده است؟ جامعه مورد مطالعه چه کسانی بوده‌اند؟ چند نفر در مطالعه شرکت کردند؟ چطور انتخاب شدند؟ متغیر مستقل و وابسته چه بوده است؟ آیا گروه کنترل وجود داشته؟ آیا تخصیص تصادفی صورت گرفته است؟
چه کسی می‌دانسته چه کسی در کدام گروه است؟ پیامد اصلی از قبل تعریف شده بوده یا بعداً انتخاب شده؟ داده‌های گمشده چه شده‌اند؟ اثر چقدر بوده است؟ فاصله اطمینان چقدر است؟ چه محدودیت‌هایی در مقاله ذکر شده؟ آیا مطالعات مستقل دیگری نتیجه را تکرار کرده‌اند؟
این سؤال‌ها ذهن ما را از «آیا نتیجه با عقیده من جور است؟» به «این نتیجه چقدر از نظر روش‌شناسی قابل‌اتکاست؟» منتقل می‌کنند.
تفاوت نبود شواهد و شواهد نبود اثر چیست؟
نکته ظریف دیگر این است که باید بین «نبودن شواهد» و «شواهدِ نبودن اثر» تفاوت بگذاریم.
اگر پژوهشی نتواند اثر یک روش را نشان دهد، لزوماً به این معنا نیست که آن روش هیچ اثری ندارد.
شاید مطالعه کوچک بوده، اندازه‌گیری‌ها خطای زیادی داشته‌اند، اثر بسیار کوچک بوده یا طراحی مطالعه برای یافتن آن اثر مناسب نبوده است.
از سوی دیگر، اگر چندین مطالعه بزرگ و خوب‌طراحی‌شده بارها اثر ناچیزی پیدا کنند، این وضعیت با «یک مطالعه کوچک چیزی پیدا نکرد» بسیار متفاوت است.
در واقع، «نمی‌دانیم» هم می‌تواند نتیجه علمی معتبری باشد.
تصمیم‌گیرنده پخته کسی نیست که برای هر سؤال پاسخی قطعی داشته باشد؛ کسی است که می‌داند کجا باید بگوید: «اطلاعات فعلی برای اطمینان کافی نیست.»
این توانایی از نظر عملی به‌شدت مهم است.
تصور کنید برای خرید خانه اطلاعاتی پیدا کرده‌اید که نشان می‌دهند قیمت منطقه در حال افزایش است.
یک تصمیم‌گیرنده ممکن است بگوید: «پس باید هرچه زودتر خرید کنم.»
اما تصمیم‌گیرنده‌ای که با عدم قطعیت فکر می‌کند می‌پرسد: «چه شواهدی از افزایش قیمت داریم؟ این افزایش در چه بازه زمانی رخ داده؟ چه عواملی آن را توضیح می‌دهند؟ آیا درآمد خانوارها نیز افزایش یافته؟ عرضه مسکن چگونه است؟ نرخ بهره چه می‌کند؟ سناریوی معکوس چیست؟ اگر رشد قیمت متوقف شود، تصمیم من هنوز منطقی است؟»
او فقط پیش‌بینی نمی‌کند؛ حساسیت تصمیم را نسبت به فرض‌ها بررسی می‌کند.
سوگیری تأییدی و ابطال‌پذیری؛ چگونه از داده‌ها برای توجیه باورهایمان استفاده نکنیم؟
همین رویکرد در سرمایه‌گذاری، انتخاب شغل، آموزش، روابط و حتی تصمیم‌های روزمره کاربرد دارد.
بهتر است در هر تصمیم مهم، «فرضیه» خود را از «شواهد» جدا کنیم.
فرض کنید می‌گویید: «به نظرم این شرکت در سه سال آینده رشد می‌کند.»
این یک فرضیه است.
«در سه سال گذشته درآمد شرکت ۲۰ درصد در سال رشد کرده است» یک داده است.
«این شرکت وارد دو بازار جدید شده است» یک داده دیگر است.
«رقبا در همان بازار نیز همین روند را تجربه کرده‌اند» داده دیگری است.
«رشد درآمد شرکت فقط ناشی از خرید یک شرکت دیگر بوده است» داده‌ای است که ممکن است تفسیر قبلی را ضعیف کند.
وقتی این موارد را جدا می‌کنیم، تصمیم‌گیری عقلانی‌تر می‌شود.
مشکل زمانی شروع می‌شود که فرضیه خود را به‌عنوان واقعیت تجربه کنیم و بعد فقط داده‌هایی را جمع کنیم که از آن حمایت می‌کنند.
این همان سوگیری تأییدی است که در زمینه داده‌ها می‌تواند بسیار قدرتمند شود.
انسان به‌طور طبیعی تمایل دارد اطلاعاتی را که با باور قبلی او هماهنگ است، راحت‌تر ببیند، به خاطر بسپارد و جدی بگیرد.
اما روش علمی درست در جهت مخالف حرکت می‌کند: باید دنبال داده‌ای بگردیم که اگر درست باشد، بتواند فرضیه ما را به چالش بکشد.
بنابراین هنگام ارزیابی یک تصمیم، سؤال قدرتمند این است: «چه چیزی می‌تواند نظر مرا تغییر دهد؟»
اگر پاسخ این باشد که «هیچ‌چیز»، ما دیگر در حال بررسی شواهد نیستیم؛ در حال دفاع از عقیده هستیم.
چگونه با بازه‌های احتمالی، عدم قطعیت را وارد تصمیم کنیم؟
یک مهارت کاربردی دیگر، فکر کردن با بازه‌هاست.
اگر کسی از شما بپرسد «سال آینده چقدر درآمد خواهید داشت؟»، ارائه یک عدد دقیق وسوسه‌انگیز است.
اما شاید گفتن «بین مقدار X و Y، با احتمال بیشتر در نیمه پایینی این بازه» تصمیم‌گیری بهتری ایجاد کند.
چرا؟
چون عدد نقطه‌ای می‌تواند توهم دقت ایجاد کند.
فرض کنید می‌گوییم فروش آینده ۱۰ میلیون خواهد بود. ذهن به‌راحتی این عدد را به‌عنوان یک واقعیت در نظر می‌گیرد.
اما اگر بگوییم «بر اساس فرض‌های فعلی، فروش احتمالاً بین ۸ تا ۱۲ میلیون خواهد بود و در سناریوی بدبینانه ممکن است تا ۶ میلیون پایین بیاید»، ناگهان تصمیم‌گیری شکل دیگری پیدا می‌کند.
البته این بازه‌ها نیز باید بر اساس اطلاعات، فرض‌ها یا مدل مشخصی ساخته شوند؛ نه اینکه صرفاً اعدادی دلخواه باشند.
عدم قطعیت دشمن تصمیم‌گیری نیست. عدم قطعیت چیزی است که باید وارد تصمیم شود.
گاهی بهترین تصمیم، انتخابی است که در چند آینده متفاوت همچنان قابل‌تحمل باشد.
در نتیجه، تصمیم‌گیری با داده صرفاً به این معنا نیست که قبل از هر تصمیم ده‌ها عدد پیدا کنیم.
هدف این نیست که تصمیم را با نمودار و اکسل خفه کنیم. هدف این است که به‌اندازه اهمیتی که مسئله دارد، جهان را دقیق‌تر ببینیم.
ارزش اطلاعات در تصمیم‌گیری؛ چه زمانی باید تحقیق را متوقف کنیم؟
این را می‌توان با یک سؤال ساده سنجید: «اگر این اطلاعات را نداشتم، آیا تصمیمم فرق می‌کرد؟»
اگر جواب نه باشد، احتمالاً داده برای این تصمیم ارزش اطلاعاتی محدودی دارد.
در مقابل، بعضی اطلاعات فقط نکته‌ای کوچک به نظر می‌رسند، اما می‌توانند تصمیم را به‌کلی تغییر دهند؛ مثلاً یک محدودیت حقوقی، یک هزینه پنهان، یک شرط قرارداد یا یک نرخ شکست تاریخی.
بنابراین تصمیم‌گیری خوب به جمع‌آوری «همه اطلاعات» نیاز ندارد؛ به جمع‌آوری اطلاعاتی نیاز دارد که بیشترین قدرت تمایز میان گزینه‌ها را داشته باشند.
این همان چیزی است که می‌توان آن را ارزش اطلاعات نامید.
فرض کنید بین دو شغل مردد هستید. حقوق یکی ۲۰ درصد بیشتر است. این عدد برجسته است.
اما بعد متوجه می‌شوید شغل دوم قرارداد یک‌ساله دارد و شغل اول قرارداد دائم.
یک داده جدید وارد شده که ممکن است وزن تصمیم را کاملاً تغییر دهد.
حالا فرض کنید می‌فهمید دفتر شغل دوم ده دقیقه به محل زندگی‌تان نزدیک‌تر است.
این اطلاعات شاید درست باشد، اما احتمالاً اثر بسیار کمتری بر تصمیم کلی دارد.
پس همه داده‌ها وزن یکسان ندارند.
یکی از اشتباهات رایج در تفکر آماری همین است که «حجم اطلاعات» را با «کیفیت اطلاعات» اشتباه بگیریم.
ده داده متوسط الزاماً بهتر از یک داده بسیار مهم نیستند.
چگونه داده‌ها را به تصمیم عملی تبدیل کنیم؟
در نهایت، تصمیم‌گیری با شواهد باید به عادتی ذهنی تبدیل شود.
قبل از اینکه بگوییم «این درست است»، بپرسیم: «چه نوع شواهدی از این ادعا حمایت می‌کند؟»
قبل از اینکه بگوییم «این مطالعه ثابت کرد»، بپرسیم: «مطالعه دقیقاً چه چیزی را نشان داد؟»
قبل از اینکه بگوییم «این شخص موفق شد، پس روشش جواب می‌دهد»، بپرسیم: «چند نفر همان کار را انجام دادند و نتیجه نگرفتند؟»
قبل از اینکه بگوییم «رشد ۵۰ درصدی اتفاق افتاده»، بپرسیم: «مخرج این درصد چه بوده و خط پایه کجاست؟»
قبل از اینکه بگوییم «این متغیر علت آن است»، بپرسیم: «چه متغیرهای دیگری می‌توانند این رابطه را توضیح دهند؟»
قبل از اینکه داده‌ای تازه را کاملاً بپذیریم یا کاملاً رد کنیم، بپرسیم: «این داده با چه شدتی باید باور مرا تغییر دهد؟»
و قبل از اینکه درباره تصمیمی مطمئن شویم، بپرسیم: «عدم قطعیت باقی‌مانده چقدر است و اگر اشتباه کنم، هزینه اشتباه چقدر خواهد بود؟»
این پرسش آخر ما را به یکی از مهم‌ترین تفاوت‌ها در تصمیم‌گیری می‌رساند: کیفیت تصمیم فقط به احتمال درست بودن آن بستگی ندارد؛ به پیامد خطا نیز بستگی دارد.
فرض کنید احتمال موفقیت گزینه‌ای ۷۰ درصد و احتمال شکست آن ۳۰ درصد باشد.
اگر در صورت شکست فقط کمی ناراحت شویم، شاید پذیرفتن ریسک منطقی باشد.
اما اگر شکست باعث ورشکستگی شود، همان احتمال ۷۰ درصد ممکن است کافی نباشد.
داده‌ها بدون توجه به پیامدها تصمیم نمی‌گیرند.
داده فقط به ما کمک می‌کند جهان را بهتر تخمین بزنیم. بعد از آن باید ارزش‌ها، محدودیت‌ها، هزینه فرصت و پیامدهای تصمیم را وارد کنیم.
به همین دلیل «تصمیم‌گیری مبتنی بر شواهد» به معنای «تصمیم‌گیری صرفاً بر اساس عدد» نیست.
شواهد به ما می‌گویند چه چیزی احتمالاً در جهان بیرون رخ می‌دهد. ارزش‌ها به ما می‌گویند چه چیزی برایمان مهم است.
تصمیم از ترکیب این دو ساخته می‌شود.
ممکن است شواهد نشان دهند شغلی درآمد بیشتری دارد، اما فرد زندگی آرام‌تر را ارزشمندتر بداند.
ممکن است شواهد نشان دهند سرمایه‌گذاری‌ای بازده مورد انتظار بیشتری دارد، اما فرد تحمل ریسک پایینی داشته باشد.
ممکن است شواهد نشان دهند روشی آموزشی میانگین نمره را بالا می‌برد، اما هزینه یا فشار روانی آن برای گروهی خاص قابل‌قبول نباشد.
بنابراین علم جایگزین قضاوت نیست؛ قضاوت را بهتر تغذیه می‌کند.
چگونه تصمیم‌گیری مبتنی بر شواهد را به یک مهارت روزمره تبدیل کنیم؟
در نهایت، شاید مهم‌ترین نشانه بلوغ فکری این نباشد که انسان همیشه درست پیش‌بینی کند.
هیچ‌کس چنین توانایی‌ای ندارد.
نشانه بلوغ این است که وقتی جهان خلاف انتظارمان رفتار می‌کند، بتوانیم به‌موقع بفهمیم کدام بخش از مدل ذهنی ما نیاز به اصلاح دارد.
کسی که تصمیم‌گیری ضعیفی دارد، وقتی داده جدید می‌آید می‌گوید: «این مورد استثنایی است.»
کسی که بهتر فکر می‌کند می‌پرسد: «اگر این استثناها زیاد شوند، آیا دیگر می‌توانم مدل قبلی را حفظ کنم؟»
کسی که تصمیم‌گیری ضعیفی دارد، موفقیت یک نفر را به‌عنوان اثبات روش می‌بیند.
کسی که بهتر فکر می‌کند می‌پرسد: «نرخ پایه چیست؟ چند نفر دیگر همین کار را انجام دادند؟»
کسی که تصمیم‌گیری ضعیفی دارد، عدد بزرگی می‌بیند و هیجان‌زده می‌شود.
کسی که بهتر فکر می‌کند می‌پرسد: «این عدد نسبت به چه چیزی بزرگ است؟»
کسی که تصمیم‌گیری ضعیفی دارد، با شنیدن «مطالعه علمی نشان داده» احساس اطمینان می‌کند.
کسی که بهتر فکر می‌کند می‌پرسد: «چه مطالعه‌ای؟ روی چه کسانی؟ با چه طراحی‌ای؟ با چه اندازه اثری؟ با چه عدم قطعیتی؟ و آیا پژوهش‌های دیگر نیز همین را نشان داده‌اند؟»
این تفاوت شاید در ظاهر کوچک باشد، اما در زندگی واقعی بسیار بزرگ است.
زیرا مسئله اصلی تصمیم‌گیری انسان این نیست که اطلاعات ندارد؛ اغلب برعکس، اطلاعات زیادی دارد.
مسئله این است که نمی‌داند با اطلاعات چه کند.
ما در جهانی زندگی می‌کنیم که تقریباً درباره هر ادعایی می‌توان ده‌ها مقاله، صدها تجربه شخصی، هزاران پست و میلیون‌ها داده پیدا کرد.
در چنین جهانی، مزیت اصلی دیگر «دسترسی به اطلاعات» نیست.
مزیت اصلی، توانایی تشخیص اطلاعات قابل‌اتکا از اطلاعات پرزرق‌وبرق است.
به همین دلیل، تصمیم‌گیری با داده از پرسیدن «چه عددی داریم؟» شروع نمی‌شود.
از پرسیدن «این عدد چطور ساخته شده؟» شروع می‌شود.
«چه کسی آن را اندازه گرفته؟»
«با چه روشی؟»
«از چه نمونه‌ای؟»
«چه چیزی از قلم افتاده؟»
«چقدر عدم قطعیت داریم؟»
«آیا رابطه علّی است یا صرفاً همبستگی؟»
«آیا داستانی را با الگویی آماری اشتباه گرفته‌ایم؟»
«این شواهد چقدر قوی‌اند؟»
«چه شواهدی می‌توانند نظر ما را تغییر دهند؟»
و در نهایت: «با توجه به همه این‌ها، چقدر باید به این نتیجه اعتماد کنم؟»
جمع‌بندی؛ داده برای کشف حقیقت است، نه توجیه تصمیم
گاهی یک مشاهده کافی است تا زنگ خطر را به صدا درآورد. گاهی باید صدها یا هزاران مشاهده داشته باشیم.
گاهی یک آزمایش تصادفی بهترین راه است. گاهی مطالعه مشاهده‌ای تنها راه اخلاقی یا عملی است.
گاهی تجربه فردی آغاز یک کشف است. گاهی تجربه فردی دقیقاً چیزی است که باید در برابر تعمیم دادن آن مقاومت کنیم؛ چون ذهن ما می‌خواهد یک مورد را به یک قانون تبدیل کند.
گاهی داده بسیار روشن است. گاهی داده متناقض است. گاهی بهترین پاسخ «فعلاً نمی‌دانیم» است.
و این «نمی‌دانیم» شکست نیست.
اتفاقاً یکی از مهم‌ترین دستاوردهای روش علمی این است که به انسان اجازه می‌دهد فاصله میان واقعیت و اطمینان ذهنی خود را ببیند.
ما هیچ‌وقت مستقیماً خودِ حقیقت را در دست نداریم. ما اندازه‌گیری می‌کنیم، نمونه می‌گیریم، فرضیه می‌سازیم، آزمایش می‌کنیم، خطا را بررسی می‌کنیم، احتمال‌ها را به‌روز می‌کنیم و مدل‌هایمان را با شواهد تازه اصلاح می‌کنیم.
تصمیم‌گیری منطقی نیز چیزی جز ترجمه همین فرایند به زندگی روزمره نیست.
وقتی تصمیم مهمی پیش روی ماست، لازم نیست به دانشمند حرفه‌ای تبدیل شویم.
کافی است چند عادت علمی را وارد ذهن خود کنیم: منبع را بررسی کنیم، نمونه را ببینیم، نرخ پایه را فراموش نکنیم، میان همبستگی و علیت تمایز بگذاریم، اندازه اثر را از معناداری آماری جدا کنیم، عدم قطعیت را بپذیریم، داستان را با شواهد آماری اشتباه نگیریم و مهم‌تر از همه، آماده باشیم باور خود را متناسب با شواهد تغییر دهیم.
در این صورت، داده دیگر چیزی نیست که برای تأیید تصمیم قبلی خود جمع کنیم.
داده تبدیل می‌شود به ابزاری برای کشف اینکه شاید تصمیم قبلی‌مان اصلاً آن‌قدر خوب نبوده است.
و شاید همین نقطه، مرز میان «تصمیم‌گیری با اطلاعات» و «تصمیم‌گیری با شواهد» باشد.
در اولی، ما اطلاعات جمع می‌کنیم تا مطمئن شویم.
در دومی، اطلاعات را بررسی می‌کنیم تا بفهمیم چقدر باید مطمئن باشیم.
سؤالات متداول درباره تصمیم‌گیری مبتنی بر شواهد
تصمیم‌گیری مبتنی بر شواهد چیست؟
تصمیم‌گیری مبتنی بر شواهد فرایندی است که در آن برای ارزیابی گزینه‌ها، از داده‌های معتبر، پژوهش‌های علمی، تحلیل احتمال‌ها و بررسی پیامدها استفاده می‌کنیم. هدف این روش حذف قضاوت شخصی نیست؛ بلکه کمک به تصمیم‌گیری آگاهانه‌تر با تفکیک واقعیت‌ها، فرضیه‌ها و اطلاعات نامطمئن است.
تفاوت تصمیم‌گیری مبتنی بر داده و تصمیم‌گیری مبتنی بر شواهد چیست؟
داده می‌تواند هر نوع اطلاعات ثبت‌شده یا اندازه‌گیری‌شده باشد، اما شواهد به داده‌ها و اطلاعاتی گفته می‌شود که با توجه به روش جمع‌آوری، کیفیت اندازه‌گیری و ارتباطشان با پرسش موردنظر، می‌توانند از یک ادعا پشتیبانی کنند. بنابراین داشتن داده زیاد لزوماً به معنای داشتن شواهد معتبر نیست.
چرا حجم زیاد داده‌ها همیشه به تصمیم بهتر منجر نمی‌شود؟
زیرا کیفیت داده‌ها به عواملی مانند روش نمونه‌گیری، تعریف متغیرها، خطاهای اندازه‌گیری و نمایندگی نمونه بستگی دارد. اگر داده‌ها از ابتدا با سوگیری جمع‌آوری شده باشند، افزایش تعداد آن‌ها لزوماً خطای سیستماتیک را برطرف نمی‌کند.
تفاوت همبستگی و علیت چیست؟
همبستگی نشان می‌دهد دو متغیر از نظر آماری با یکدیگر ارتباط دارند، اما علیت به این معناست که تغییر یک عامل در ایجاد تغییر عامل دیگر نقش دارد. برای بررسی رابطه علّی باید طراحی پژوهش، عوامل مخدوش‌کننده و شواهد مداخله‌ای یا سایر روش‌های معتبر استنباط علّی را در نظر گرفت.
چگونه اعتبار یک پژوهش علمی را بررسی کنیم؟
برای ارزیابی پژوهش باید به سؤال تحقیق، روش نمونه‌گیری، تعداد شرکت‌کنندگان، طراحی مطالعه، وجود گروه کنترل، اندازه اثر، فاصله اطمینان، محدودیت‌های پژوهش و تکرار نتایج در مطالعات مستقل توجه کنیم. صرف انتشار یک مقاله علمی، اعتبار همه نتیجه‌گیری‌های آن را تضمین نمی‌کند.
چه زمانی باید جمع‌آوری اطلاعات را متوقف کنیم؟
وقتی اطلاعات جدید احتمالاً تأثیر معناداری بر انتخاب نهایی ندارند یا هزینه و زمان جمع‌آوری آن‌ها از ارزش مورد انتظارشان بیشتر است، ادامه تحقیق ممکن است توجیه نداشته باشد. البته این موضوع به اهمیت تصمیم، برگشت‌پذیری آن و هزینه احتمالی اشتباه نیز بستگی دارد.
منابع و مراجع علمی
منابع:
-
Kahneman, D. (2011). Thinking, Fast and Slow. Farrar, Straus and Giroux.
-
Tversky, A., & Kahneman, D. (1974). Judgment under uncertainty: Heuristics and biases. Science, 185(4157), 1124–1131.
-
Gigerenzer, G., & Gaissmaier, W. (2011). Heuristic decision making. Annual Review of Psychology, 62, 451–482.
-
Ioannidis, J. P. A. (2005). Why most published research findings are false. PLOS Medicine, 2(8), e124.
-
Greenland, S., et al. (2016). Statistical tests, P values, confidence intervals, and power: A guide to misinterpretations. European Journal of Epidemiology, 31, 337–350.
-
Groves, R. M., et al. (2009). Survey Methodology (2nd ed.). Wiley.
-
Pearl, J., & Mackenzie, D. (2018). The Book of Why. Basic Books.
-
Rosenbaum, P. R. (2010). Design of Observational Studies. Springer.
-
Medical Research Council. (1948). Streptomycin treatment of pulmonary tuberculosis. British Medical Journal, 2, 769–782.
-
Fisher, R. A. (1935). The Design of Experiments. Oliver & Boyd.
-
Anscombe, F. J. (1973). Graphs in statistical analysis. The American Statistician, 27(1), 17–21.
-
Gigerenzer, G., & Hoffrage, U. (1995). How to improve Bayesian reasoning without instruction: Frequency formats. Psychological Review, 102(4), 684–704.
-
Tversky, A., & Kahneman, D. (1983). Extensional versus intuitive reasoning: The conjunction fallacy in probability judgment. Psychological Review, 90(4), 293–315.
-
Simon, H. A. (1956). Rational choice and the structure of the environment. Psychological Review, 63(2), 129–138.