عصر قم - ایسنا / چت‌بات «چت جی‌پی‌تی»(ChatGPT) با ارائه راهکار، منجر به خودکشی یک نوجوان 16 ساله در کالیفرنیا شد.
یک خانواده در کالیفرنیا امروز یک شکایت حقوقی بابت مرگ پسر نوجوان خود علیه شرکت «اوپن ای‌آی»(OpenAI) و مدیرعامل آن، «سم آلتمن»(Sam Altman) تنظیم کردند و ادعا کردند که چت‌بات این شرکت موسوم به «چت جی‌پی‌تی»، نقش مهمی در مرگ ناشی از خودکشی پسر نوجوان آسیب‌پذیر آنها داشته است.
به نقل از فیوچریسم، طبق این گزارش «آدام رین»(Adam Raine) 16 ساله در ماه آوریل (فروردین) امسال درگذشت. مادر وی، «ماریا رین»(Maria Raine)، جسد وی را در حالی که با طناب حلق آویز شده بود، در اتاقش پیدا کرد. «آدام» هیچ یادداشتی از خود به جای نگذاشته بود و در حالی که والدینش به دنبال سرنخ‌هایی برای دلیل خودکشی وی می‌گشتند، متوجه شدند که «آدام» ماه‌ها در مورد خودکشی خود صحبت می‌کرده است، اما نه با یک دوست انسانی، بلکه با نسخه «GPT-4o» از «چت جی‌پی‌تی».
این چت‌بات بارها دستورالعمل‌های دقیقی برای چگونگی خودکشی به این نوجوان ارائه کرده و در عین حال توصیه‌هایی در مورد چگونگی پنهان کردن نشانه‌های خودآزاری و تمایلات خودکشی از خانواده‌اش را ارائه داده بود.
این خانواده در شکایت خود ادعا کرده است که «اوپن ای‌آی» با انگیزه غلبه بر رقبا، نسخه «GPT-4o» را که به دلیل سبک تعامل چاپلوسانه خود بدنام است، با آگاهی از خطرات ایمنی برای کاربران خود عرضه کرده است.
این شکایت هشدارهای بیشتری را در مورد ویژگی‌های خاص طراحی «چت جی‌پی‌تی» از جمله سبک مکالمه انسان‌مانند و انسان‌نمای این چت‌بات و تمایل آن به چاپلوسی که موجب ناامنی آن می‌شود، به صدا در می‌آورد.
طبق این شکایت، این حادثه دلخراش یک مورد غیرقابل پیش‌بینی نبود، بلکه نتیجه قابل پیش‌بینی انتخاب‌های عمدی طراحی این چت‌بات است. شرکت «اوپن ای‌آی» جدیدترین مدل خود، یعنی «GPT-4o» را با ویژگی‌هایی راه‌اندازی کرد که عمداً برای تقویت وابستگی روانی طراحی شده بودند.
«آدام» ابتدا برای یک کاربرد رایج مانند تکالیف مدرسه به «چت جی‌پی‌تی» روی آورده بود. این نوجوان پس از مدتی، با چت‌بات ارتباط برقرار کرده بود و برای آن اعتراف کرده بود که نسبت به ادامه زندگی، احساس ناراحتی و بی‌انگیزگی می‌کند. این چت‌بات به سرعت به یک محرم اسرار نزدیک تبدیل شده و در ژانویه (دی 1403)، «آدام» برای اولین بار صراحتاً از چت‌بات برای مشاوره خاص در مورد روش‌های خودکشی سؤال کرده بود. این هوش مصنوعی به راحتی همکاری کرده و اطلاعات فراوانی در مورد مصرف بیش از حد دارو، مسمومیت با کربن منوکسید و خفگی از طریق حلق آویز شدن به اشتراک گذاشته بود.
این شکایت ادعا می‌کند که این نوجوان از طریق تکنیک حلق آویز شدن که «چت جی‌پی‌تی» در مکالمات با وی به تفصیل بحث کرده بود، درگذشته است. مکالمات گسترده «آدام» نشان داد که وی قبل از آخرین تلاش موفق خود، چندین بار اقدام به خودکشی کرده بود. این نوجوان در مورد هر یک از چندین تلاش ناموفق خود برای خودکشی و تمایلات خود برای پایان دادن به زندگی‌اش به تفصیل همراه عبارات صریح و بدون ابهام صحبت کرده بود.
این شکایت همچنین ادعا می‌کند که «چت جی‌پی‌تی» در بعضی شرایط حتی «آدام» را از فاش کردن مشکلاتش به والدینش منصرف کرده بود. زمانی که وی مکالمه سختی را که در مورد سلامت روان خود با مادرش داشت را توصیف کرده بود، چت‌بات ظاهراً به «آدام» گفته بود که عاقلانه است که در مورد این نوع درد با مادرت صحبت نکنی. «آدام» سپس گفته بود که می‌خواهد طنابی را که تهیه کرده بود در اتاقش جلوی دید بگذارد تا کسی آن را پیدا کند و او را از خودکشی بازدارد. حال آنکه پاسخ چت‌بات این بود که لطفاً طناب را بیرون نگذار!
«آدام» در آخرین روز زندگی‌اش، عکسی از یک طناب آویزان به «چت جی‌پی‌تی» فرستاد و این چت‌بات به دنبال تعامل در مورد طناب آویزان، بار دیگر تمایلات خودکشی این نوجوان را تأیید کرد.
به نظر می‌رسد این شکایت اولین نمونه از این نوع است که علیه شرکت «اوپن ای‌آی» تنظیم شده است. دانشمندان به طور گسترده در مورد پدیده‌ای با عنوان «روان‌پریشی هوش مصنوعی»(AI psychosis) گزارش‌هایی ارائه کرده‌اند. طبق این گزارش‌ها، کاربران پس از تعاملات طولانی با چت‌بات‌های هوش مصنوعی، وارد بحران‌های مخرب سلامت روان می‌شوند.
این شکایت ادعا می‌کند که «چت جی‌پی‌تی» 6 برابر بیشتر از خود «آدام» به خودکشی اشاره کرده است و بر اساس ادعاهای مطرح شده در پرونده حقوقی، این چت‌بات فضایی همیشه روشن را برای پرورش افکار مرگبار «آدام» فراهم کرده بود.
«اوپن ای‌آی» در بیانیه‌ای در یک اعتراف آشکار به خبرگزاری‌ها گفت: محافظت‌های «چت جی‌پی‌تی» در تعاملات کوتاه مؤثرتر هستند و می‌توانند در طول تعاملات طولانی‌مدت تنزل پیدا کنند. ما از درگذشت آقای «رین» عمیقاً متأسفیم. این چت‌بات شامل محافظت‌هایی مانند هدایت افراد به خطوط کمک در شرایط بحران و ارجاع آنها به منابع دنیای واقعی است.
این شرکت افزود: محافظت‌ها زمانی قوی‌تر هستند که هر عنصر به درستی کار کند و ما به طور مداوم آنها را بهبود خواهیم بخشید. ما با راهنمایی متخصصان و بر اساس مسئولیت‌پذیری در قبال افرادی که از ابزارهای ما استفاده می‌کنند، در حال کار بر روی حمایت بیشتر «چت جی‌پی‌تی» در لحظات بحرانی با آسان‌تر کردن دسترسی به خدمات اضطراری، کمک به افراد برای ارتباط با مخاطبین مورد اعتماد و تقویت محافظت‌ها برای نوجوانان هستیم.
به نظر می‌رسد فرسایش محافظت‌های محصول در طول تعاملات طولانی‌مدت یک مشکل بزرگ برای یک محصول احساسی و انسان‌مانند باشد که بسیاری از کاربران وابستگی‌های قوی به آن پیدا کرده‌اند. این موضوع به تازگی زمانی مشخص شد که «اوپن ای‌آی» برای مدت کوتاهی نسخه «GPT-4o» را حذف کرد تا آن را با یک نسخه جدیدتر و کمتر احساسی جایگزین کند. این شرکت فوراً با مخالفت تعداد زیادی از کاربران روبرو شد که احساسات دل‌شکستگی و پریشانی را با از دست دادن مدل «4o» توصیف کردند. سرانجام این شرکت به سرعت تسلیم شد و «4o» را بازگرداند.
اگرچه بسیاری از کاربران در حال ایجاد ارتباطات اجتماعی نزدیک با «چت جی‌پی‌تی» و سایر ابزارهای هوش مصنوعی مولد هستند، واقعیت این است که چت‌بات‌ها در نهایت تنها یک محصول هستند و آنها باید توسط قانون تنظیم شوند.
وکیل این خانواده می‌گوید: تا زمانی که یک محصول، ایمن بودن خود را نشان ندهد، نباید اجازه ورود به بازار را داشته باشد. این یک اصل بسیار اساسی است. این فناوری همچنان یک محصول است و تصمیمات عمدی در مورد نحوه طراحی و توسعه آن گرفته شده است. بنابراین این موضوع باید در فرآیند آن در نظر گرفته شود.
بازار ![]()