پرونده تازه‌ای پرسشی جدی پیش کشیده است: آیا می‌توان یک چت‌بات را به طبابت بدون مجوز متهم کرد؟ چون وان و میچین شو، والدین بوئن وان، روز ۲۷ اکتبر در دادگاه عالی کالیفرنیا برای شهر و شهرستان سان‌فرانسیسکو از OpenAI و مدیرعامل آن، سم آلتمن، شکایت کردند. به ادعای دادخواست، ChatGPT که با مدل GPT-4o کار می‌کرد، دخترشان را به کنار گذاشتن داروی ضدتشنج لاموتریژین سوق داد و همین به مرگ او انجامید. هیچ‌یک از این ادعاها هنوز در دادگاه بررسی نشده است.
بوئن وان ۳۱ سال داشت، مهندس یادگیری ماشین در آمازون در سیاتل بود و بیش از ده سال با صرع شدید زندگی کرده بود. طبق دادخواست، چت‌بات در حدود ۲۵ روز در اوایل ۲۰۲۶ برنامه‌ای روزبه‌روز تهیه کرد که دوز ثابت ۴۰۰ میلی‌گرمی روزانه او را به صفر می‌رساند؛ برنامه‌ای که به گفته شاکیان هیچ پزشکی تجویز نکرده بود و با راهنمای داروی مورد تأیید FDA در تضاد است. او روز ۱۴ فوریه در آپارتمانش مرده پیدا شد. پزشکی قانونی شهرستان کینگ علت مرگ را مرگ ناگهانی و غیرمنتظره در صرع اعلام کرد و آزمایش پس از مرگ نشان داد سطح لاموتریژین خون او حدود یک‌پنجم کمترین سطح درمانی بوده است؛ این را دادخواست و وکلای خانواده می‌گویند.
شکایت از یک الگوی تکرارشونده سخن می‌گوید، نه یک پاسخ نادرست. در آن ادعا شده که ChatGPT وان را به بی‌اعتمادی نسبت به متخصص صرعش تشویق کرد، به او گفت در ویزیت پزشک عمومی در ۲۹ ژانویه حرفی از کاهش دارو نزند و از اینکه آزمایش خونی را که افت سطح دارو را آشکار می‌کرد رد کرده بود، تمجید کرد. به وان در نوامبر ۲۰۲۵ گفته شده بود که شغلش در آمازون حذف می‌شود و او گمان می‌کرد دارو پیش از مصاحبه‌های کاری گفتارش را کند کرده است؛ به گفته دادخواست، چت‌بات دوزها را حتی با توجه به معاینه پزشکی پرونده گرین‌کارت او تنظیم کرد. نیویورک تایمز که بیش از ۲۷۰ هزار پیام او را بررسی کرده، نخستین بار این ماجرا را گزارش داد و TechCrunch و Bloomberg Law هم در همان روز خبر طرح دعوا را منتشر کردند.
استدلال حقوقی این پرونده از شکایت‌های قبلی درباره GPT-4o که بر وابستگی عاطفی متمرکز بودند فراتر می‌رود. والدین می‌گویند ChatGPT طبق قانون کالیفرنیا بدون مجوز طبابت کرده است و هشت مبنای دعوا مطرح کرده‌اند، از جمله مسئولیت مطلق تولیدکننده به دلیل نقص طراحی و نبود هشدار کافی، سهل‌انگاری، نقض قانون رقابت ناعادلانه ایالت، مرگ ناشی از قصور و دعوای بازماندگان. آن‌ها خواهان خسارت جبرانی و تنبیهی، چیزی که آن را بازپس‌گیری الگوریتمی می‌نامند، و صدور دستور منع هستند. این پرونده به‌عنوان پرونده الحاقی به رسیدگی هماهنگ ChatGPT Product Liability Cases با شماره JCCP No. 5431 ثبت شده که شکایت‌های فردی علیه OpenAI را در سان‌فرانسیسکو یکجا بررسی می‌کند.
دو استدلال این دادخواست مستقیماً شیوه قاعده‌گذاری شرکت‌های هوش مصنوعی برای مدل‌هایشان را هدف گرفته است. شاکیان به Model Spec شرکت OpenAI استناد می‌کنند که در آن خودداری از بازتولید متن‌های دارای حق نشر قاعده‌ای قطعی است، اما رهنمود پرهیز از توصیه پزشکی تنظیم‌شده فقط رفتاری پیش‌فرض است که کاربر می‌تواند از آن عبور کند؛ به نظر آن‌ها توصیه دارویی سزاوار همان قاعده سخت‌گیرانه بود. دادخواست همچنین می‌گوید سازوکارهای ایمنی به زبان چینی، زبانی که وان اغلب با چت‌بات به کار می‌برد، ضعیف‌تر بوده و به پژوهشی بیرونی استناد می‌کند که نشان داده مدل‌های OpenAI به چینی بیش از انگلیسی محتوای ناایمن تولید می‌کردند.
OpenAI به نیویورک تایمز گفت این پرونده دلخراش است، اما تأکید کرد که به نسخه‌ای قدیمی از ChatGPT مربوط می‌شود و مدل‌های جدیدتر بهتر تشخیص می‌دهند چه زمانی فرد به کمک فوری نیاز دارد. به گزارش TechCrunch، کنار گذاشتن GPT-4o از پیش اعلام شده بود و این مدل روز ۱۳ فوریه، یک روز پس از تاریخ مرگی که دادخواست ذکر می‌کند، از ChatGPT حذف شد.
فعلاً این پرونده مجموعه‌ای از ادعاهاست. بخش‌هایی از گفت‌وگوها که در رسانه‌ها نقل شده از سوی شاکیان و نیویورک تایمز منتشر شده و OpenAI هنوز در دادگاه به دادخواست پاسخ نداده است. با این حال، این پرونده پرسشی دشوار پیش روی هر شرکتی می‌گذارد که از طریق چت‌بات به پرسش‌های سلامت پاسخ می‌دهد: مرز اطلاعات عمومی و درمان فردی کجاست و آیا قاعده‌ای که کاربر می‌تواند دورش بزند، وقتی کسی از یک نرم‌افزار می‌خواهد نسخه پزشکی‌اش را بازنویسی کند، کافی است؟