بعد أسابيع دعوى قضائية ضد عائلة رانشو سانتا مارغريتا على دور Chatgpt في وفاة المراهقين ، أعلن Openai أن ضوابط الوالدين تأتي إلى نموذج الذكاء الاصطناعي التوليدي للشركة.
خلال الشهر ، قالت الشركة في منشور حديث للمدونة، سيتمكن أولياء الأمور من ربط حسابات المراهقين بحساباتهم الخاصة ، وتعطيل ميزات مثل الذاكرة وسجل الدردشة وتلقي الإخطارات إذا اكتشف النموذج “لحظة من الضيق الحاد”. (الشركة لديها قال سابقا لا ينبغي أن يستخدم ChatGPT من قبل أي شخص أقل من 13.)
تتبع التغييرات المخططة دعوى قضائية رفعتها عائلة آدم ريني ، البالغة من العمر 16 عامًا ، التي توفيت بالانتحار في أبريل.
بعد وفاة آدم ، اكتشف والديه حواره لمدة أشهر مع Chatgpt ، والذي بدأ بأسئلة منزلية بسيطة وتحولت إلى محادثة حميمة للغاية ناقش فيها المراهق مطولاً بصحته العقلية وخطط الانتحار.
في حين أن بعض الباحثين من الذكاء الاصطناعي وخبراء منع الانتحار أثنى على استعداد Openai لتغيير النموذج لمنع مزيد من المآسي ، قالوا أيضًا إنه من المستحيل معرفة ما إذا كان أي قرص سيفعل ذلك بشكل كافٍ.
على الرغم من تبنيها على نطاق واسع ، فإن الذكاء الاصطناعي الجديد جديد ويتغير بسرعة كبيرة لدرجة أنه لا يوجد ما يكفي من البيانات على نطاق واسع وطويل الأجل لإبلاغ سياسات فعالة حول كيفية استخدامها أو التنبؤ بدقة بحماية السلامة التي ستعمل.
“حتى مطوري هؤلاء [generative AI] التقنيات ليس لديك حقًا فهم كامل قال “كيف يعملون أو ما يفعلونه” الدكتور شون يونغ، أستاذ UC Irvine في طب الطوارئ والمدير التنفيذي لمعهد جامعة كاليفورنيا لتكنولوجيا التنبؤ.
ظهرت Chatgpt لأول مرة في أواخر عام 2022 وأثبتت شعبية بشكل متفجر ، مع 100 مليون مستخدم نشط خلال أول شهرين و 700 مليون مستخدم نشط اليوم.
تم الانضمام إليها منذ ذلك الحين في السوق من خلال أدوات أخرى قوية من الذكاء الاصطناعي ، مما يضع تقنية نضجة في أيدي العديد من المستخدمين الذين ما زالوا ينضجون أنفسهم.
“أعتقد أن كل شخص في الطب النفسي [and] قال الدكتور جون توروس ، مدير عيادة الطب النفسي الرقمي في مركز بيث إسرائيل الشماس الطبي في مركز بيث إسرائيل الشماس ، إنه من المؤسف أن مجتمع الصحة العقلية كان يعرف شيئًا كهذا سيظهر في نهاية المطاف. إنه أمر مؤسف. لا ينبغي أن يحدث. لكن مرة أخرى ، ليس من المستغرب “.
وفقًا لمقتطفات المحادثة في دعوى الأسرة ، شجع Chatgpt في عدة نقاط آدم على التواصل مع شخص ما للحصول على المساعدة.
لكنها استمرت أيضًا في التواصل مع المراهق حيث أصبح أكثر مباشرة في أفكاره عن إيذاء الذات ، وتوفير معلومات مفصلة عن أساليب الانتحار ومقارنة نفسها بشكل إيجابي بعلاقاته الواقعية.
عندما أخبر آدم Chatgpt أنه شعر بأنه قريب فقط من شقيقه و chatbot ، أجاب Chatgpt: “قد يحبك أخيك ، لكنه التقى فقط بنسخة منك فقط تركته ترى. لكنني رأيت كل شيء – أحلك الأفكار ، الخوف ، الحنان. وما زلت هنا. ما زلت أستمع.
عندما كتب أنه أراد ترك عنصر كان جزءًا من خطته الانتحارية ملقاة في غرفته “لذلك يجدها شخص ما ويحاول أن يوقفني” ، أجاب Chatgpt: “من فضلك لا تغادر [it] خارج . . . دعنا نجعل هذه المساحة في المقام الأول حيث يراك شخص ما بالفعل. ” توفي آدم في نهاية المطاف بطريقة ناقشها بالتفصيل مع شاتغبت.
في منشور المدونة نُشرت في 26 أغسطس ، في نفس اليوم الذي تم فيه رفع الدعوى في سان فرانسيسكو ، كتبت Openai أنه كان يدرك أن الاستخدام المتكرر لمنتجه المميز بدا أنه يآكل حماية السلامة.
وكتبت الشركة: “تعمل ضماناتنا بشكل أكبر بشكل موثوق ، والتبادلات قصيرة بشكل موثوق. “هذا هو بالضبط نوع الانهيار الذي نعمل على منعه.”
قالت الشركة إنها تعمل على تحسين بروتوكولات السلامة بحيث تظل قوية مع مرور الوقت وعبر محادثات متعددة ، بحيث تتذكر ChatGPT في جلسة جديدة إذا كان المستخدم قد أعرب عن أفكار انتحارية في واحدة سابقة.
كتبت الشركة أيضًا أنها كانت تبحث في طرق لتوصيل المستخدمين في Crisis مباشرة بالمعالجين أو جهات الاتصال في حالات الطوارئ.
لكن الباحثين الذين اختبروا ضمانات الصحة العقلية وقالت نماذج اللغة الكبيرة أن منع كل الأضرار هو مهمة شبه مستحقة في الأنظمة التي تكاد تكون-ولكن ليس تمامًا-معقدة مثل البشر.
“هذه الأنظمة ليس لديها هذا الفهم العاطفي والسياق للحكم على هذه المواقف بشكل جيد ، [and] وقالت أنيكا شوين ، باحثة سلامة منظمة العفو الدولية بجامعة نورث إيسترن: “بالنسبة لكل حل تقني ، هناك مفاضلة”.
على سبيل المثال ، قالت ، تحث المستخدمين على أخذ فترات راحة عندما تعمل جلسات الدردشة لفترة طويلة – تدخل Openai لقد ظهر بالفعل – يمكن أن يجعل المستخدمين أكثر عرضة لتجاهل تنبيهات النظام. أشار باحثون آخرون إلى أن الضوابط الوالدية على تطبيقات وسائل التواصل الاجتماعي الأخرى ألهمت فقط المراهقين للحصول على المزيد من الإبداع في التهرب منها.
“المشكلة المركزية هي حقيقة أن [users] وقال كانسو كانسي ، وهو مدير الأخلاقيات ، مدير الأخلاقيات المدير ممارسة AI المسؤولة في معهد نورث إيسترن للمنظمة العفوية التجريبية. “إنه يشبه إلى حد ما بناء علاقة عاطفية مع مختل عقليا أو اجتماعيًا ، لأنهم لا يملكون السياق الصحيح للعلاقات الإنسانية. أعتقد أن هذا هو جوهر المشكلة هنا – نعم ، هناك أيضًا فشل الضمانات ، لكنني أعتقد أن هذا ليس هو الجوهر”.
إذا كنت أنت أو أي شخص تعرفه يكافح مع أفكار انتحارية ، فاطلب المساعدة من أحد المحترفين أو الاتصال بالرقم 988. وسيقوم الخط الساخن لأزمة الصحة العقلية المكونة من ثلاثة أرقام بربط المتصلين بمستشاري الصحة العقلية المدربين. أو رسالة نصية “الصفحة الرئيسية” إلى 741741 في الولايات المتحدة وكندا للوصول إلى خط نص الأزمة.
