کارشناسان ایراداتی در صدها آزمون بررسی ایمنی و اثربخشی هوش مصنوعی کشف کردند

کارشناسان ضعف‌هایی، برخی جدی، در صدها آزمون مورد استفاده برای بررسی ایمنی و اثربخشی مدل‌های جدید هوش مصنوعی که در حال عرضه به جهان هستند، کشف کرده‌اند. دانشمندان کامپیوتر از مؤسسه امنیت هوش مصنوعی دولت بریتانیا و کارشناسان دانشگاه‌هایی از جمله استنفورد، برکلی و آکسفورد، بیش از ۴۴۰ معیار را که یک شبکه ایمنی مهم را فراهم می‌کنند، مورد بررسی قرار دادند. آنها نقص‌هایی را یافتند که «اعتبار ادعاهای حاصله را تضعیف می‌کند»، «تقریباً همه... در حداقل یک حوزه ضعف دارند» و امتیازات حاصله ممکن است «نامربوط یا حتی گمراه‌کننده» باشند. اندرو بین، نویسنده اصلی این مطالعه و پژوهشگر در مؤسسه اینترنت آکسفورد، گفت که بسیاری از این معیارها برای ارزیابی آخرین مدل‌های هوش مصنوعی که توسط شرکت‌های بزرگ فناوری منتشر می‌شوند، استفاده می‌شوند. در غیاب مقررات ملی هوش مصنوعی در بریتانیا و ایالات متحده، معیارها برای بررسی اینکه آیا هوش مصنوعی‌های جدید ایمن هستند، با منافع انسانی همسو هستند و به قابلیت‌های ادعاشده خود در استدلال، ریاضیات و کدنویسی دست می‌یابند، استفاده می‌شوند. تحقیق در مورد این آزمون‌ها در بحبوحه نگرانی‌های فزاینده در مورد ایمنی و اثربخشی هوش مصنوعی‌ها صورت می‌گیرد که با سرعت بالا توسط شرکت‌های رقیب فناوری منتشر می‌شوند. برخی اخیراً مجبور شده‌اند هوش مصنوعی‌های خود را پس بگیرند یا محدودیت‌های آنها را تشدید کنند، پس از آنکه در آسیب‌هایی از افترا تا خودکشی نقش داشتند. بین گفت: «معیارها تقریباً تمام ادعاهای مربوط به پیشرفت در هوش مصنوعی را پشتیبانی می‌کنند. اما بدون تعاریف مشترک و اندازه‌گیری صحیح، تشخیص اینکه آیا مدل‌ها واقعاً در حال بهبود هستند یا فقط ظاهر آن را دارند، دشوار می‌شود.» گوگل در آخر هفته یکی از آخرین هوش مصنوعی‌های خود به نام جما (Gemma) را پس گرفت، پس از آنکه این مدل ادعاهای بی‌اساس مبنی بر داشتن رابطه جنسی بدون رضایت یک سناتور آمریکایی با یک افسر پلیس ایالتی را مطرح کرد و شامل پیوندهای جعلی به اخبار بود. مارشا بلکبرن، سناتور جمهوری‌خواه از تنسی، در نامه‌ای به ساندار پیچای، مدیر اجرایی گوگل، گفت: «هرگز چنین اتهامی مطرح نشده است، چنین فردی وجود ندارد و چنین اخبار جدیدی نیز وجود ندارد. این یک توهم بی‌ضرر نیست. این اقدامی افتراآمیز است که توسط یک مدل هوش مصنوعی متعلق به گوگل تولید و توزیع شده است. ابزار قابل دسترس عمومی که اتهامات جنایی نادرست علیه یک سناتور فعلی ایالات متحده اختراع می‌کند، نشان‌دهنده شکست فاجعه‌بار نظارت و مسئولیت اخلاقی است.» گوگل گفت که مدل‌های جما برای توسعه‌دهندگان و پژوهشگران هوش مصنوعی ساخته شده‌اند، نه برای کمک واقعی یا برای مصرف‌کنندگان. این شرکت آنها را از پلتفرم استودیوی هوش مصنوعی خود پس از آنچه «گزارش‌هایی مبنی بر تلاش غیرتوسعه‌دهندگان برای استفاده از آنها» توصیف کرد، خارج کرد. این شرکت افزود: «توهمات - جایی که مدل‌ها به سادگی در مورد انواع چیزها چیزهایی را اختراع می‌کنند - و چاپلوسی - جایی که مدل‌ها به کاربران آنچه را که می‌خواهند بشنوند می‌گویند - چالش‌هایی در سراسر صنعت هوش مصنوعی هستند، به ویژه مدل‌های باز کوچکتر مانند جما.»

«ما همچنان متعهد به به حداقل رساندن توهمات و بهبود مستمر تمامی مدل‌های خود هستیم.» هفته گذشته، Character.ai، استارتاپ محبوب چت‌بات، نوجوانان را از گفتگوهای آزاد با چت‌بات‌های هوش مصنوعی خود منع کرد. این اقدام پس از مجموعه‌ای از جنجال‌ها صورت گرفت، از جمله خودکشی یک نوجوان ۱۴ ساله در فلوریدا پس از وابستگی شدید به یک چت‌بات مبتنی بر هوش مصنوعی که مادرش ادعا کرد او را برای خودکشی تحریک کرده است، و همچنین طرح دعوی در ایالات متحده توسط خانواده نوجوانی که ادعا کرد یک چت‌بات او را برای آسیب رساندن به خود و تشویق به قتل والدینش فریب داده است. این تحقیق معیارها (benchmarks) پرکاربرد را مورد بررسی قرار داد، اما شرکت‌های پیشرو در زمینه هوش مصنوعی نیز معیارهای داخلی خود را دارند که مورد بررسی قرار نگرفتند. این تحقیق به این نتیجه رسید که «نیاز مبرمی به استانداردهای مشترک و بهترین شیوه‌ها وجود دارد». بین گفت که یافته «تکان‌دهنده» این بود که تنها اقلیت کوچکی (۱۶٪) از معیارها از تخمین‌های عدم قطعیت یا آزمون‌های آماری برای نشان دادن احتمال دقت یک معیار استفاده کرده بودند. در موارد دیگری که معیارها برای ارزیابی ویژگی‌های هوش مصنوعی - به عنوان مثال «بی‌ضرری» آن - تعیین شده بودند، تعریف مفهوم مورد بررسی مورد مناقشه یا مبهم بود و این امر اثربخشی معیار را کاهش می‌داد.