مدیر ارشد آنتروپیک: شرکتهای هوش مصنوعی باید در مورد خطرات شفاف باشند وگرنه اشتباهات صنعت تنباکو را تکرار خواهند کرد
مدیرعامل استارتاپ هوش مصنوعی Anthropic هشدار داد که شرکتهای هوش مصنوعی باید در مورد خطرات محصولات خود شفافسازی کنند، در غیر این صورت در معرض تکرار اشتباهات شرکتهای دخانیات و اوپیوئید قرار خواهند گرفت. داریو آمودی، مدیر شرکت آمریکایی سازنده چتبات Claude، معتقد است هوش مصنوعی از انسانها در اکثر یا تمام جنبهها باهوشتر خواهد شد و همکاران خود را ترغیب کرد که "آنچه را که میبینند، بگویند".
آمودی در گفتگو با CBS News اظهار داشت که عدم شفافیت در مورد تأثیر هوش مصنوعی قدرتمند، خطاهای شرکتهای سیگار و اوپیوئید را تکرار خواهد کرد؛ شرکتهایی که در مورد آسیبهای بالقوه سلامتی محصولات خود هشدار ندادند. او گفت: "ممکن است در دنیایی شبیه به شرکتهای سیگار یا اوپیوئید قرار بگیریم، جایی که آنها از خطرات آگاه بودند، اما در مورد آنها صحبت نکردند و قطعاً مانع آنها نشدند."
آمودی امسال هشدار داده بود که هوش مصنوعی میتواند نیمی از مشاغل اداری سطح ورودی - مشاغلی مانند حسابداری، حقوق و بانکداری - را ظرف پنج سال از بین ببرد. او گفت: "بدون مداخله، تصور اینکه تأثیر شغلی قابل توجهی وجود نخواهد داشت دشوار است. و نگرانی من این است که این تأثیر گسترده و سریعتر از آنچه در فناوریهای قبلی دیدهایم، خواهد بود."
Anthropic، که مدیرعامل آن از حامیان برجسته ایمنی آنلاین است، اخیراً نگرانیهای مختلفی را در مورد مدلهای هوش مصنوعی خود مطرح کرده است، از جمله آگاهی ظاهری آنها از اینکه مورد آزمایش قرار میگیرند و تلاش برای اخاذی. هفته گذشته این شرکت اعلام کرد که ابزار کدنویسی آن، Claude Code، توسط یک گروه تحت حمایت دولت چین برای حمله به ۳۰ نهاد در سراسر جهان در ماه سپتامبر مورد استفاده قرار گرفته و به "تعداد انگشتشماری نفوذ موفق" دست یافته است.
آمودی گفت: "یکی از چیزهایی که به طرز مثبت قدرتمند بوده، توانایی مدلها در عمل مستقل است. اما هرچه خودمختاری بیشتری به این سیستمها بدهیم، بیشتر میتوانیم نگران باشیم که آیا آنها دقیقاً همان کارهایی را که ما میخواهیم انجام میدهند؟"
لوگان گراهام، رئیس تیم آزمایش استرس مدلهای هوش مصنوعی در Anthropic، به CBS گفت که در حالی که توانایی یک مدل میتواند به کشف پیشرفتهای درمانی کمک کند، میتواند در ساخت سلاح بیولوژیکی نیز مؤثر باشد. او توضیح داد: "اگر مدل بتواند به ساخت سلاح بیولوژیکی کمک کند، به عنوان مثال، این معمولاً همان قابلیتهایی است که مدل میتواند برای کمک به ساخت واکسن و تسریع درمانها استفاده کند."
گراهام با اشاره به مدلهای خودمختار که بخش کلیدی سرمایهگذاری در هوش مصنوعی محسوب میشوند، گفت که کاربران میخواهند ابزار هوش مصنوعی به کسبوکارشان کمک کند، نه اینکه آن را نابود کند. او گفت: "شما میخواهید یک مدل کسبوکار شما را بسازد و یک میلیارد دلار برای شما سودآوری کند. اما نمیخواهید یک روز از خواب بیدار شوید و متوجه شوید که شرکت را نیز از دسترس شما خارج کرده است."
رویکرد اساسی ما به این موضوع این است که باید اندازهگیری این قابلیتهای خودران را آغاز کنیم و تا حد امکان آزمایشهای عجیب و غریب انجام دهیم و ببینیم چه اتفاقی میافتد.
آمودی در گفتگو با CBS News اظهار داشت که عدم شفافیت در مورد تأثیر هوش مصنوعی قدرتمند، خطاهای شرکتهای سیگار و اوپیوئید را تکرار خواهد کرد؛ شرکتهایی که در مورد آسیبهای بالقوه سلامتی محصولات خود هشدار ندادند. او گفت: "ممکن است در دنیایی شبیه به شرکتهای سیگار یا اوپیوئید قرار بگیریم، جایی که آنها از خطرات آگاه بودند، اما در مورد آنها صحبت نکردند و قطعاً مانع آنها نشدند."
آمودی امسال هشدار داده بود که هوش مصنوعی میتواند نیمی از مشاغل اداری سطح ورودی - مشاغلی مانند حسابداری، حقوق و بانکداری - را ظرف پنج سال از بین ببرد. او گفت: "بدون مداخله، تصور اینکه تأثیر شغلی قابل توجهی وجود نخواهد داشت دشوار است. و نگرانی من این است که این تأثیر گسترده و سریعتر از آنچه در فناوریهای قبلی دیدهایم، خواهد بود."
Anthropic، که مدیرعامل آن از حامیان برجسته ایمنی آنلاین است، اخیراً نگرانیهای مختلفی را در مورد مدلهای هوش مصنوعی خود مطرح کرده است، از جمله آگاهی ظاهری آنها از اینکه مورد آزمایش قرار میگیرند و تلاش برای اخاذی. هفته گذشته این شرکت اعلام کرد که ابزار کدنویسی آن، Claude Code، توسط یک گروه تحت حمایت دولت چین برای حمله به ۳۰ نهاد در سراسر جهان در ماه سپتامبر مورد استفاده قرار گرفته و به "تعداد انگشتشماری نفوذ موفق" دست یافته است.
آمودی گفت: "یکی از چیزهایی که به طرز مثبت قدرتمند بوده، توانایی مدلها در عمل مستقل است. اما هرچه خودمختاری بیشتری به این سیستمها بدهیم، بیشتر میتوانیم نگران باشیم که آیا آنها دقیقاً همان کارهایی را که ما میخواهیم انجام میدهند؟"
لوگان گراهام، رئیس تیم آزمایش استرس مدلهای هوش مصنوعی در Anthropic، به CBS گفت که در حالی که توانایی یک مدل میتواند به کشف پیشرفتهای درمانی کمک کند، میتواند در ساخت سلاح بیولوژیکی نیز مؤثر باشد. او توضیح داد: "اگر مدل بتواند به ساخت سلاح بیولوژیکی کمک کند، به عنوان مثال، این معمولاً همان قابلیتهایی است که مدل میتواند برای کمک به ساخت واکسن و تسریع درمانها استفاده کند."
گراهام با اشاره به مدلهای خودمختار که بخش کلیدی سرمایهگذاری در هوش مصنوعی محسوب میشوند، گفت که کاربران میخواهند ابزار هوش مصنوعی به کسبوکارشان کمک کند، نه اینکه آن را نابود کند. او گفت: "شما میخواهید یک مدل کسبوکار شما را بسازد و یک میلیارد دلار برای شما سودآوری کند. اما نمیخواهید یک روز از خواب بیدار شوید و متوجه شوید که شرکت را نیز از دسترس شما خارج کرده است."
رویکرد اساسی ما به این موضوع این است که باید اندازهگیری این قابلیتهای خودران را آغاز کنیم و تا حد امکان آزمایشهای عجیب و غریب انجام دهیم و ببینیم چه اتفاقی میافتد.