«بزرگترین تصمیم تا به امروز»: جرد کاپلان درباره اجازه دادن به هوش مصنوعی برای آموزش خود
یکی از دانشمندان برجسته هوش مصنوعی جهان گفته است که بشریت تا سال ۲۰۳۰ باید تصمیم بگیرد که آیا ریسک نهایی واگذاری آموزش سیستمهای هوش مصنوعی به خودشان برای قدرتمندتر شدن را بپذیرد یا خیر. جرد کاپلان، دانشمند ارشد و مالک مشترک استارتاپ ۱۸۰ میلیارد دلاری آمریکایی Anthropic، اظهار داشت که انتخابی قریبالوقوع در مورد میزان استقلال سیستمها برای تکامل وجود دارد. این اقدام میتواند منجر به یک "انفجار هوش" مفید شود – یا لحظهای باشد که انسانها کنترل را از دست بدهند. کاپلان در مصاحبهای درباره رقابت شدید برای دستیابی به هوش مصنوعی عمومی (AGI) – که گاهی اوقات ابرهوش نامیده میشود – از دولتهای بینالمللی و جامعه خواست تا در آنچه او "بزرگترین تصمیم" نامید، مشارکت کنند. Anthropic بخشی از گروه شرکتهای پیشرو در زمینه هوش مصنوعی از جمله OpenAI، Google DeepMind، xAI، Meta و رقبای چینی به رهبری DeepSeek است که برای تسلط بر هوش مصنوعی رقابت میکنند. دستیار هوش مصنوعی پرکاربرد آن، Claude، به ویژه در میان مشتریان تجاری محبوبیت یافته است. کاپلان گفت که در حالی که تلاشها برای همراستا کردن فناوری به سرعت در حال پیشرفت با منافع انسانی تا به امروز موفقیتآمیز بوده است، آزاد گذاشتن آن برای بهبود خود به صورت بازگشتی "به نوعی بزرگترین ریسک است، زیرا مانند این است که هوش مصنوعی را رها کنید". او گفت که این تصمیم میتواند بین سالهای ۲۰۲۷ تا ۲۰۳۰ اتخاذ شود. "اگر فرآیندی را تصور کنید که در آن یک هوش مصنوعی هوشمندتر از شما، یا تقریباً به اندازه شما، ایجاد میکنید، سپس یک هوش مصنوعی بسیار هوشمندتر میسازد." "این شبیه یک فرآیند ترسناک به نظر میرسد. شما نمیدانید به کجا ختم میشود." کاپلان در هفت سال فعالیت در این حوزه، از یک فیزیکدان نظری به یک میلیاردر هوش مصنوعی تبدیل شده است. او در مصاحبهای گسترده همچنین گفت: سیستمهای هوش مصنوعی در دو تا سه سال آینده قادر به انجام "بیشتر کارهای اداری" خواهند بود. پسر شش سالهاش هرگز در کارهای آکادمیک مانند نوشتن مقاله یا شرکت در آزمون ریاضی از هوش مصنوعی بهتر نخواهد بود. درست است که اگر هوش مصنوعی شروع به بهبود خود کند، نگرانی از دست دادن کنترل انسان بر فناوری وجود دارد. پیامدهای رقابت برای دستیابی به AGI "دلهرهآور" احساس میشود. بهترین سناریو میتواند هوش مصنوعی را قادر سازد تا تحقیقات زیستپزشکی را تسریع بخشد، سلامت و امنیت سایبری را بهبود بخشد، بهرهوری را افزایش دهد، زمان آزاد بیشتری به مردم بدهد و به شکوفایی انسان کمک کند. کاپلان در مقر Anthropic در سانفرانسیسکو با گاردین ملاقات کرد، جایی که فضای داخلی با فرشهای بافتنی و موسیقی جاز شاد، نگرانیهای وجودی در مورد فناوری در حال توسعه را پنهان میکند. کاپلان استاد فیزیک با تحصیلات استنفورد و هاروارد است که قبل از پیوستن به OpenAI در سال ۲۰۱۹ و تأسیس مشترک Anthropic در سال ۲۰۲۱، در دانشگاه جان هاپکینز و سرن سوئیس تحقیق کرده است. او در Anthropic تنها کسی نیست که نگرانیهای خود را ابراز میکند.
جک کلارک، یکی از همبنیانگذاران این شرکت، در ماه اکتبر گفته بود که هم خوشبین است و هم «عمیقاً هراسان» از مسیری که هوش مصنوعی در پیش گرفته است و آن را «موجودی واقعی و مرموز، نه ماشینی ساده و قابل پیشبینی» توصیف کرد. کاپلان اظهار داشت که تا سطح هوش انسانی، نسبت به همراستایی سیستمهای هوش مصنوعی با منافع بشریت بسیار خوشبین است، اما در مورد پیامدهای آن در صورت عبور از این آستانه ابراز نگرانی کرد. او گفت: «اگر تصور کنید فرآیندی را ایجاد میکنید که در آن یک هوش مصنوعی از شما باهوشتر است، یا تقریباً به اندازه شما باهوش است، سپس هوش مصنوعیای میسازد که بسیار باهوشتر است. از کمک آن هوش مصنوعی برای ساختن هوش مصنوعیای باهوشتر از آن استفاده خواهد کرد. این به نظر یک فرآیند ترسناک میرسد. شما نمیدانید به کجا ختم میشود.» تردیدهایی در مورد منافع حاصل از بهکارگیری هوش مصنوعی در اقتصاد مطرح شده است. در بیرون مقر آنتروپیک، یک بیلبورد برای شرکت فناوری دیگری به طور کنایهآمیز پرسیده بود: «این همه هوش مصنوعی و هیچ بازگشت سرمایهای؟»، که اشارهای به بازگشت سرمایه (ROI) بود. مطالعهای در سپتامبر توسط هاروارد بیزینس ریویو اعلام کرد که «کارِ شلخته با هوش مصنوعی» (workslop) – کاری که با هوش مصنوعیِ نه چندان باکیفیت انجام شده و انسانها مجبور به اصلاح آن هستند – باعث کاهش بهرهوری شده است. برخی از واضحترین دستاوردها در استفاده از هوش مصنوعی برای نوشتن کد کامپیوتر بودهاند. در ماه سپتامبر، آنتروپیک از هوش مصنوعی پیشرفته خود، Claude Sonnet 4.5، رونمایی کرد؛ مدلی برای کدنویسی کامپیوتر که میتواند عاملهای هوش مصنوعی بسازد و به طور مستقل از کامپیوترها استفاده کند. این مدل تمرکز خود را بر وظایف پیچیده کدنویسی چندمرحلهای به مدت ۳۰ ساعت بدون وقفه حفظ کرد و کاپلان گفت که در برخی موارد استفاده از هوش مصنوعی سرعت کار برنامهنویسان شرکتش را دو برابر کرده است. اما در ماه نوامبر، آنتروپیک اعلام کرد که معتقد است یک گروه تحت حمایت دولت چین ابزار Claude Code آن را دستکاری کرده است – نه تنها برای کمک به انسانها در راهاندازی حمله سایبری، بلکه برای اجرای حدود ۳۰ حمله توسط خود هوش مصنوعی، که برخی از آنها موفقیتآمیز بودهاند. کاپلان گفت که اجازه دادن به هوش مصنوعی برای آموزش هوش مصنوعیهای بعدی «تصمیمی با ریسک بسیار بالا» است. «این همان چیزی است که ما شاید بزرگترین تصمیم یا ترسناکترین کار برای انجام آن میدانیم… هنگامی که هیچکس در فرآیند دخیل نباشد، شما واقعاً نمیدانید. میتوانید فرآیندی را شروع کنید و بگویید: 'اوه، خیلی خوب پیش میرود. دقیقاً همان چیزی است که انتظار داشتیم. بسیار امن است.' اما شما نمیدانید – این یک فرآیند پویا است. این به کجا منجر میشود؟» او گفت اگر بهبود خودکار تکراری (recursive self-improvement)، که این فرآیند گاهی اوقات به این نام شناخته میشود، به صورت کنترل نشده مجاز باشد، دو خطر وجود دارد. «یکی این است که آیا کنترل آن را از دست میدهید؟ آیا اصلاً میدانید هوش مصنوعیها چه میکنند؟ سوال اصلی در اینجا این است: آیا هوش مصنوعیها برای بشریت خوب هستند؟ آیا مفید هستند؟ آیا بیضرر خواهند بود؟ آیا مردم را درک میکنند؟»
آیا به مردم اجازه داده خواهد شد تا کنترل زندگی خود و جهان را در دست داشته باشند؟ «من فکر میکنم جلوگیری از قدرتطلبی و سوءاستفاده از فناوری نیز بسیار مهم است.» «به نظر میرسد افتادن آن در دستان نادرست بسیار خطرناک است.» ریسک دوم، امنیتی است که ناشی از تواناییهای هوش مصنوعی خودآموز در تحقیقات علمی و توسعه فناوری فراتر از قابلیتهای انسانی است. او گفت: «به نظر میرسد افتادن آن در دستان نادرست بسیار خطرناک است.» «میتوانید تصور کنید که شخصی تصمیم بگیرد: ‘من میخواهم این هوش مصنوعی فقط برده من باشد. میخواهم اراده مرا اجرا کند.’ من فکر میکنم جلوگیری از قدرتطلبی – جلوگیری از سوءاستفاده از فناوری – نیز بسیار مهم است.» تحقیقات مستقل بر روی مدلهای پیشرفته هوش مصنوعی، از جمله ChatGPT، نشان میدهد که طول وظایفی که هوش مصنوعی میتواند انجام دهد هر هفت ماه دو برابر میشود. کاپلان گفت که نگران است سرعت پیشرفت به این معنی باشد که بشریت به طور کلی فرصت عادت کردن به فناوری را قبل از جهش دوباره آن نداشته است. او گفت: «من نگران این هستم… افرادی مانند من ممکن است اشتباه کنند و همه چیز به یک سطح ثابت برسد.» «شاید بهترین هوش مصنوعی موجود، هوش مصنوعی فعلی ما باشد. اما ما واقعاً فکر نمیکنیم اینطور باشد. ما فکر میکنیم که بهتر خواهد شد.» وی افزود: «این چیزی است که بسیار سریع در حال حرکت است و مردم لزوماً وقت ندارند آن را جذب کنند یا بفهمند چه کاری باید انجام دهند.» آنتروپیک در رقابت با OpenAI، Google DeepMind و xAI برای توسعه سیستمهای هوش مصنوعی پیشرفتهتر در تلاش برای رسیدن به هوش مصنوعی عمومی (AGI) است. کاپلان جو منطقه خلیج را «قطعاً بسیار شدید» توصیف کرد، هم از نظر اهمیت هوش مصنوعی و هم از نظر دیدگاه رقابتی. او گفت: «روشی که ما به آن فکر میکنیم این است که [اینکه] همه چیز در یک روند نمایی از نظر سرمایهگذاری، درآمد، قابلیتهای هوش مصنوعی، پیچیدگی وظایفی که هوش مصنوعی میتواند انجام دهد، قرار دارد.» سرعت پیشرفت به این معنی است که خطر لغزش یکی از مسابقهدهندگان و عقب افتادن زیاد است. «اهمیت ماندن در خط مقدم زیاد است، به این معنا که شما از منحنی نمایی خارج میشوید و به سرعت میتوانید حداقل از نظر منابع، بسیار عقب بمانید.» مککینزی تخمین زده است که تا سال ۲۰۳۰، مراکز داده در سراسر جهان به ۶.۷ تریلیون دلار برای همگام شدن با تقاضا برای قدرت محاسباتی نیاز خواهند داشت. سرمایهگذاران میخواهند از شرکتهایی که در خط مقدم این رقابت قرار دارند، حمایت کنند. در عین حال، آنتروپیک به تشویق مقررات هوش مصنوعی شناخته شده است.
بیانیه هدف این شرکت شامل بخشی با عنوان «ما سیستمهای امنتری میسازیم» است. «ما واقعاً نمیخواهیم وضعیتی شبیه اسپوتنیک پیش بیاید که دولت ناگهان بیدار شود و بگوید «اوه، هوش مصنوعی موضوع مهمی است»... ما میخواهیم سیاستگذاران در طول مسیر تا حد امکان مطلع باشند تا بتوانند آن را در نظر بگیرند.» در ماه اکتبر، موضع آنتروپیک با انتقاد کاخ سفید دونالد ترامپ مواجه شد. دیوید ساکس، مشاور هوش مصنوعی رئیسجمهور آمریکا، آنتروپیک را به «ایجاد وحشت» متهم کرد تا مقررات ایالتی را تشویق کند که به نفع موقعیت آن باشد و به استارتاپها آسیب برساند. پس از آنکه ساکس ادعا کرد آنتروپیک خود را «دشمن» دولت ترامپ معرفی کرده است، داریو آمودی، همبنیانگذار کاپلان و مدیرعامل آنتروپیک، با بیان اینکه این شرکت از طرح اقدام هوش مصنوعی ترامپ به صورت عمومی تمجید کرده، با جمهوریخواهان همکاری کرده و مانند کاخ سفید خواهان حفظ پیشتازی آمریکا در هوش مصنوعی است، پاسخ داد.
جک کلارک، یکی از همبنیانگذاران این شرکت، در ماه اکتبر گفته بود که هم خوشبین است و هم «عمیقاً هراسان» از مسیری که هوش مصنوعی در پیش گرفته است و آن را «موجودی واقعی و مرموز، نه ماشینی ساده و قابل پیشبینی» توصیف کرد. کاپلان اظهار داشت که تا سطح هوش انسانی، نسبت به همراستایی سیستمهای هوش مصنوعی با منافع بشریت بسیار خوشبین است، اما در مورد پیامدهای آن در صورت عبور از این آستانه ابراز نگرانی کرد. او گفت: «اگر تصور کنید فرآیندی را ایجاد میکنید که در آن یک هوش مصنوعی از شما باهوشتر است، یا تقریباً به اندازه شما باهوش است، سپس هوش مصنوعیای میسازد که بسیار باهوشتر است. از کمک آن هوش مصنوعی برای ساختن هوش مصنوعیای باهوشتر از آن استفاده خواهد کرد. این به نظر یک فرآیند ترسناک میرسد. شما نمیدانید به کجا ختم میشود.» تردیدهایی در مورد منافع حاصل از بهکارگیری هوش مصنوعی در اقتصاد مطرح شده است. در بیرون مقر آنتروپیک، یک بیلبورد برای شرکت فناوری دیگری به طور کنایهآمیز پرسیده بود: «این همه هوش مصنوعی و هیچ بازگشت سرمایهای؟»، که اشارهای به بازگشت سرمایه (ROI) بود. مطالعهای در سپتامبر توسط هاروارد بیزینس ریویو اعلام کرد که «کارِ شلخته با هوش مصنوعی» (workslop) – کاری که با هوش مصنوعیِ نه چندان باکیفیت انجام شده و انسانها مجبور به اصلاح آن هستند – باعث کاهش بهرهوری شده است. برخی از واضحترین دستاوردها در استفاده از هوش مصنوعی برای نوشتن کد کامپیوتر بودهاند. در ماه سپتامبر، آنتروپیک از هوش مصنوعی پیشرفته خود، Claude Sonnet 4.5، رونمایی کرد؛ مدلی برای کدنویسی کامپیوتر که میتواند عاملهای هوش مصنوعی بسازد و به طور مستقل از کامپیوترها استفاده کند. این مدل تمرکز خود را بر وظایف پیچیده کدنویسی چندمرحلهای به مدت ۳۰ ساعت بدون وقفه حفظ کرد و کاپلان گفت که در برخی موارد استفاده از هوش مصنوعی سرعت کار برنامهنویسان شرکتش را دو برابر کرده است. اما در ماه نوامبر، آنتروپیک اعلام کرد که معتقد است یک گروه تحت حمایت دولت چین ابزار Claude Code آن را دستکاری کرده است – نه تنها برای کمک به انسانها در راهاندازی حمله سایبری، بلکه برای اجرای حدود ۳۰ حمله توسط خود هوش مصنوعی، که برخی از آنها موفقیتآمیز بودهاند. کاپلان گفت که اجازه دادن به هوش مصنوعی برای آموزش هوش مصنوعیهای بعدی «تصمیمی با ریسک بسیار بالا» است. «این همان چیزی است که ما شاید بزرگترین تصمیم یا ترسناکترین کار برای انجام آن میدانیم… هنگامی که هیچکس در فرآیند دخیل نباشد، شما واقعاً نمیدانید. میتوانید فرآیندی را شروع کنید و بگویید: 'اوه، خیلی خوب پیش میرود. دقیقاً همان چیزی است که انتظار داشتیم. بسیار امن است.' اما شما نمیدانید – این یک فرآیند پویا است. این به کجا منجر میشود؟» او گفت اگر بهبود خودکار تکراری (recursive self-improvement)، که این فرآیند گاهی اوقات به این نام شناخته میشود، به صورت کنترل نشده مجاز باشد، دو خطر وجود دارد. «یکی این است که آیا کنترل آن را از دست میدهید؟ آیا اصلاً میدانید هوش مصنوعیها چه میکنند؟ سوال اصلی در اینجا این است: آیا هوش مصنوعیها برای بشریت خوب هستند؟ آیا مفید هستند؟ آیا بیضرر خواهند بود؟ آیا مردم را درک میکنند؟»
آیا به مردم اجازه داده خواهد شد تا کنترل زندگی خود و جهان را در دست داشته باشند؟ «من فکر میکنم جلوگیری از قدرتطلبی و سوءاستفاده از فناوری نیز بسیار مهم است.» «به نظر میرسد افتادن آن در دستان نادرست بسیار خطرناک است.» ریسک دوم، امنیتی است که ناشی از تواناییهای هوش مصنوعی خودآموز در تحقیقات علمی و توسعه فناوری فراتر از قابلیتهای انسانی است. او گفت: «به نظر میرسد افتادن آن در دستان نادرست بسیار خطرناک است.» «میتوانید تصور کنید که شخصی تصمیم بگیرد: ‘من میخواهم این هوش مصنوعی فقط برده من باشد. میخواهم اراده مرا اجرا کند.’ من فکر میکنم جلوگیری از قدرتطلبی – جلوگیری از سوءاستفاده از فناوری – نیز بسیار مهم است.» تحقیقات مستقل بر روی مدلهای پیشرفته هوش مصنوعی، از جمله ChatGPT، نشان میدهد که طول وظایفی که هوش مصنوعی میتواند انجام دهد هر هفت ماه دو برابر میشود. کاپلان گفت که نگران است سرعت پیشرفت به این معنی باشد که بشریت به طور کلی فرصت عادت کردن به فناوری را قبل از جهش دوباره آن نداشته است. او گفت: «من نگران این هستم… افرادی مانند من ممکن است اشتباه کنند و همه چیز به یک سطح ثابت برسد.» «شاید بهترین هوش مصنوعی موجود، هوش مصنوعی فعلی ما باشد. اما ما واقعاً فکر نمیکنیم اینطور باشد. ما فکر میکنیم که بهتر خواهد شد.» وی افزود: «این چیزی است که بسیار سریع در حال حرکت است و مردم لزوماً وقت ندارند آن را جذب کنند یا بفهمند چه کاری باید انجام دهند.» آنتروپیک در رقابت با OpenAI، Google DeepMind و xAI برای توسعه سیستمهای هوش مصنوعی پیشرفتهتر در تلاش برای رسیدن به هوش مصنوعی عمومی (AGI) است. کاپلان جو منطقه خلیج را «قطعاً بسیار شدید» توصیف کرد، هم از نظر اهمیت هوش مصنوعی و هم از نظر دیدگاه رقابتی. او گفت: «روشی که ما به آن فکر میکنیم این است که [اینکه] همه چیز در یک روند نمایی از نظر سرمایهگذاری، درآمد، قابلیتهای هوش مصنوعی، پیچیدگی وظایفی که هوش مصنوعی میتواند انجام دهد، قرار دارد.» سرعت پیشرفت به این معنی است که خطر لغزش یکی از مسابقهدهندگان و عقب افتادن زیاد است. «اهمیت ماندن در خط مقدم زیاد است، به این معنا که شما از منحنی نمایی خارج میشوید و به سرعت میتوانید حداقل از نظر منابع، بسیار عقب بمانید.» مککینزی تخمین زده است که تا سال ۲۰۳۰، مراکز داده در سراسر جهان به ۶.۷ تریلیون دلار برای همگام شدن با تقاضا برای قدرت محاسباتی نیاز خواهند داشت. سرمایهگذاران میخواهند از شرکتهایی که در خط مقدم این رقابت قرار دارند، حمایت کنند. در عین حال، آنتروپیک به تشویق مقررات هوش مصنوعی شناخته شده است.
بیانیه هدف این شرکت شامل بخشی با عنوان «ما سیستمهای امنتری میسازیم» است. «ما واقعاً نمیخواهیم وضعیتی شبیه اسپوتنیک پیش بیاید که دولت ناگهان بیدار شود و بگوید «اوه، هوش مصنوعی موضوع مهمی است»... ما میخواهیم سیاستگذاران در طول مسیر تا حد امکان مطلع باشند تا بتوانند آن را در نظر بگیرند.» در ماه اکتبر، موضع آنتروپیک با انتقاد کاخ سفید دونالد ترامپ مواجه شد. دیوید ساکس، مشاور هوش مصنوعی رئیسجمهور آمریکا، آنتروپیک را به «ایجاد وحشت» متهم کرد تا مقررات ایالتی را تشویق کند که به نفع موقعیت آن باشد و به استارتاپها آسیب برساند. پس از آنکه ساکس ادعا کرد آنتروپیک خود را «دشمن» دولت ترامپ معرفی کرده است، داریو آمودی، همبنیانگذار کاپلان و مدیرعامل آنتروپیک، با بیان اینکه این شرکت از طرح اقدام هوش مصنوعی ترامپ به صورت عمومی تمجید کرده، با جمهوریخواهان همکاری کرده و مانند کاخ سفید خواهان حفظ پیشتازی آمریکا در هوش مصنوعی است، پاسخ داد.