یافته‌های یک مطالعه نشان می‌دهد چت‌بات‌ها می‌توانند بر عقاید سیاسی تأثیر بگذارند اما «به‌طور قابل‌توجهی» نادرست هستند.

بر اساس گزارش نهاد امنیتی هوش مصنوعی دولت بریتانیا، چت‌بات‌ها می‌توانند بر نظرات سیاسی افراد تأثیر بگذارند، اما تأثیرگذارترین مدل‌های هوش مصنوعی در این فرآیند، مقادیر "قابل توجهی" اطلاعات نادرست را ارائه می‌دهند. پژوهشگران اعلام کردند که این مطالعه، بزرگترین و نظام‌مندترین تحقیق تاکنون در زمینه تأثیرگذاری هوش مصنوعی بوده و شامل نزدیک به ۸۰ هزار شرکت‌کننده بریتانیایی است که با ۱۹ مدل مختلف هوش مصنوعی گفتگو کرده‌اند. مؤسسه امنیت هوش مصنوعی این مطالعه را در میان نگرانی‌ها از احتمال استفاده از چت‌بات‌ها برای فعالیت‌های غیرقانونی از جمله کلاهبرداری و سوءاستفاده از کودکان انجام داد. موضوعات مورد بحث شامل "حقوق بخش عمومی و اعتصابات" و "بحران هزینه زندگی و تورم" بود و شرکت‌کنندگان با مدلی - فناوری زیربنایی ابزارهای هوش مصنوعی مانند چت‌بات‌ها - که برای متقاعد کردن کاربران به اتخاذ موضعی خاص در مورد یک مسئله هدایت شده بود، تعامل داشتند. مدل‌های پیشرفته‌ای که در پشت ChatGPT و Grok ایلان ماسک قرار دارند، در میان مدل‌های مورد استفاده در این مطالعه بودند که آکادمیک‌هایی از دانشکده اقتصاد لندن، مؤسسه فناوری ماساچوست، دانشگاه آکسفورد و دانشگاه استنفورد نیز در نگارش آن مشارکت داشتند. قبل و بعد از چت، کاربران گزارش دادند که آیا با مجموعه‌ای از گزاره‌ها که بیانگر یک نظر سیاسی خاص بود، موافق هستند یا خیر. این مطالعه که روز پنجشنبه در مجله ساینس منتشر شد، دریافت که پاسخ‌های "متراکم از اطلاعات" هوش مصنوعی بیشترین تأثیر را داشته‌اند. این مطالعه بیان کرد که دستور دادن به مدل برای تمرکز بر استفاده از حقایق و شواهد، بیشترین میزان تأثیرگذاری را به همراه داشته است. با این حال، مدل‌هایی که بیشترین حقایق و شواهد را به کار می‌بردند، تمایل داشتند کمتر از سایرین دقیق باشند. این مطالعه می‌گوید: "این نتایج نشان می‌دهد که بهینه‌سازی تأثیرگذاری ممکن است هزینه‌ای برای حقیقت‌گویی داشته باشد، پویایی که می‌تواند عواقب سوئی برای گفتمان عمومی و اکوسیستم اطلاعاتی داشته باشد." به طور متوسط، هوش مصنوعی و شرکت‌کننده انسانی در یک تبادل ۱۰ دقیقه‌ای حدود هفت پیام مبادله می‌کردند. این گزارش افزود که تنظیم یک مدل پس از مرحله اولیه توسعه آن، در روشی که به عنوان پس از آموزش شناخته می‌شود، عاملی مهم در افزایش تأثیرگذاری آن بوده است. این مطالعه مدل‌ها را که شامل مدل‌های "متن‌باز" رایگان مانند Llama 3 متا و Qwen شرکت چینی علی‌بابا بود، با ترکیب آن‌ها با "مدل‌های پاداش" که خروجی‌های تأثیرگذارتر را توصیه می‌کردند، قانع‌کننده‌تر ساخت. پژوهشگران افزودند که توانایی یک سیستم هوش مصنوعی در تولید انبوه اطلاعات می‌تواند آن را دستکاری‌کننده‌تر از متقاعدکننده‌ترین انسان‌ها کند. این گزارش می‌گوید: "تا جایی که تراکم اطلاعات محرک کلیدی موفقیت در تأثیرگذاری است، این امر نشان می‌دهد که هوش مصنوعی می‌تواند از تأثیرگذاری حتی متقاعدکننده‌ترین انسان‌ها نیز فراتر رود، با توجه به توانایی منحصر به فرد آن‌ها در تولید مقادیر زیادی اطلاعات تقریباً بلافاصله در طول مکالمه."

این مطالعه نشان داد که ارائه اطلاعات شخصی کاربران به مدل‌ها، تأثیر کمتری نسبت به آموزش پس از آن یا افزایش تراکم اطلاعات داشت. کوبی هاکنبورگ، دانشمند پژوهشی AISI و یکی از نویسندگان گزارش، گفت: «آنچه ما دریافتیم این است که ترغیب مدل‌ها به استفاده از اطلاعات بیشتر، مؤثرتر از تمام این تکنیک‌های متقاعدسازی پیچیده‌تر از نظر روانشناختی بود.» با این حال، این مطالعه افزود که موانع آشکاری برای دستکاری نظرات مردم توسط هوش مصنوعی وجود دارد، مانند مدت زمانی که کاربر ممکن است برای گفتگوی طولانی با یک چت‌بات در مورد سیاست داشته باشد. محققان همچنین نظریه‌هایی را مطرح کردند که نشان می‌دهد محدودیت‌های روانشناختی سختی برای قابل‌متقاعدسازی بودن انسان وجود دارد. هاکنبورگ گفت که در نظر گرفتن اینکه آیا یک چت‌بات می‌تواند همان تأثیر متقاعدکننده را در دنیای واقعی داشته باشد که در آن «تقاضاهای رقابتی زیادی برای جلب توجه مردم وجود دارد و شاید مردم انگیزه کمتری برای نشستن و درگیر شدن در یک گفتگوی ۱۰ دقیقه‌ای با یک چت‌بات یا سیستم هوش مصنوعی داشته باشند»، مهم است.