محققان دریافتند GPT و سایر مدل های هوش مصنوعی نمی توانند پرونده SEC را تجزیه و تحلیل کنند

محققان از استارتاپ به نام Patronus AI دریافتند که مدل‌ های زبان بزرگ، مشابه به آنچه در قلب ChatGPT قرار دارد، معمولاً در پاسخ به سؤالات مربوط به پرونده‌ های کمیسیون بورس و اوراق بهادار به نتیجه مطلوب نمی‌ رسند. حتی بهترین پیکربندی مدل هوش مصنوعی که آنها آزمایش کردند، یعنی GPT-4-Turbo از OpenAI، هنگامی که برای خواندن تقریباً یک پرونده کامل در کنار سؤال مجهز شد، تنها توانست 79٪ از پاسخ‌ها را به درستی در آزمایش جدید Patronus AI به دست آورد. این نتایج را بنیانگذاران شرکت به CNBC اعلام کردند.

اغلب اوقات، مدل‌های به اصطلاح زبان بزرگ از پاسخ دادن خودداری می‌کنند، یا ارقام و حقایقی را که در پرونده‌های SEC نبود، «توهم» می‌کنند.

آناند کانپان، یکی از بنیانگذاران هوش مصنوعی Patronus گفت: «این نوع نرخ عملکرد کاملاً غیرقابل قبول است. برای اینکه واقعاً به روشی خودکار و آماده تولید کار کند، باید بسیار بالاتر باشد.»

این یافته‌ها برخی از چالش‌های پیش روی مدل‌های هوش مصنوعی را نشان می‌دهد، زیرا شرکت‌های بزرگ، به‌ویژه در صنایع تحت نظارت مانند امور مالی، به دنبال استفاده از فناوری‌های پیشرفته در عملیات خود هستند، چه برای خدمات مشتری یا تحقیقات.

از زمان انتشار ChatGPT در اواخر سال گذشته، توانایی استخراج سریع اعداد مهم و انجام تجزیه و تحلیل بر روی روایت های مالی به عنوان یکی از امیدوارکننده ترین برنامه های کاربردی برای چت بات ها دیده می شود. پرونده‌های SEC پر از داده‌های مهم هستند، و اگر یک ربات بتواند آن‌ها را به‌طور دقیق خلاصه کند یا به‌سرعت به سؤالات مربوط به آنچه در آن‌ها است پاسخ دهد، می‌تواند به کاربر در صنعت رقابتی مالی کمک کند.

در سال گذشته، بلومبرگ LP مدل هوش مصنوعی خود را برای داده‌های مالی توسعه داد ، اساتید دانشکده بازرگانی تحقیق کردند که آیا ChatGPT می‌تواند سرفصل‌های مالی را تجزیه کند یا خیر، و JPMorgan
CNBC قبلا گزارش داده بود که روی یک ابزار سرمایه گذاری خودکار مبتنی بر هوش مصنوعی کار می کند . بر اساس پیش بینی اخیر مک کینزی، هوش مصنوعی مولد می تواند صنعت بانکداری را تریلیون ها دلار در سال تقویت کند .

اما ورود GPT به صنعت هموار نبوده است. زمانی که مایکروسافت
اولین بار بینگ چت خود را با استفاده از GPT OpenAI راه اندازی کرد، یکی از نمونه های اصلی آن استفاده از ربات چت برای خلاصه کردن سریع بیانیه مطبوعاتی درآمد بود. ناظران به سرعت متوجه شدند که اعداد در مثال مایکروسافت خاموش بودند و برخی از اعداد کاملاً ساخته شده بودند.