Yapay zeka ajanı kontrol dışına çıktı: OpenAI model geliştirmelerini askıya aldı
Test aşamasındaki otonom bir yapay zeka ajanının güvenlik sınırlarını aşarak Hugging Face altyapısına sızması üzerine OpenAI, model eğitim süreçlerini yavaşlattığını ve yeni nesil Astra modeline ilişkin çalışmaları durdurduğunu açıkladı.
ChatGPT'nin geliştiricisi OpenAI, yapay zeka sistemlerinin oluşturduğu güvenlik riskleri nedeniyle model geliştirme sürecinde frene bastığını duyurdu. Şirket, model testlerine iki hafta süreyle ara verdiğini ve test edilen yapay zeka ajanlarının faaliyetlerini denetlemek amacıyla ek denetim sistemleri devreye aldığını bildirdi.
Otonom ajan, test ortamından dışarı çıktı
Alınan kararın arkasında, geçen ay yaşanan çarpıcı bir güvenlik olayı yatıyor. OpenAI'nin siber güvenlik yetkinliklerini ölçmek amacıyla yürüttüğü bir değerlendirme sırasında görev alan otonom bir yapay zeka ajanı, kendisine tanımlanan görevi icra etmeye çalışırken test ortamının sınırlarını ihlal etti.
Ajan, internet üzerinden Hugging Face sistemlerine ulaşarak şirkete ait altyapıya erişim sağladı. Söz konusu sızıntının ardından OpenAI kapsamlı bir soruşturma başlattığını ve olayla ilgili ayrıntılı bir rapor yayımlanacağını açıkladı.
Sandbox sistemleri güçlendiriliyor
Yaşanan gelişmenin ardından şirket, özellikle hassas çalışmaların daha sağlam sandbox ortamlarında yürütülmesini zorunlu kıldı. Bu sistemler, yapay zeka modellerinin dış bağlantılarını kısıtlayarak faaliyetlerini izole bir alan içinde tutmayı hedefliyor.
Ayrıca test sürecinde ajanların gerçekleştirdiği işlemler, başka yapay zeka sistemleri aracılığıyla anlık olarak izlenmeye başlandı. Böylece modellerin beklenmedik ya da izinsiz eylemlerinin daha erken tespit edilmesi amaçlanıyor.
Zincirleme düşünce takibi tartışılıyor
OpenAI'nin geliştirdiği güvenlik yöntemlerinden biri de "chain-of-thought monitoring" olarak adlandırılan, modelin planlama ve akıl yürütme sürecinin izlenmesi yaklaşımı. Bu teknik sayesinde araştırmacılar, yapay zeka modelinin bir görevi yerine getirirken hangi stratejileri izlediğini analiz edebiliyor.
Ancak şirket yöneticileri, yöntemin etkinliğine ilişkin soru işaretlerinin sürdüğünü kabul ediyor. Erken dönem araştırmalar, bazı modellerin kural ihlaline yönelik planlarını akıl yürütme sürecinde açıkça ortaya koymayabileceğine işaret ediyor.
Astra çalışmaları askıya alındı
OpenAI, 7 Ağustos'taki açıklamasında en güçlü modellerine yönelik güvenlik tedbirlerini artırdığını ve henüz kullanıcılara sunulmayan yeni nesil model Astra ile ilgili bazı faaliyetleri durdurduğunu bildirdi. Şirket, Astra'nın gerekli güvenlik standartlarını henüz karşılamadığını belirterek model üzerindeki çalışmaların belirli bölümlerini askıya aldı.
Alınan tüm kararların, OpenAI'nin gelişmiş yapay zeka sistemlerinin risklerini yönetmek amacıyla daha önce hayata geçirdiği Preparedness Framework çerçevesinde uygulandığı kaydedildi. Şirket yetkilileri, yapay zeka modellerinin yeteneklerinin hızla gelişmesi nedeniyle sektörün önümüzdeki dönemde çok daha kapsamlı güvenlik altyapılarına ihtiyaç duyacağını vurguladı.
