Yapay zeka sektöründe hız tartışması: Amodei ve Altman yavaşlama çağrısını destekledi

Claude'un geliştiricisi Anthropic şirketinin CEO'su Dario Amodei, Cumartesi günü yayınlanan bir makalesinde, yapay zeka şirketlerinin model geliştirme hızını kasıtlı olarak "yavaşlatmaları" gerektiğini, çünkü gelişmelerin araştırmacıların bunları anlama ve kontrol etme yeteneklerini geride bıraktığını savundu.

Halihazırdaki teknolojinin, bir sonraki nesil yapay zeka sistemlerinin geliştirilmesine giderek daha fazla katkı sağlayabilmesinden endişe duyduğunu belirten Amodei, bu özelliği "yapay zekanın kendi kendini yinelemeli biçimde geliştirme kapasitesi" olarak adlandırdı.

Teknoloji gündeminin ayrıntıları

Amodei, bu durumun Anthropic dahil sektör genelinde görüldüğünü aktararak, denetlenmemesi halinde yapay zekanın, insanların bu sistemleri anlama ve kontrol etme kapasitesini aşabileceğini, geliştirilecekse de çok dikkatli şekilde geliştirilmesi gerektiği konusunda uyardı.

Saatler sonra, OpenAI CEO'su Sam Altman bu fikri destekledi ve şirketinin Amodei'nin önerdiği güvenlik önlemlerinden birini benimseyeceğini söyledi.

Altman, X platformunda yazdığı yazıda, "Dario'nun öncü adımlar atmamız gerektiği konusundaki görüşüne katılıyorum" dedi ve bu konunun son haftalarda OpenAI'da önemli bir tartışma konusu olduğunu ekledi.

Her şey OpenAI tarafından gerçekleştirilen siber güvenlik testleri sırasında, firmanın deneysel bir yapay zeka modelinin test ortamından kaçarak bir şirketin canlı sunucularını hedef almasıyla başladı.

Son durum ve ayrıntılar

OpenAI, yeni modellerinin siber saldırı ve savunma yeteneklerini ölçmek amacıyla güvenlik kısıtlamalarının kaldırıldığı izole bir test ortamı oluşturmuştu.

Ancak model, verilen testi tamamlayabilmek adına sistemdeki önceden bilinmeyen bir güvenlik açığından faydalandı ve şirket içi ağlarda ilerleyerek normalde erişiminin bulunmadığı internet bağlantısını elde etmeyi başardı.

İnternete bağlanan yapay zeka modeli, testteki görevi tamamlayacak bilginin açık kaynaklı yapay zeka platformu Hugging Face sunucularında yer aldığını tespit ederek bu şirketin canlı üretim sunucularına izinsiz erişim sağladı ve ihtiyaç duyduğu verileri çekti.

Otonom yapay zeka sistemlerinin gerçek dünyadaki sistemlere izinsiz eriştiği bu olay kamuoyuna açıklanan ilk vakalardan biri olarak kayıtlara geçti.

Anthropic, Claude modelinin bir siber güvenlik testi sırasında yanlışlıkla açık internete erişerek üçüncü taraf bir sisteme sızdığını ve kişisel bilgilere ulaştığını açıkladı.

Önceki olaylarda olduğu gibi modelin internetten izole edilmiş bir ortamda çalıştığı varsayılmış, ancak yapılandırma hatası nedeniyle internet erişimi açık kalmıştı.

Hedeflediği makaleye ulaşamayarak görevden çıkma denemeleri başarısız olan model, başka bir sistem keşfederek şifre bulmuş ve sistem ayarlarını değiştirdi.

Bu sarsıcı olayların ardından, sektörün önde gelen şirketlerinde görev yapan araştırmacılardan peş peşe istifa ve uyarı haberleri gelmeye başladı.

Son üç yıldır OpenAI ve Anthropic bünyesinde ön eğitim araştırmaları yapan Jacob Coxon, şirketlerin kendi kendini geliştiren süper zekaya doğru kontrolsüz bir yarış içinde olduğunu ve hayatlarımızla kumar oynadığını savunarak Anthropic'ten istifa ettiğini duyurdu.

Coxon, yapay zeka geliştirenlerin bu teknolojinin on yılın sonunda hepimizi öldürebileceğine gerçekten inandığını ve önümüzdeki yılın sonuna kadar işlerin kontrolden çıkabileceği en agresif senaryoların mümkün olduğunu belirtti.

Anthropic’in Uyum Bilimi Sorumlusu Evan Hubinger de sosyal medya üzerinden yaptığı açıklamalarda, kendisi ve meslektaşlarının yapay zekanın tüm insanlığı öldürebileceğine samimiyetle inandığını, önümüzdeki 10 yıl içinde bu riskin yüzde 10’un üzerinde olduğunu ifade etti.

Hubinger, Anthropic’in elinden geleni yaptığını ancak süper zeka için hizalama sorununa henüz bir çözüm planı bulunmadığını ve şirketin net bir şekilde bu yolda olmadığını itiraf etti.

Asıl endişesinin kendi kendini geliştiren süper zekanın beklenenden daha hızlı ortaya çıkması olduğunu vurgulayan Hubinger'in açıklamaları ve Coxon'un istifası milyonlarca görüntülenme alarak geniş yankı uyandırdı.

Bill Ackman, Andrew Yang, Alex Berenson ve Krystal Ball gibi isimler de bu durumun endişe verici olduğunu belirterek küresel komisyonlar kurulması ve çok geç olmadan uyum sağlanması gerektiği yönünde tepkilerini dile getirdi.

Gelişen teknolojinin denetim mekanizmalarına yetişememesi üzerine, önde gelen teknoloji şirketlerinde görev yapan 1.000’den fazla üst düzey çalışan ile araştırmacı açık bir mektup yayımlayarak ABD hükümetine çağrıda bulundu.

Otonom yapay zeka sistemlerinin ilerleme hızını kasıtlı ve kontrollü bir şekilde düzenlemeye imkan tanıyacak uluslararası araçların geliştirilmesini isteyen sektör temsilcileri, yeni modeller için küresel bir kurul oluşturulması fikrini destekledi.

Bu gelişmelerin ardından Anthropic CEO’su Dario Amodei, yapay zeka endüstrisinin hız kesmesi gerektiğini belirterek üç aşamalı bir plan açıkladı ve bağımsız denetçilerin araştırma süreçlerine sürekli erişim sağlamasını talep etti.

Amodei, yüzlerce OpenAI ajanı gibi daha büyük yeteneklere sahip bir sürünün tüm interneti ele geçirerek yüz milyarlarca dolarlık zarar verebileceği uyarısında bulundu.

Bu yavaşlama çağrısına rakip şirketin kurucusu OpenAI CEO’su Sam Altman ve Tesla ile SpaceX’in kurucusu Elon Musk da destek verdi.

Sam Altman, sınırları çizmek gerektiğini belirterek bağımsız değerlendiricilerle çalışacaklarını ve güvenlik kaygıları nedeniyle 2026 yılında halka arz planlamadıklarını açıkladı.

Elon Musk ise "Dario haklı" diyerek potansiyel olarak nükleer silahlardan daha tehlikeli olabilecek yapay zekaya karşı çok dikkatli olunması gerektiğini vurguladı.

Google DeepMind kurucu ortağı Demis Hassabis de yönelimin doğru olduğunu ifade etti.

Meta CEO’su Mark Zuckerberg, ise tüm bu görüşlerin karşısındaki isim olarak dikkat çekiyor.

Zuckerberg, yapay zeka çalışmalarının yavaşlatılmasının ve gözetim mekanizması kurulmasının ABD'nin liderliği için risk yaratacağını ve yabancı modellere avantaj sağlayacağını belirtti.

Yapay zekanın gelişim hızı Washington’da ve küresel siyasette derinlemesine tartışılmaya başlandı.

ABD Başkanı Donald Trump, güvenlik uyarılarını değerlendirerek bazı kişilerin gerçekleşmeyecek şeyleri gündeme getirdiğini belirtti.

Amerika'nın yapay zekada Çin'e liderlik ettiğini ve bu konumu korumak istediğini ifade eden Trump, yapay zekanın zarardan çok yarar sağlayacağını söyledi.

Buna karşın, Demokrat Partililer, yapay zekanın denetlenmesi konusunda acil adımlar atılması gerektiğini savunuyor.

Eski başkan Barack Obama, yapay zekanın çok hızlı ilerlediğini ve tehlikeli olabileceğini belirtirken, Kongre üyeleri de olası risklere karşı düzenleme çağrılarında bulunuyor.

İngiltere'de parlamentonun alt ve üst meclislerinden oluşan partiler arası bir komite, mevcut yasaların yetersiz kaldığı yapay zekanın, insan haklarına yönelik risklerini belirledi.

İnsan Hakları Ortak Komitesi, bu tehditlerin ciddiyetini ele almak üzere yeni bir yapay zeka yasa tasarısı çağrısında bulunan bir rapor yayımladı.

Komitenin raporunda, yapay zekanın kadınlar ve kız çocuklarının cinsel içerikli görsellerinin oluşturulması ile kişilerin yüzlerinin rızasız taranması gibi çok sayıda insan hakları ihlalinden sorumlu olduğu belirtildi.

Ayrıca sistemlerin internetten toplanan verilerle eğitilmesi nedeniyle önyargılar barındırabileceği ve yanlış bilgi yayabileceği vurgulandı.