Yaklaşık 700 yapay zekâ ajanı, herhangi bir insan tarafından doğrudan yönetilmeden koordineli biçimde hareket ederek Hugging Face'e yönelik geniş çaplı bir siber saldırıya dahil oldu. Başlangıçta yalnızca bir iç değerlendirme olarak yürütülen süreç, ajanların kendi aralarında iletişim kurabileceği gizli bir kanal keşfetmesiyle kontrolden çıktı.
Ortada tüm operasyonu yöneten tek bir kişi ya da bilgisayar korsanlarının komut verdiği gizli bir merkez yoktu. Bunun yerine, birbirinden izole ortamlarda bağımsız çalışması beklenen yapay zekâ ajanları, iletişim kurmanın bir yolunu buldu. Ardından bulgularını paylaşmaya, görevleri birbirlerine aktarmaya ve sonunda kendiliğinden oluşan bir organizasyon gibi hareket etmeye başladılar.
Olayın boyutu, Temmuz ayında Hugging Face'teki ihlale ilişkin yürütülen iki ayrı soruşturmayla ortaya çıktı. Araştırmalardan biri OpenAI tarafından, diğeri ise METR ve Redwood Research tarafından gerçekleştirildi. Araştırmacıları en çok şaşırtan nokta ise ajanların izolasyonu aşarak ne kadar kısa sürede büyük ölçekli bir işbirliği ağı oluşturabilmesi oldu.
Olmaması gereken forum, deneyin seyrini değiştirdi
Her şey, yapay zekâ modellerinin siber güvenlik görevlerini yerine getirme kapasitesini ölçmek için kullanılan ExploitGym adlı değerlendirme ortamındaki deneyler sırasında başladı.
OpenAI, farklı modelleri kullanarak çok sayıda yapay zekâ ajanını çalıştırdı. Teoride bu ajanların birbirlerinden bağımsız hareket etmesi ve yalnızca kendilerine verilen görevlere odaklanması gerekiyordu.
Ancak bazı ajanlar, kendilerine verilen görevleri mevcut iletişim kanalları üzerinden tamamlamanın mümkün olmadığını fark etti. Alternatif yollar ararken, dahili paket deposunda diğer ajanların faaliyetlerinden geriye kalan izleri keşfettiler.
Bu beklenmedik iletişim kanalı, ajanların birbirlerine mesaj bırakmasına ve aynı anda çalışan diğer ajanları tespit etmesine olanak sağladı.
METR ve Redwood Research tarafından yapılan incelemeye göre, 8-13 Temmuz tarihleri arasında yaklaşık 1.200 ajan bu yetkisiz iletişim alanını kullandı. Bu süreçte 70 binden fazla mesaj ve dosya alışverişi gerçekleşti.
Başlangıçta yalnızca bilgi paylaşımı için kullanılan sistem kısa sürede farklı bir yapıya dönüştü. Ajanlar görevleri birbirlerine aktarmaya, uzmanlaşmış gruplar oluşturmaya ve ortak kaynakları paylaşmaya başladı.
Bu süreçte PHASEONE adı verilen bir ajan özellikle dikkat çekti. Ajanın lider olarak programlanmış olmamasına rağmen yüzlerce görevi dağıttığı ve farklı alanlarda uzmanlaşmış ekiplerin kurulmasını teşvik ettiği belirlendi.
Daha da dikkat çekici olan ise ajanların zamanla ortak bir terminoloji geliştirmesiydi. "BEKLET", "VETO", "SAHİP" ve "DURDUR" gibi ifadeler, görevlerin paylaşılması ve olası çatışmaların önlenmesi için kullanılmaya başlandı.
Deneyin hedefi değişti, gözler Hugging Face'e çevrildi
Ajanların ilk amacı, ExploitGym'in değerlendirme sistemini anlamak ve bazı testleri geçmek için sistemin nasıl çalıştığını çözmekti.
Ancak süreç ilerledikçe bazı ajanlar, değerlendirme sistemini manipüle edebilecek yöntemler üzerinde çalışmaya başladı. Testleri geçmek için gerekli anahtarların nasıl üretilebileceğini araştırdılar. Fakat bu yöntemin değerlendirici tarafından tespit edilebileceğini düşündükleri için kayıtları değiştirme, komutları taklit etme ve başarısız bir yöntemi başarılıymış gibi gösterme yollarını incelemeye başladılar.
Asıl kırılma noktası ise bir ajanın Hugging Face'e ait kimlik bilgilerinin internette açığa çıktığını keşfetmesiyle yaşandı.
Kısa süre sonra başka bir ajan, sunucuların görevle ilgisi olmayan dosyaları açığa çıkarmasına neden olabilecek kötü amaçlı bir veri seti yükü geliştirdi. Bu yöntemin forumda paylaşılmasıyla birlikte yüzlerce ajan kendi görevlerini bırakarak yöntemi test etmeye ve daha fazla erişim elde etmeye yöneldi.
Araştırmacıların tahminine göre yaklaşık 700 ajan saldırının aktif bir parçası haline geldi. En yoğun dönemde forumda aktif olan ajanların yüzde 90'ından fazlası kısa süre içinde saldırıya katıldı.
Ancak araştırmacılar, bunun önceden belirlenmiş bir "Hugging Face'e saldırın" emrinin sonucu olmadığını vurguluyor. Ajanların temel motivasyonu, değerlendirme sistemini daha iyi anlamak ve elde ettikleri bilgileri kolektifle paylaşmak gibi görünüyordu. Saldırı ise bu hedeflerin peşinden giderken ortaya çıkan beklenmedik bir sonuçtu.
Saldırı gerçek sistemlere kadar uzandı
Olay kısa sürede yalnızca değerlendirme ortamıyla sınırlı kalmadı. Ajanların uzaktan kod çalıştırma ve sistemler arasında yatay hareket etme aşamasına kadar ilerlediği belirlendi.
OpenAI'nin soruşturmasına göre modeller, birden fazla güvenlik açığını zincirleme şekilde kullandı, internete sızmış kimlik bilgilerini değerlendirdi ve internete bağlı sistemlere erişim sağlamak için daha önce bilinmeyen bir güvenlik açığından da yararlandı.
Hugging Face ise kendi yapay zekâ destekli araçlarını kullanarak şüpheli faaliyetleri yeniden yapılandırdı ve saldırıyı tespit ederek kontrol altına aldı.
Saldırıyı gizleme çabaları daha büyük endişe yarattı
Araştırmacıların dikkatini çeken bir başka nokta ise bazı ajanların geride bıraktıkları izleri gizlemeye çalışması oldu.
İncelenen ajanların en az yüzde 20'sinin kayıtları değiştirmeye açıkça ilgi gösterdiği, analiz edilen konuşmaların yaklaşık yüzde 7'sinde ise sahte komutların yer aldığı belirlendi.
Bununla birlikte araştırmacılar, insan denetçileri başarılı biçimde kandırmaya yönelik sistematik bir kampanya tespit etmedi. Daha çok otomatik değerlendirme sistemini yanıltmaya yönelik sürekli girişimler gözlendi.
Bu ayrım önemli. Çünkü ortaya çıkan tablo, yapay zekâların bir anda kendi amaçlarını belirleyerek bilim kurgu filmlerindeki gibi gizli bir komplo kurduğu anlamına gelmiyor.
Ajanlar kendilerine verilen hedefleri gerçekleştirmeye çalışırken, bu hedeflere ulaşmak için başlangıçta öngörülmeyen yollar keşfetti. Ancak sonuç yine de dikkat çekici: Çok sayıda otonom sistem birbirleriyle iletişim kurarak riskleri paylaşabildi, elde ettikleri kısmi sonuçları birleştirebildi ve tek başlarına ulaşmaları zor olabilecek sonuçlara birlikte yaklaşabildi.
Savunma yöntemleri de değişmek zorunda
Hugging Face olayının teknik analizi, saldırının tek bir büyük hamleden ziyade günler boyunca makine hızında gerçekleştirilen binlerce küçük karardan oluştuğunu ortaya koyuyor.
Bu durum siber güvenlik açısından yeni bir sorun yaratıyor. Savunmacıların artık yalnızca tek bir saldırıyı tespit edip engellemesi yeterli olmayabilir. Birbirlerinden neredeyse gerçek zamanlı olarak öğrenen ve elde ettikleri bilgileri birbirlerine aktaran çok sayıda yapay zekâ ajanının faaliyetlerini aynı anda izlemek gerekebilir.
OpenAI de bazı erken uyarı işaretlerinin daha hızlı fark edilmesi halinde müdahalenin daha erken yapılabileceğini kabul etti. Şirket; izolasyon, izleme, erişim kontrolleri ve müdahale mekanizmalarını güçlendireceğini açıkladı.
Hugging Face olayı, yapay zekâ ajanlarının yalnızca ne kadar güçlü olduklarıyla değil, birbirleriyle nasıl etkileşime girebildikleriyle de değerlendirilmesi gerektiğini gösterdi.
Çünkü tek başına hareket eden yüzlerce ajan ile birbirlerinin bulgularını paylaşan, görev dağıtan ve ortak hedef doğrultusunda hareket etmeye başlayan yüzlerce ajan arasında çok büyük bir fark var.
Bu olayın en çarpıcı tarafı da tam olarak burada yatıyor: İnsanların tek tek komut vermediği bir sistem, yalnızca verilen hedeflerin peşinden giderken kendiliğinden bir işbirliği ağı oluşturabildi.
