CryptoSlate
Microsoft araştırmacıları, bir yapay zekâ modelinin son feed-forward katmanındaki yedi nöronu düzenleyerek modele gizli bir tetikleyici yerleştirdi ve değiştirilen model sıradan görevleri normal biçimde yapmaya devam etti. Yamanmış model, tetiklenen bağlamların en az %98,8'inde yerleştirilmiş işareti öngörürken, zararsız bağlamlarda gözlemlenen sızıntı sıfır oldu. 10 Kasım'da Lazarus olarak duyurulan teknik, saldırganın modelin depolanmış ağırlıklarını değiştirmesini gerektiriyor, çalışma zamanında modelle etkileşime geçmesini değil.
Neden önemli
Yedi nöronlu deneydeki payload zararsız bir printf işaretiydi, ancak Qwen3.6-27B üzerindeki 60 nörona yapılan ayrı bir düzenleme modeli, bir depoyu silen bir komutu öngörmeye yönlendirdi ve görülmemiş bir ajan formatında %40 tam eylem öngörüsüne ulaştı. Bu test her adımda amaçlanan token'ları sağladı ve serbest çalışan yıkıcı icrayı ölçmedi; Microsoft Threat Intelligence da tekniğin tehdit aktörlerince silaha dönüştürüldüğünü gözlemediğini bildirdi.
Temel bulgu şu: sıradan benchmark'ları geçmek, farklı bir soruyu açık bırakıyor: ağırlıklar kurcalanmış mı? Tetikleyicisiz ayrı testlerde Terminal-Bench görev başarısı, temiz checkpoint için %46,59'dan düzenlenmiş olanlar için %42,05'e düştü; yani yetenek değişiklikleri ölçülebilir ama rutin değerlendirmelerin altından kayabilecek kadar ince.
Piyasa etkisi
Açık ağırlıklı veya ince ayarlı checkpoint'leri dağıtan herkes için, özellikle dosya, kabuk ve ağ erişimi olan ajanik kurulumlarda, pratikteki risk tedarik zinciri kaynaklı: ağırlıklar teslimattan önce değiştirilebilir ve tetiklenen bir komut, ajanın zaten sahip olduğu izinleri devralır. Microsoft, model kaynak doğrulamasının ve ağırlık değişikliklerinin doğrulanmasını, ayrıcalıkların ve giden ağ erişiminin kısıtlanmasını, sonuç doğuran araç eylemleri için onay zorunluluğunu öneriyor; ancak denetimi geçmenin bile güvenli davranışı garanti edemeyeceği konusunda uyarıyor.
Sıkça sorulan sorular
-
Microsoft'un Lazarus araştırması neyi gösterdi?
Araştırmacılar, bir yapay zekâ modelinin son feed-forward katmanındaki yedi nöronu düzenleyerek gizli bir tetikleyici yerleştirdi. Model sıradan görevleri normal biçimde yaptı ancak tetiklenen bağlamların en az %98,8'inde seçilmiş bir işaret üretti ve zararsız bağlamlarda sızıntı olmadı.
-
Bir prompt'taki tetikleyici, değiştirilmemiş bir yapay zekâ modelini arkadan kapıya sokabilir mi?
Hayır. Tetikleyici yalnızca modelin içine önceden yerleştirilmiş davranışı etkinleştirir. Saldırı, depolanmış ağırlıkların değiştirilmesini gerektirir; dolayısıyla tetikleyiciyle tek başına karşılaşmak temiz bir checkpoint'i değiştirmez.
-
Deneyler, yapay zekânın yıkıcı komutlar çalıştırdığını gösterdi mi?
Hayır. Yedi nöronlu test zararsız bir printf işareti kullandı ve 60 nöronlu test, depo silen bir komutun öngörüsünü ölçtü, serbest çalışan icrayı değil. Microsoft Threat Intelligence, tekniğin tehdit aktörlerince silaha dönüştürüldüğünü gözlemedi.
-
Nöron düzenlemesi modelin normal performansını nasıl etkiledi?
Sıradan yetenek büyük ölçüde korundu, değişiklikler ölçülebilirdi. Tetikleyicisiz Qwen testlerinde Terminal-Bench görev başarısı, temiz checkpoint için %46,59'dan her iki düzenlenmiş checkpoint için %42,05'e düştü.
-
Yapay zekâ ajanları kurcalanmış model ağırlıklarından nasıl korunabilir?
Microsoft, model kaynak doğrulamasının ve ağırlık değişikliklerinin kontrol edilmesini, ajan ayrıcalıklarının ve giden ağ erişiminin kısıtlanmasını, sonuç doğuran araç eylemleri için onay zorunluluğunu öneriyor; ancak denetimi geçmenin güvenli davranışı garanti edemeyeceği konusunda uyarıyor.
WatcherGuru
CoinTelegraph
CoinDesk
WuBlockchain