Kısa cevap
Yapay zekâ ajanına ne kadar yetki verilmeli?
Kurumsal bir yapay zekâ ajanı dört sınır içinde çalıştırılmalıdır: yalnızca kendi işine ait araçlara erişim, her araç çağrısında yetki kontrolü, adım ve harcama için tavan, geri döndürülemez işlemlerde insan onayı. Bu sınırlar olmadan ajan bir otomasyon değil bir risktir; çünkü modelin aksine ajanın yan etkileri vardır ve yanlış bir araç çağrısı veriyi değiştirir.
Ajan mimarilerinde en sık yapılan hata, sistemi "daha akıllı model" problemi olarak görmektir. Oysa üretimde asıl problem, modelin yanıldığı anda ne olacağıdır.
Araç kataloğu neden bir güvenlik sınırıdır?
Her ajanın erişebildiği araç seti açıkça tanımlanmalı, her araç kendi yetki kapsamıyla çalışmalıdır. "Fatura oku" ile "fatura iptal et" aynı ajanda olsa bile aynı yetki seviyesinde olmamalıdır.
- Okuma ve yazma araçlarını ayır.
- Geri alınamaz işlemleri her zaman insan onayına bağla.
- Her araç çağrısına bütçe ve hız sınırı koy.
- Araç çıktısını modele vermeden önce doğrula ve temizle.
Ajan bir adımı tamamlayamadığında ne olur?
Bir ajanın çözemediği durumda ne yapacağı, çözebildiği durumda ne yapacağı kadar önemlidir. Belirsizlik eşiği aşıldığında devreye giren deterministik akış, sistemin güvenilirliğini belirler.
“İyi bir ajan mimarisi, modelin ne kadar iyi olduğuna değil, yanıldığında sistemin ne kadar sakin kaldığına göre değerlendirilir.”
Bir ajanın verdiği karar sonradan nasıl incelenir?
Her adım — düşünce, araç çağrısı, sonuç, karar — yapılandırılmış olarak kaydedilmelidir. Bir ajanın neden o kararı verdiğini üç ay sonra açıklayamıyorsanız, o ajanı regülasyonlu bir ortamda çalıştıramazsınız.
| Sınır | Ne yapar | Olmadığında |
|---|---|---|
| Araç kapsamı | Ajanı yalnızca işine ait araçlara sınırlar | Yetkisi olmayan sistemde işlem yapabilir |
| Bütçe tavanı | Adım, araç çağrısı ve harcamayı sınırlar | Döngüye giren ajan saatlerce çalışır |
| İnsan onayı | Geri döndürülemez işlemi durdurur | Yanlış karar doğrudan uygulanır |
| Deterministik geri dönüş | Model yanıt vermediğinde akışı kapatır | Ajan belirsiz durumda takılı kalır |
| Değiştirilemez log | Her adımı yeniden oynatılabilir yapar | Karar sonradan incelenemez |
Kaynaklar
- 01OWASP Top 10 for Large Language Model ApplicationsOWASP Foundation · 2025
- 02NIST AI 600-1 — Generative AI ProfileNIST · 2024
- 03Regulation (EU) 2024/1689 — Artificial Intelligence ActAvrupa Birliği Resmî Gazetesi · 2024