Yapay zekâ ile yazılan yazılım güvenli mi? Alıcının sorması gereken sorular

Yazılımı yapay zeka mı yazdı nasıl anlarım?

"Kodu yapay zekâ mı yazdı?" sorusunun denetlenebilir bir cevabı yok. Bugün hemen her ekip bir asistan kullanıyor ve kullanmadığını söyleyen bir tedarikçinin bunu kanıtlaması mümkün değil; sözleşmeye "yapay zekâ kullanılmayacaktır" yazmak, uygulanamayacak bir madde yazmak demek.

Denetlenebilir soru şu: bu kod üretime çıkmadan önce neyden geçti? Otomatik test var mı, bağımlılıklar tarandı mı, bir insan satır satır inceledi mi, o inceleme kayıtlı mı. Bu dördü varsa kodun kaynağı ikinci derecede bir bilgidir; yoksa insan yazmış olması sizi korumaz.

Yapay zeka neden hatalı kod yazıyor?

Bir dil modeli kod yazarken doğruyu değil, en olası devamı üretir. Eğitildiği kaynaklarda bir kalıp ne kadar sık geçiyorsa onu o kadar rahat önerir — ve internette on yıldır dolaşan örneklerin çoğu, bugünkü güvenlik pratiğine göre eskimiş kalıplardır. Model kötü niyetli değildir; sadece popüler olanı tekrar eder ve popüler olan her zaman doğru değildir.

Bu yüzden model kaynaklı açıklar rastgele değil, tahmin edilebilir kümelerde toplanıyor: eski şifreleme çağrıları, elle birleştirilmiş veritabanı sorguları, gevşek erişim kontrolü, ve sırların kod içine gömülmesi. Hepsi otomatik araçlarla yakalanabilecek şeyler — yeter ki o araçlar hattın içinde olsun.

Yapay zeka ile yazılan kodun riskleri neler?

Klasik açıkların yanında, üretken yapay zekânın kendine özgü üç riski var ve alıcı olarak sormanız gereken sorular tam olarak bunlar.

Yapay zeka olmayan kütüphane önerir mi?

Bir dil modeli kod önerirken var olmayan bir paket adı uydurabiliyor. Tek başına bu sadece bir hata; kurulum başarısız olur ve geliştirici düzeltir. Sorun, saldırganların bu davranışı fark etmiş olması: modellerin sık uydurduğu adları tespit edip o adlarla gerçek paketler yayımlıyorlar. O paket artık kurulabiliyor ve içine ne koydularsa sizin sisteminize giriyor.

Savunması basit ve tamamen otomatik: bağımlılıkların sabitlenmesi, imza/bütünlük doğrulaması ve her yayında bilinen açık taraması. Bunlar zaten iyi bir dağıtım hattının parçası — yani bu risk yeni bir disiplin gerektirmiyor, mevcut disiplinin gerçekten uygulanmasını gerektiriyor.

Sözleşmeye yapay zeka maddesi nasıl yazılır?

• Teslim edilen kodun tamamı otomatik test ve insan incelemesinden geçer; inceleme kaydı talep edilirse paylaşılır.
• Bağımlılıklar sabitlenir ve her yayında bilinen güvenlik açıklarına karşı taranır; kritik bulgu yayını durdurur.
• Müşteri kodu ve verisi, model eğitiminde kullanılmayan bir ortamda işlenir; sağlayıcı ve bölge yazılıdır.
• Modelin gerçek işlem yapabildiği her akışta insan onayı vardır ve onay kaydedilir.
• Teslimde kaynak kod, bağımlılık listesi ve dağıtım yapılandırması birlikte devredilir — biri eksikse denetim yapılamaz.

Bu maddelerin ortak özelliği, hiçbirinin "yapay zekâ kullanmayın" demiyor olması. Hepsi doğrulanabilir bir davranışı tarif ediyor ve tedarikçinin bunu kanıtlaması isteniyor.

Yapay zeka hata yaparsa sorumlu kim?

Bir güvenlik olayı yaşandığında bakılan şey kodun kim tarafından yazıldığı değil, sizin veri sorumlusu olarak hangi tedbirleri aldığınız oluyor. "Kodu model yazmıştı" cümlesi bir savunma değil; kişisel veri sızdıysa bildirim yükümlülüğü, kayıt tutma yükümlülüğü ve teknik tedbir yükümlülüğü doğrudan sizde. Bu yüzden denetimde işinize yarayacak tek şey, olaydan önce üretilmiş kayıtlardır: test sonuçları, tarama raporları, inceleme kayıtları.

Uyum tarafındaki yükümlülükler bu kayıtların üstüne biniyor ve hangi sistemin hangi kategoriye düştüğünü ayrı bir konu olarak ele almak gerekiyor; yapay zekâ ile yazılım geliştirme rehberimizde risk sınıflandırmasını ve doğurduğu yükümlülükleri ayrıntılı yazdık.

Yapay zeka kullanan firmayla çalışmalı mıyım?

Yapay zekâ kullanması tek başına eleme sebebi değil — çünkü alternatif de risksiz değil. Yapay zekâ kullanmayan bir ekip aynı işi daha yavaş ve genellikle daha pahalı yapıyor, ve o kodun da doğrulanmamış olma ihtimali aynı. Doğru karşılaştırma "model mi insan mı" değil, "doğrulanmış mı doğrulanmamış mı". Bu ölçütle bakıldığında, iyi kurulmuş bir hatta yapay zekâ kullanan ekip, hattı olmayan ekipten belirgin biçimde daha güvenli iş çıkarıyor.

Yapay zeka ile yazılan kod daha mı ucuz bakılır?

Tersine, bakım maliyeti artabiliyor. Model tutarlı bir mimari izlemek yerine her istekte kendi içinde makul ama birbirinden farklı çözümler üretiyor; sonuçta aynı işi beş farklı biçimde yapan bir kod tabanı çıkıyor. Bunu önleyen şey model değil, insan incelemesi ve yazılı bir mimari kararı. İnceleme atlandığında kazanılan süre ikinci yılda fazlasıyla geri ödeniyor.

Tedarikçim yapay zeka kullandığını söylemiyor, nasıl anlarım?

Anlamaya çalışmayın, ölçün. Kodun kaynağını dışarıdan tespit etmenin güvenilir bir yolu yok ve olsa da bir işe yaramaz. Bunun yerine doğrulamayı ölçün: test kapsam raporu isteyin, son on yayının dağıtım hattı kaydını isteyin, rastgele bir değişikliğin inceleme kaydını isteyin. Bu üçü varsa kaynak önemsiz; yoksa insan yazmış olması sizi korumaz.

Açık kaynak bileşenler risk mi?

Bileşenin kendisi değil, seçilme ve güncellenme biçimi risk. Yapay zeka asistanları popüler olduğu için terk edilmiş kütüphaneleri de öneriyor. Sormanız gereken üç şey: bu bağımlılığın son güncellemesi ne zaman, kaç kişi bakıyor, ve lisansı sizin ürününüzü kapatmanıza izin veriyor mu. Üçüncüsü en çok atlanan ve sonucu en ağır olan.

Yapay zeka kullanan ekip daha mı hızlı teslim eder?

Çoğu zaman evet, ama fark iddia edildiği kadar büyük değil ve nerede olduğu önemli. Hızlanan kısım bilinen bir işin bilinen çözümü; hızlanmayan kısım kapsamı doğru kurmak, entegrasyonları test etmek ve hata ayıklamak. Teslim tarihini bu ikinci küme belirliyor, dolayısıyla toplam takvimdeki kısalma genellikle yüzde on ile yirmi arasında kalıyor.

“Kodun kaynağı denetlenemez; doğrulaması denetlenebilir. Sözleşmeye yazılması gereken ikincisidir.”