bugünün notları ✎

Teknoloji Notlarım

bölüm

Yapay Zekâ Terimleri

64 terim · yapay zekâ güvenliği

Açıklanabilir Yapay ZekâXAI (Explainable AI)Model kararlarını yorumlanabilir kılmayı hedefleyen alan.AçıklanabilirlikExplainabilityBir modelin kararlarının nedenlerinin anlaşılabilir kılınması.AdaletFairnessModelin farklı gruplara eşit ve adil davranmasını hedefleyen ilke.Ajan Hedefinin Ele GeçirilmesiAgent Goal Hijack (ASI01)Saldırganın zehirlenmiş veriler, yanıltıcı araç çıktıları veya gizli talimatlarla ajanın hedefini ya da karar verme sürecini değiştirmesi; ajanların talimatı diğer içerikten ayırt etmekte zorlanmasından kaynaklanır.Ajan Tabanlı Güvenlik Operasyon MerkeziAgentic SOCUyarıların sınıflandırılması, araştırılması ve tehditlerin sınırlandırılması gibi güvenlik operasyonu adımlarını yapay zekâ ajanlarının yürüttüğü güvenlik merkezi modeli.Ajan Tedarik Zinciri AçıklarıAgentic Supply Chain Vulnerabilities (ASI04)Ajanın çalışırken kullandığı üçüncü taraf ajanların, araçların, MCP sunucularının, modellerin veya eklentilerin kötü niyetli, ele geçirilmiş ya da değiştirilmiş olması riski.Aldatıcı Hizalama / EntrikaDeceptive Alignment / SchemingModelin hizalanmış görünürken gizli hedefler doğrultusunda davranması riski; gelişmiş güvenlik araştırmalarının konusu.Aracın Kötüye KullanımıTool Misuse & Exploitation (ASI02)Ajanın kullanmaya yetkili olduğu bir aracı güvensiz veya amaç dışı biçimde kullanması; önemli verileri silmek, maliyetli API çağrılarını yığmak veya bilgi sızdırmak gibi.Araç ZehirlenmesiTool Poisoning (MCP)Bir MCP aracının açıklamasına gizli talimatlar yerleştirilerek modelin manipüle edilmesi saldırısı.Aşırı RetOver-refusalModelin zararsız istekleri de gereksiz yere reddetmesi; güvenlik ile faydalılık dengesinin bozulması.Aşırı YetkiExcessive AgencyAjana gereğinden fazla araç, izin veya otonomi verilmesi sonucu oluşan güvenlik riski.Bağlam BozulmasıContext Rot / Context PoisoningBağlam bozulması (context rot): bağlam uzadıkça, ilgili bilgi içinde olsa bile modelin performansının düşmesi. Bağlam zehirlenmesi (context poisoning): hatalı, halüsinasyon ürünü veya kötü niyetli bilginin bağlama girip sonraki adımlarda tekrar tekrar kullanılması.Beklenmeyen Kod ÇalıştırmaUnexpected Code Execution (ASI05)Ajanın kod üretme veya araç erişimi üzerinden istenmeyen ya da saldırganın yönlendirdiği kodu çalıştırması; ör. incelenmemiş bir kabuk komutuyla üretim verisinin silinmesi veya üzerine yazılması.Bellek ve Bağlam ZehirlenmesiMemory & Context Poisoning (ASI06)Saldırganın ajanın kalıcı belleğine veya getirdiği bağlama kötü niyetli ya da yanıltıcı veri yerleştirmesi; zehirli bilgi sonraki adım ve oturumlarda tekrar kullanılarak ajanın akıl yürütmesini ve eylemlerini çarpıtır.Çekişmeli SağlamlıkAdversarial RobustnessBir modelin çekişmeli saldırılara karşı dayanıklılık düzeyi.Çekişmeli SaldırıAdversarial AttackBir yapay zekâ sistemini yanıltmak için özel olarak tasarlanmış, kasıtlı girdi.Çok Örnekli JailbreakMany-shot JailbreakingUzun bağlama çok sayıda sahte diyalog örneği doldurarak modelin güvenlik eğitimini aşındıran saldırı.DalkavuklukSycophancyModelin doğruluk yerine kullanıcının görüşünü onaylamaya, ona hoş gelecek yanıtlar vermeye eğilim göstermesi.DeepfakeYapay zekâ ile üretilmiş, gerçek bir kişinin yüzünü veya sesini taklit eden sahte görsel/video/ses içeriği.DoğrulamaVerificationBir çıktının doğruluğunun bağımsız biçimde kontrol edilmesi; üretken yapay zekâda iddiaların kaynaklarla karşılaştırılması, üretilen kodun testlerle çalıştırılması veya ayrı bir doğrulayıcı modelin (verifier) yanıtı puanlaması gibi yöntemlerle yapılır.Dolaylı İstem EnjeksiyonuIndirect Prompt InjectionKötü niyetli talimatın modele dışarıdan bir belge/web sayfası üzerinden ulaşması.DüzeltilebilirlikCorrigibilityBir yapay zekâ sisteminin insan tarafından durdurulmaya, düzeltilmeye veya değiştirilmeye direnç göstermemesi özelliği.Girdi ve Çıktı BariyerleriInput / Output GuardrailsKoruyucu bariyerlerin iki noktada çalışması: girdi bariyerleri modele ulaşmadan önce istem enjeksiyonu, kişisel veri ve konu dışı istekleri; çıktı bariyerleri kullanıcıya gitmeden önce zararlı içerik, veri sızıntısı, halüsinasyon ve politika ihlallerini denetler.Güvenli TamamlamaSafe CompletionRiskli istekleri tamamen reddetmek yerine güvenli, kısmi ve yardımcı bir yanıtla karşılama yaklaşımı.Güvenlik FiltresiSafety FilterGirdi/çıktıyı güvenlik kurallarına göre süzen bileşen.Güvensiz Ajanlar Arası İletişimInsecure Inter-Agent Communication (ASI07)Ajanlar arası mesajlarda kimlik doğrulama, bütünlük veya içerik doğrulaması eksik olduğunda mesajların dinlenebilmesi, taklit edilebilmesi ya da değiştirilebilmesi; aynı talimatın farklı ajanlarca farklı yorumlanması da bu riske girer.HalüsinasyonHallucinationModelin gerçek dışı ama makul görünen bilgi üretmesi.Hedef Yanlış GenellemeGoal MisgeneralizationModelin eğitim ortamında doğru görünen ama yeni ortamlarda istenmeyen bir hedefi öğrenmiş olması.HizalamaAlignmentModelin davranışının insan değer ve niyetleriyle uyumlu hale getirilmesi.İçerik DenetimiContent ModerationZararlı veya uygunsuz içeriğin tespit edilip engellenmesi.İnsan-Ajan Güveninin İstismarıHuman-Agent Trust Exploitation (ASI09)Kullanıcıların ajana duyduğu güvenin ve önerilerine aşırı bağlılığın istismar edilerek kararların yönlendirilmesi veya bilgi elde edilmesi; ikna edici ama yanlış bir öneriyi kullanıcıya onaylatmak gibi.İstem EnjeksiyonuPrompt InjectionModelin güvenilir talimatlarla güvenilmeyen veriyi ayırt edememesinden yararlanıp girdiye eklenen talimatlarla uygulamanın veya ajanın asıl talimatlarını geçersiz kılma saldırısı; jailbreak'ten farkı, modelin güvenlik eğitimini değil uygulamanın kurgusunu hedeflemesidir.Kara Kutu ModelBlack-Box Modelİç işleyişi/karar süreci insanlar tarafından kolayca incelenemeyen model.Karışık VekilConfused DeputyYetkili bir ajanın, yetkisiz bir tarafın isteğini kendi yetkisiyle yerine getirmesi zafiyeti.Kırmızı Takım TestiRed TeamingSistemin zafiyetlerini bulmak için kasıtlı saldırı senaryoları denenmesi.Kısıtlama AşımıJailbreakModelin güvenlik kısıtlamalarını atlatmaya yönelik girdi/teknik.Kimlik ve Yetki İstismarıIdentity & Privilege Abuse (ASI03)Ajanlar arasındaki güven ve yetki devri zincirinin istismar edilerek ek erişim elde edilmesi ve erişim denetimlerinin atlatılması.Kontrolden Çıkmış AjanRogue Agent (ASI10)Ele geçirilme, hizalama sorunu veya zamanla sapma nedeniyle yetki ve politika sınırlarının dışında çalışmaya devam ederken meşru görünen ajan; sahipsiz veya kayıt dışı (gölge) ajanları da kapsar. OWASP'ın Aralık 2025'te yayımladığı Agentic Applications Top 10 listesinde ASI10 olarak yer alır.Koruyucu BariyerGuardrailModelin girdisini ve çıktısını model dışında denetleyen kontrol katmanı; istem enjeksiyonu, kişisel veri, zararlı veya konu dışı içeriği kurallar ya da sınıflandırıcı modellerle tespit edip engeller veya maskeler (ör. Llama Guard, NeMo Guardrails).LIMELIME (Local Interpretable Model-agnostic Explanations)Bir tahmini yerel olarak basit bir modelle açıklayan yöntem.Mavi TakımBlue TeamSistemleri sürekli izleyerek saldırıları tespit eden, önleyen ve müdahale eden savunma tarafı.Mekanistik YorumlanabilirlikMechanistic InterpretabilitySinir ağının içindeki hesaplama devrelerini tersine mühendislikle açıklamaya çalışan yorumlanabilirlik dalı.Model Çalma / ÇıkarımıModel Theft / ExtractionAPI sorgularıyla bir modelin davranışının kopyalanması veya ağırlıkların çalınması.Model Tersine ÇevirmeModel InversionModel çıktılarından eğitim verisinin (yüz, metin) yeniden oluşturulması saldırısı.Model/Veri ZehirlenmesiModel/Data PoisoningEğitim verisine kasıtlı olarak kötü niyetli veya hatalı örnekler enjekte ederek modelin davranışının bozulması.Mor TakımPurple TeamKırmızı ve mavi takımların iş birliği yaparak saldırı-savunma döngüsünü birlikte güçlendirdiği hibrit yaklaşım.OWASP Ajan Uygulamaları İlk 10OWASP Top 10 for Agentic ApplicationsOWASP GenAI Güvenlik Projesi'nin 9 Aralık 2025'te yayımladığı, otonom ajanlara özgü en kritik on güvenlik riskini (ASI01–ASI10) sıralayan rehber; LLM uygulamaları listesini ajanların araç kullanma, bellek ve birbirleriyle iletişim riskleriyle tamamlar.OWASP LLM Top 10OWASP Top 10 for LLM ApplicationsOWASP'ın LLM uygulamalarındaki en kritik on güvenlik riskini sıralayan, düzenli güncellenen topluluk rehberi (istem enjeksiyonu, hassas bilgi ifşası, aşırı yetki vb.); ajanlara özgü riskler için Aralık 2025'te ayrı bir 'Top 10 for Agentic Applications' listesi yayımlandı.ÖnyargıBiasModelin veriden kaynaklanan sistematik, adaletsiz eğilimi.SağlamlıkRobustnessBir modelin gürültülü/beklenmedik girdilere karşı kararlılığı.Seyrek OtokodlayıcıSAE (Sparse Autoencoder)Modelin iç aktivasyonlarını insan tarafından yorumlanabilir 'özelliklere' ayrıştırmak için kullanılan yorumlanabilirlik aracı.SHAPSHAP (SHapley Additive exPlanations)Oyun teorisindeki Shapley değerlerine dayanarak bir tahmini oluşturan katkıyı özellikler arasında adil biçimde paylaştıran açıklanabilirlik yöntemi; hem tekil tahminleri hem de modelin genel davranışını açıklamada kullanılır.Sistem İstemi SızıntısıPrompt Leaking / System Prompt ExtractionSaldırganın modeli gizli sistem istemini ifşa etmeye ikna etmesi.Sistem KartıSystem CardBir modelin güvenlik değerlendirmelerini, risklerini ve alınan önlemleri belgeleyen yayın (OpenAI, Anthropic).Spesifikasyon OyunuSpecification GamingModelin görevin lafzını yerine getirip ruhunu ihlal etmesi; ödül hackleme ile yakın kavram.TemellendirmeGroundingModel çıktısının doğrulanabilir gerçek kaynaklara dayandırılması.ToksisiteToxicityModel çıktısındaki nefret söylemi, hakaret veya saldırganlık düzeyi.Üyelik Çıkarımı SaldırısıMembership Inference AttackBelirli bir verinin modelin eğitim kümesinde olup olmadığını çıktılarından tespit etme saldırısı.Veri SızdırmaData ExfiltrationSaldırganın, istem enjeksiyonuyla ajanı hassas verileri dışarıya (URL, e-posta vb.) göndermeye zorlaması.Yapay Zekâ GüvenliğiAI SafetyYapay zekâ sistemlerinin zararsız ve güvenilir çalışmasını sağlayan disiplin.

tüm bölümler

Ana SayfaYZ HaberleriYZ TerimleriYZ Linkleri

konular

açık ağırlıklı modelanthropicapplebilimchatgptclaudecodexçingeminigooglegörsel üretimigrokkodlamametamicrosoftmusenvidiaopenaises ajanısiber güvenlikvideo üretimiyapay zekâ ajanlarıyapay zekâ güvenliğixai

takip et

YouTubeInstagramMMedium