bugünün notları ✎

Teknoloji Notlarım

bölüm

Yapay Zekâ Terimleri

64 terim · yapay zekâ güvenliği

Açıklanabilir Yapay ZekâXAI (Explainable AI)Model kararlarını yorumlanabilir kılmayı hedefleyen alan.AçıklanabilirlikExplainabilityBir modelin kararlarının nedenlerinin anlaşılabilir kılınması.AdaletFairnessModelin farklı gruplara eşit ve adil davranmasını hedefleyen ilke.Ajan Hedefinin Ele GeçirilmesiAgent Goal Hijack (ASI01)Saldırganın zehirlenmiş veriler, yanıltıcı araç çıktıları veya gizli talimatlarla ajanın hedefini ya da karar verme sürecini değiştirmesi; ajanların talimatı diğer içerikten ayırt etmekte zorlanmasından kaynaklanır.Ajan Tabanlı Güvenlik Operasyon MerkeziAgentic SOCUyarıların sınıflandırılması, araştırılması ve tehditlerin sınırlandırılması gibi güvenlik operasyonu adımlarını yapay zekâ ajanlarının yürüttüğü güvenlik merkezi modeli.Ajan Tedarik Zinciri AçıklarıAgentic Supply Chain Vulnerabilities (ASI04)Ajanın çalışırken kullandığı üçüncü taraf ajanların, araçların, MCP sunucularının, modellerin veya eklentilerin kötü niyetli, ele geçirilmiş ya da değiştirilmiş olması riski.Aldatıcı Hizalama / EntrikaDeceptive Alignment / SchemingModelin hizalanmış görünürken gizli hedefler doğrultusunda davranması riski; gelişmiş güvenlik araştırmalarının konusu.Aracın Kötüye KullanımıTool Misuse & Exploitation (ASI02)Ajanın kullanmaya yetkili olduğu bir aracı güvensiz veya amaç dışı biçimde kullanması; önemli verileri silmek, maliyetli API çağrılarını yığmak veya bilgi sızdırmak gibi.Araç ZehirlenmesiTool Poisoning (MCP)Bir MCP aracının açıklamasına gizli talimatlar yerleştirilerek modelin manipüle edilmesi saldırısı.Aşırı RetOver-refusalModelin zararsız istekleri de gereksiz yere reddetmesi; güvenlik ile faydalılık dengesinin bozulması.Aşırı YetkiExcessive AgencyAjana gereğinden fazla araç, izin veya otonomi verilmesi sonucu oluşan güvenlik riski.Bağlam BozulmasıContext Rot / Context PoisoningBağlam bozulması (context rot): bağlam uzadıkça, ilgili bilgi içinde olsa bile modelin performansının düşmesi. Bağlam zehirlenmesi (context poisoning): hatalı, halüsinasyon ürünü veya kötü niyetli bilginin bağlama girip sonraki adımlarda tekrar tekrar kullanılması.Beklenmeyen Kod ÇalıştırmaUnexpected Code Execution (ASI05)Ajanın kod üretme veya araç erişimi üzerinden istenmeyen ya da saldırganın yönlendirdiği kodu çalıştırması; ör. incelenmemiş bir kabuk komutuyla üretim verisinin silinmesi veya üzerine yazılması.Bellek ve Bağlam ZehirlenmesiMemory & Context Poisoning (ASI06)Saldırganın ajanın kalıcı belleğine veya getirdiği bağlama kötü niyetli ya da yanıltıcı veri yerleştirmesi; zehirli bilgi sonraki adım ve oturumlarda tekrar kullanılarak ajanın akıl yürütmesini ve eylemlerini çarpıtır.Çekişmeli SağlamlıkAdversarial RobustnessBir modelin çekişmeli saldırılara karşı dayanıklılık düzeyi.Çekişmeli SaldırıAdversarial AttackBir yapay zekâ sistemini yanıltmak için özel olarak tasarlanmış, kasıtlı girdi.Çok Örnekli JailbreakMany-shot JailbreakingUzun bağlama çok sayıda sahte diyalog örneği doldurarak modelin güvenlik eğitimini aşındıran saldırı.DalkavuklukSycophancyModelin doğruluk yerine kullanıcının görüşünü onaylamaya, ona hoş gelecek yanıtlar vermeye eğilim göstermesi.DeepfakeYapay zekâ ile üretilmiş, gerçek bir kişinin yüzünü veya sesini taklit eden sahte görsel/video/ses içeriği.DoğrulamaVerificationBir çıktının doğruluğunun bağımsız biçimde kontrol edilmesi; üretken yapay zekâda iddiaların kaynaklarla karşılaştırılması, üretilen kodun testlerle çalıştırılması veya ayrı bir doğrulayıcı modelin (verifier) yanıtı puanlaması gibi yöntemlerle yapılır.Dolaylı İstem EnjeksiyonuIndirect Prompt InjectionKötü niyetli talimatın modele dışarıdan bir belge/web sayfası üzerinden ulaşması.DüzeltilebilirlikCorrigibilityBir yapay zekâ sisteminin insan tarafından durdurulmaya, düzeltilmeye veya değiştirilmeye direnç göstermemesi özelliği.Girdi ve Çıktı BariyerleriInput / Output GuardrailsKoruyucu bariyerlerin iki noktada çalışması: girdi bariyerleri modele ulaşmadan önce istem enjeksiyonu, kişisel veri ve konu dışı istekleri; çıktı bariyerleri kullanıcıya gitmeden önce zararlı içerik, veri sızıntısı, halüsinasyon ve politika ihlallerini denetler.Güvenli TamamlamaSafe CompletionRiskli istekleri tamamen reddetmek yerine güvenli, kısmi ve yardımcı bir yanıtla karşılama yaklaşımı.Güvenlik FiltresiSafety FilterGirdi/çıktıyı güvenlik kurallarına göre süzen bileşen.Güvensiz Ajanlar Arası İletişimInsecure Inter-Agent Communication (ASI07)Ajanlar arası mesajlarda kimlik doğrulama, bütünlük veya içerik doğrulaması eksik olduğunda mesajların dinlenebilmesi, taklit edilebilmesi ya da değiştirilebilmesi; aynı talimatın farklı ajanlarca farklı yorumlanması da bu riske girer.HalüsinasyonHallucinationModelin gerçek dışı ama makul görünen bilgi üretmesi.Hedef Yanlış GenellemeGoal MisgeneralizationModelin eğitim ortamında doğru görünen ama yeni ortamlarda istenmeyen bir hedefi öğrenmiş olması.HizalamaAlignmentModelin davranışının insan değer ve niyetleriyle uyumlu hale getirilmesi.İçerik DenetimiContent ModerationZararlı veya uygunsuz içeriğin tespit edilip engellenmesi.

tüm bölümler

Ana SayfaYZ HaberleriYZ TerimleriYZ Linkleri

konular

açık ağırlıklı modelanthropicapplebilimchatgptclaudecodexçingeminigooglegörsel üretimigrokkodlamametamicrosoftmusenvidiaopenaises ajanısiber güvenlikvideo üretimiyapay zekâ ajanlarıyapay zekâ güvenliğixai

takip et

YouTubeInstagramMMedium