bugünün notları ✎

Teknoloji Notlarım

bölüm

Yapay Zekâ Terimleri

57 terim · çıkarım

Açgözlü Kod ÇözmeGreedy DecodingHer adımda en olası tek token'ı seçen basit üretim stratejisi.Akışlı ÜretimStreamingModel çıktısının token token, gerçek zamanlı olarak iletilmesi.Anlamsal ÖnbellekSemantic CacheAnlamca benzer isteklere önceden üretilmiş yanıtları döndüren önbellekleme türü.Az Örnekle ÖğrenmeFew-shot LearningModele istem içinde birkaç örnek vererek görevi öğretme yaklaşımı.BağlamContextModele verilen ve yanıtı şekillendiren tüm girdi bilgisi (istem, geçmiş, belge, araç sonuçları vb.).Bağlam İçi ÖğrenmeIn-context LearningModelin ağırlıkları güncellenmeden, yalnızca istemdeki örneklerden anlık öğrenmesi.Bağlam MühendisliğiContext EngineeringModelin her adımda bağlam penceresinde ne göreceğinin (sistem istemi, araç tanımları, getirilen belgeler, bellek, konuşma geçmişi) seçilmesi, sıralanması ve sıkıştırılması disiplini; uzun süren ajan görevlerinde tek bir istemi iyileştirmekten daha belirleyicidir.Bağlam SıkıştırmaContext CompressionBağlam penceresini verimli kullanmak için geçmiş bilgiyi özetleyip küçültme tekniği.Bilgi Kesim TarihiKnowledge CutoffModelin eğitim verisinin kapsadığı son tarih; sonrasındaki olayları model bilmez.ÇıkarımInferenceEğitilmiş bir modelin yeni girdiler üzerinde tahmin/çıktı üretmesi.Çıkarım MotoruInference EngineEğitilmiş modeli sunucuda veya cihazda çalıştırıp istekleri karşılayan yazılım; KV önbellek yönetimi, sürekli yığınlama, niceleme ve paralellik gibi tekniklerle gecikmeyi düşürüp işlem hacmini artırır (vLLM, SGLang, TensorRT-LLM, llama.cpp).Çok Turlu SohbetMulti-turn ConversationBirden fazla soru-cevap turundan oluşan, önceki turların bağlam olarak modele tekrar gönderildiği etkileşim.Determinizm / SeedDeterminism / SeedAynı girdi ve seed değeriyle aynı çıktının alınabilmesi; LLM API'lerinde temperature 0'da bile tam garanti edilemez, çünkü sunucudaki yığın boyutu değiştikçe kayan nokta işlemlerinin sırası ve dolayısıyla sonuç küçük farklar gösterir.Durdurma DizisiStop SequenceModelin üretimi durdurmasını tetikleyen belirli karakter/token dizisi.Düşünme BütçesiThinking BudgetAkıl yürütme modellerinde düşünmeye ayrılacak token miktarını doğrudan sınırlayan parametre (ör. Claude budget_tokens, Gemini thinking_budget); yeni modellerde yerini büyük ölçüde, ne kadar düşüneceğine modelin kendisinin karar verdiği 'effort' veya 'thinking level' gibi düzey ayarlarına bırakmıştır.GecikmeLatencyBir isteğin gönderilmesiyle yanıtın alınması arasındaki süre.Genişletilmiş DüşünmeExtended Thinking / Reasoning EffortModelin yanıt vermeden önce ayrı bir düşünme aşamasında daha uzun akıl yürütmesini sağlayan mod; düşünme miktarı bugün çoğunlukla düşük/orta/yüksek gibi düzeylerle ayarlanır (Claude adaptive thinking ve effort, OpenAI GPT-5 reasoning_effort, Gemini thinking_level).GPTQ / AWQEğitim sonrası ağırlık nicelemesi için yaygın kullanılan iki yöntem; GPU'da 4-bit çıkarımı mümkün kılar.Işın AramasıBeam SearchBirden fazla olası diziyi paralel değerlendirerek en iyisini seçen üretim stratejisi.İlk Token SüresiTTFT (Time to First Token)İsteğin gönderilmesinden ilk token'ın alınmasına kadar geçen süre; algılanan hızın temel ölçütü.İstemPromptModele verilen girdi metni.İstem MühendisliğiPrompt Engineeringİstemleri en iyi sonucu almak için tasarlama ve optimize etme pratiği.İstem ÖnbelleğiPrompt CacheAynı önekle (sistem istemi, araç tanımları, uzun belge) başlayan isteklerde bu kısmın KV önbelleğini sağlayıcı tarafında saklayıp yeniden kullanma; ilk token süresini kısaltır ve önbellekten okunan girdi token'ları belirgin indirimle fiyatlandırılır.İstem ŞablonuPrompt TemplateTekrar kullanılabilir, değişken içeren istem yapısı.İstem ZincirlemePrompt ChainingKarmaşık bir görevin, birinin çıktısının diğerinin girdisi olduğu ardışık istemlere bölünmesi.İşlem HacmiThroughputBirim zamanda işlenebilen istek veya token miktarı.JSON Modu / Kısıtlı Kod ÇözmeJSON Mode / Constrained DecodingÜretimi bir şema veya gramerle sınırlandırarak geçerli yapılandırılmış çıktıyı garanti eden teknik.Konuşma GeçmişiConversation HistoryOturumdaki önceki mesajların tümü; her yeni istekte bağlam olarak modele iletilir.Kullanıcı İstemiUser PromptKullanıcının modele ilettiği doğrudan istek.KV ÖnbelleğiKV CacheOtoregresif üretimde önceki token'lar için dikkat katmanlarında hesaplanan anahtar (key) ve değer (value) vektörlerinin GPU belleğinde saklanması; her yeni token'da geçmişi yeniden hesaplamayı önler, ancak bağlam uzunluğuyla büyüdüğü için uzun bağlamda başlıca bellek darboğazıdır.llama.cppLLM'leri CPU ve tüketici donanımında verimli çalıştıran, GGUF formatını kullanan açık kaynak C/C++ çıkarım motoru.Maksimum TokenMax TokensModelin tek yanıtta üretebileceği token sayısına konan üst sınır parametresi.Mesaj RolleriMessage Roles (system/user/assistant/tool)Sohbet API'lerinde her mesajın kimden geldiğini belirten etiketler; model davranışı role göre değişir.Meta-İstemMeta-PromptingModelin başka bir istem yazmasını veya mevcut istemi iyileştirmesini istemek.Model YönlendiriciModel Routerİsteği göreve/maliyete göre uygun modele yönlendiren bileşen.Oran SınırıRate LimitBir API'ye birim zamanda gönderilebilecek istek veya token sayısına konan sınır.Ortada KaybolmaLost in the MiddleModellerin uzun bağlamın başındaki ve sonundaki bilgiyi ortadakinden daha iyi kullanması olgusu.Ön Doldurma / Kod Çözme AşamasıPrefill / Decode PhaseÇıkarımın iki aşaması: istemin toplu işlendiği prefill ve token'ların tek tek üretildiği decode.Önbellek Destekli ÜretimCAG (Cache-Augmented Generation)Bilgiyi önceden bağlam önbelleğine yükleyerek çıkarım sırasında getirmeyi azaltan yaklaşım.PagedAttentionKV önbelleğini sanal bellek benzeri sayfalarla yöneterek bellek israfını azaltan teknik (vLLM'in temeli).Rol İstemiRole PromptingModele belirli bir uzman/persona kimliği vererek yanıt kalitesini yönlendirme tekniği.SGLang / TensorRT-LLMYüksek performanslı LLM sunumu için yaygın iki açık kaynak çıkarım motoru: SGLang (önek önbelleği için RadixAttention kullanır) ve NVIDIA'nın kendi GPU'larına özel optimize ettiği TensorRT-LLM.SıcaklıkTemperatureToken olasılık dağılımını keskinleştiren veya düzleştiren örnekleme parametresi; 0'a yakın değerler en olası token'ları seçtirerek tutarlı çıktı verir, yüksek değerler çeşitliliği artırır. Bazı akıl yürütme modellerinde ayarlanamaz.Sıfır Örnekle ÖğrenmeZero-shot LearningModelin hiç örnek verilmeden yeni bir görevi yerine getirebilmesi.Sistem İstemiSystem PromptModelin genel davranışını belirleyen, geliştirici tarafından verilen üst düzey talimat.Spekülatif Kod ÇözmeSpeculative DecodingKüçük bir modelin önerdiği token'ları büyük modelin doğruladığı hızlandırma tekniği.Sürekli YığınlamaContinuous BatchingFarklı kullanıcıların isteklerini token düzeyinde dinamik olarak birleştirip GPU kullanımını artıran sunum tekniği.Tam Zamanında BağlamJust-in-Time Context / RetrievalBilginin bağlama baştan toplu yüklenmesi yerine, ajan tarafından yalnızca gerektiği anda araçlarla getirilmesi; bağlam kirliliğini ve maliyeti azaltır.Tekrar / Frekans CezasıRepetition / Frequency PenaltyDaha önce üretilen token'ların tekrar seçilme olasılığını düşüren örnekleme parametreleri.Token BütçesiToken BudgetBir görev veya oturum için ayrılan maksimum token/maliyet sınırı.Top-K ÖrneklemeTop-K SamplingYalnızca en olası K token arasından örnekleme yapan çıktı üretim yöntemi.Top-P ÖrneklemeTop-P (Nucleus) SamplingKümülatif olasılığı belirli bir eşiği geçen token'lar arasından örnekleme.Toplu APIBatch APIAcil olmayan çok sayıda isteğin toplu gönderilip genelde indirimli fiyatla, saatler içinde işlendiği API modu.vLLMYüksek verimli LLM sunumu için PagedAttention kullanan açık kaynak çıkarım motoru.Yapay Zekâ Ağ GeçidiAI GatewayFarklı model sağlayıcılarına tek noktadan erişimi, maliyet ve erişim kontrolünü sağlayan katman.Yapılandırılmış ÇıktıStructured OutputModelin JSON gibi önceden tanımlı bir şemaya uygun çıktı üretmesi.YedeklemeFallbackBirincil model veya sağlayıcı hata verdiğinde isteğin otomatik olarak alternatif modele yönlendirilmesi.
hepsi bu kadar! ✎

tüm bölümler

Ana SayfaYZ HaberleriYZ TerimleriYZ Linkleri

konular

açık ağırlıklı modelanthropicapplebilimchatgptclaudecodexçingeminigooglegörsel üretimigrokkodlamametamicrosoftmusenvidiaopenaises ajanısiber güvenlikvideo üretimiyapay zekâ ajanlarıyapay zekâ güvenliğixai

takip et

YouTubeInstagramMMedium