bugünün notları ✎

Teknoloji Notlarım

konu

çıkarım

57 not · tüm bölümlerden

Yapay Zekâ Terimleri57 sonuç
Tam Zamanında BağlamJust-in-Time Context / RetrievalBilginin bağlama baştan toplu yüklenmesi yerine, ajan tarafından yalnızca gerektiği anda araçlarla getirilmesi; bağlam kirliliğini ve maliyeti azaltır.GecikmeLatencyBir isteğin gönderilmesiyle yanıtın alınması arasındaki süre.İşlem HacmiThroughputBirim zamanda işlenebilen istek veya token miktarı.Toplu APIBatch APIAcil olmayan çok sayıda isteğin toplu gönderilip genelde indirimli fiyatla, saatler içinde işlendiği API modu.Oran SınırıRate LimitBir API'ye birim zamanda gönderilebilecek istek veya token sayısına konan sınır.Anlamsal ÖnbellekSemantic CacheAnlamca benzer isteklere önceden üretilmiş yanıtları döndüren önbellekleme türü.Önbellek Destekli ÜretimCAG (Cache-Augmented Generation)Bilgiyi önceden bağlam önbelleğine yükleyerek çıkarım sırasında getirmeyi azaltan yaklaşım.YedeklemeFallbackBirincil model veya sağlayıcı hata verdiğinde isteğin otomatik olarak alternatif modele yönlendirilmesi.İstem ÖnbelleğiPrompt CacheAynı önekle (sistem istemi, araç tanımları, uzun belge) başlayan isteklerde bu kısmın KV önbelleğini sağlayıcı tarafında saklayıp yeniden kullanma; ilk token süresini kısaltır ve önbellekten okunan girdi token'ları belirgin indirimle fiyatlandırılır.Model YönlendiriciModel Routerİsteği göreve/maliyete göre uygun modele yönlendiren bileşen.Yapay Zekâ Ağ GeçidiAI GatewayFarklı model sağlayıcılarına tek noktadan erişimi, maliyet ve erişim kontrolünü sağlayan katman.SGLang / TensorRT-LLMYüksek performanslı LLM sunumu için yaygın iki açık kaynak çıkarım motoru: SGLang (önek önbelleği için RadixAttention kullanır) ve NVIDIA'nın kendi GPU'larına özel optimize ettiği TensorRT-LLM.GPTQ / AWQEğitim sonrası ağırlık nicelemesi için yaygın kullanılan iki yöntem; GPU'da 4-bit çıkarımı mümkün kılar.PagedAttentionKV önbelleğini sanal bellek benzeri sayfalarla yöneterek bellek israfını azaltan teknik (vLLM'in temeli).vLLMYüksek verimli LLM sunumu için PagedAttention kullanan açık kaynak çıkarım motoru.llama.cppLLM'leri CPU ve tüketici donanımında verimli çalıştıran, GGUF formatını kullanan açık kaynak C/C++ çıkarım motoru.Spekülatif Kod ÇözmeSpeculative DecodingKüçük bir modelin önerdiği token'ları büyük modelin doğruladığı hızlandırma tekniği.Sürekli YığınlamaContinuous BatchingFarklı kullanıcıların isteklerini token düzeyinde dinamik olarak birleştirip GPU kullanımını artıran sunum tekniği.Ön Doldurma / Kod Çözme AşamasıPrefill / Decode PhaseÇıkarımın iki aşaması: istemin toplu işlendiği prefill ve token'ların tek tek üretildiği decode.İlk Token SüresiTTFT (Time to First Token)İsteğin gönderilmesinden ilk token'ın alınmasına kadar geçen süre; algılanan hızın temel ölçütü.Akışlı ÜretimStreamingModel çıktısının token token, gerçek zamanlı olarak iletilmesi.KV ÖnbelleğiKV CacheOtoregresif üretimde önceki token'lar için dikkat katmanlarında hesaplanan anahtar (key) ve değer (value) vektörlerinin GPU belleğinde saklanması; her yeni token'da geçmişi yeniden hesaplamayı önler, ancak bağlam uzunluğuyla büyüdüğü için uzun bağlamda başlıca bellek darboğazıdır.Açgözlü Kod ÇözmeGreedy DecodingHer adımda en olası tek token'ı seçen basit üretim stratejisi.Durdurma DizisiStop SequenceModelin üretimi durdurmasını tetikleyen belirli karakter/token dizisi.Determinizm / SeedDeterminism / SeedAynı girdi ve seed değeriyle aynı çıktının alınabilmesi; LLM API'lerinde temperature 0'da bile tam garanti edilemez, çünkü sunucudaki yığın boyutu değiştikçe kayan nokta işlemlerinin sırası ve dolayısıyla sonuç küçük farklar gösterir.Işın AramasıBeam SearchBirden fazla olası diziyi paralel değerlendirerek en iyisini seçen üretim stratejisi.Top-K ÖrneklemeTop-K SamplingYalnızca en olası K token arasından örnekleme yapan çıktı üretim yöntemi.Top-P ÖrneklemeTop-P (Nucleus) SamplingKümülatif olasılığı belirli bir eşiği geçen token'lar arasından örnekleme.Tekrar / Frekans CezasıRepetition / Frequency PenaltyDaha önce üretilen token'ların tekrar seçilme olasılığını düşüren örnekleme parametreleri.Genişletilmiş DüşünmeExtended Thinking / Reasoning EffortModelin yanıt vermeden önce ayrı bir düşünme aşamasında daha uzun akıl yürütmesini sağlayan mod; düşünme miktarı bugün çoğunlukla düşük/orta/yüksek gibi düzeylerle ayarlanır (Claude adaptive thinking ve effort, OpenAI GPT-5 reasoning_effort, Gemini thinking_level).SıcaklıkTemperatureToken olasılık dağılımını keskinleştiren veya düzleştiren örnekleme parametresi; 0'a yakın değerler en olası token'ları seçtirerek tutarlı çıktı verir, yüksek değerler çeşitliliği artırır. Bazı akıl yürütme modellerinde ayarlanamaz.Maksimum TokenMax TokensModelin tek yanıtta üretebileceği token sayısına konan üst sınır parametresi.Düşünme BütçesiThinking BudgetAkıl yürütme modellerinde düşünmeye ayrılacak token miktarını doğrudan sınırlayan parametre (ör. Claude budget_tokens, Gemini thinking_budget); yeni modellerde yerini büyük ölçüde, ne kadar düşüneceğine modelin kendisinin karar verdiği 'effort' veya 'thinking level' gibi düzey ayarlarına bırakmıştır.JSON Modu / Kısıtlı Kod ÇözmeJSON Mode / Constrained DecodingÜretimi bir şema veya gramerle sınırlandırarak geçerli yapılandırılmış çıktıyı garanti eden teknik.Token BütçesiToken BudgetBir görev veya oturum için ayrılan maksimum token/maliyet sınırı.Bağlam İçi ÖğrenmeIn-context LearningModelin ağırlıkları güncellenmeden, yalnızca istemdeki örneklerden anlık öğrenmesi.Yapılandırılmış ÇıktıStructured OutputModelin JSON gibi önceden tanımlı bir şemaya uygun çıktı üretmesi.Az Örnekle ÖğrenmeFew-shot LearningModele istem içinde birkaç örnek vererek görevi öğretme yaklaşımı.Ortada KaybolmaLost in the MiddleModellerin uzun bağlamın başındaki ve sonundaki bilgiyi ortadakinden daha iyi kullanması olgusu.Bilgi Kesim TarihiKnowledge CutoffModelin eğitim verisinin kapsadığı son tarih; sonrasındaki olayları model bilmez.Sıfır Örnekle ÖğrenmeZero-shot LearningModelin hiç örnek verilmeden yeni bir görevi yerine getirebilmesi.Bağlam MühendisliğiContext EngineeringModelin her adımda bağlam penceresinde ne göreceğinin (sistem istemi, araç tanımları, getirilen belgeler, bellek, konuşma geçmişi) seçilmesi, sıralanması ve sıkıştırılması disiplini; uzun süren ajan görevlerinde tek bir istemi iyileştirmekten daha belirleyicidir.Bağlam SıkıştırmaContext CompressionBağlam penceresini verimli kullanmak için geçmiş bilgiyi özetleyip küçültme tekniği.İstem ZincirlemePrompt ChainingKarmaşık bir görevin, birinin çıktısının diğerinin girdisi olduğu ardışık istemlere bölünmesi.Meta-İstemMeta-PromptingModelin başka bir istem yazmasını veya mevcut istemi iyileştirmesini istemek.İstem MühendisliğiPrompt Engineeringİstemleri en iyi sonucu almak için tasarlama ve optimize etme pratiği.Rol İstemiRole PromptingModele belirli bir uzman/persona kimliği vererek yanıt kalitesini yönlendirme tekniği.Konuşma GeçmişiConversation HistoryOturumdaki önceki mesajların tümü; her yeni istekte bağlam olarak modele iletilir.İstem ŞablonuPrompt TemplateTekrar kullanılabilir, değişken içeren istem yapısı.Mesaj RolleriMessage Roles (system/user/assistant/tool)Sohbet API'lerinde her mesajın kimden geldiğini belirten etiketler; model davranışı role göre değişir.Çok Turlu SohbetMulti-turn ConversationBirden fazla soru-cevap turundan oluşan, önceki turların bağlam olarak modele tekrar gönderildiği etkileşim.Sistem İstemiSystem PromptModelin genel davranışını belirleyen, geliştirici tarafından verilen üst düzey talimat.Kullanıcı İstemiUser PromptKullanıcının modele ilettiği doğrudan istek.Çıkarım MotoruInference EngineEğitilmiş modeli sunucuda veya cihazda çalıştırıp istekleri karşılayan yazılım; KV önbellek yönetimi, sürekli yığınlama, niceleme ve paralellik gibi tekniklerle gecikmeyi düşürüp işlem hacmini artırır (vLLM, SGLang, TensorRT-LLM, llama.cpp).BağlamContextModele verilen ve yanıtı şekillendiren tüm girdi bilgisi (istem, geçmiş, belge, araç sonuçları vb.).İstemPromptModele verilen girdi metni.ÇıkarımInferenceEğitilmiş bir modelin yeni girdiler üzerinde tahmin/çıktı üretmesi.

tüm bölümler

Ana SayfaYZ HaberleriYZ TerimleriYZ Linkleri

konular

açık ağırlıklı modelanthropicapplebilimchatgptclaudecodexçingeminigooglegörsel üretimigrokkodlamametamicrosoftmusenvidiaopenaises ajanısiber güvenlikvideo üretimiyapay zekâ ajanlarıyapay zekâ güvenliğixai

takip et

YouTubeInstagramMMedium