bugünün notları ✎

Teknoloji Notlarım

bölüm

Yapay Zekâ Terimleri

81 terim · model eğitimi

Açıklama EklemeAnnotationVeriye ek bağlamsal bilgi veya etiket eklenmesi süreci.Adam OptimizasyonuAdamUyarlanabilir öğrenme oranı kullanan yaygın optimizasyon algoritması.AdaptörAdapterDondurulmuş modele eklenen küçük eğitilebilir katmanlarla ince ayar yapma yöntemi.Ağırlık SönümüWeight DecayBüyük ağırlıkları cezalandıran düzenlileştirme tekniği (L2).Aktif ÖğrenmeActive LearningModelin en bilgilendirici örnekleri seçerek etiketlenmesini talep ettiği yöntem.Bilgi DamıtmaDistillationBüyük bir modelin bilgisinin küçük bir modele aktarılması süreci.BudamaPruningModelden önemsiz ağırlık/nöronların çıkarılarak küçültülmesi.Çapraz DoğrulamaCross-ValidationVeriyi birden fazla parçaya bölüp sırayla her parçayı test kümesi olarak kullanan güvenilir değerlendirme yöntemi.Çapraz EntropiCross EntropySınıflandırma görevlerinde yaygın kullanılan kayıp fonksiyonu türü.Dağıtık EğitimDistributed TrainingBir modelin birden fazla cihaz/makinede paralel eğitilmesi.DerlemCorpusDil modelleri için toplanmış büyük metin koleksiyonu.Destek Vektör MakinesiSVM (Support Vector Machine)Sınıflar arasındaki en iyi ayırıcı sınırı bulmaya çalışan klasik sınıflandırma/regresyon modeli.DevirEpochTüm eğitim verisinin bir kez baştan sona işlenmesi.Doğrudan Tercih OptimizasyonuDPO (Direct Preference Optimization)Ödül modeli kurmadan doğrudan tercih verisiyle model hizalama yöntemi.Doğrulanabilir Ödüllerle Pekiştirmeli ÖğrenmeRLVR (RL with Verifiable Rewards)Matematik, kod gibi doğruluğu otomatik doğrulanabilen görevlerde ödül modeli yerine kesin doğrulayıcı kullanan RL yöntemi; akıl yürütme modellerinin temelidir.Doğrusal / Lojistik RegresyonLinear / Logistic RegressionSürekli değer tahmini (doğrusal) ve ikili sınıflandırma (lojistik) için kullanılan en temel istatistiksel modeller.DropoutEğitim sırasında rastgele nöronları devre dışı bırakan düzenlileştirme tekniği.DüzenlileştirmeRegularizationAşırı öğrenmeyi azaltmak için modele uygulanan kısıtlama teknikleri.EğitimTrainingBir modelin veriden öğrenmesini sağlayan süreç.Eğitim / Doğrulama / Test KümesiTrain / Validation / Test SplitVerinin modeli eğitmek, hiperparametreleri ayarlamak ve nihai performansı tarafsız ölçmek için üç parçaya ayrılması.Erken DurdurmaEarly StoppingPerformans kötüleşmeye başladığında eğitimi durdurma tekniği.EtiketlemeLabelingVeriye doğru cevap/kategori bilgisinin eklenmesi süreci.Felaket UnutmaCatastrophic ForgettingModelin yeni görev öğrenirken önceki görevlerdeki bilgisini kaybetmesi.FSDP / ZeROParametre, gradyan ve optimizasyon durumunu cihazlar arasında parçalayarak çok büyük modellerin eğitimini mümkün kılan bellek verimli dağıtık eğitim teknikleri.Geri YayılımBackpropagationHatanın ağ katmanları boyunca geriye doğru yayılarak gradyanların hesaplanması.Gözetimli İnce AyarSFT (Supervised Fine-Tuning)Etiketli örnek çiftleriyle yapılan gözetimli ince ayar süreci.GradyanGradientKayıp fonksiyonunun parametrelere göre değişim yönü ve büyüklüğü.Gradyan ArtırmaGradient BoostingZayıf modelleri art arda eğiterek hatalarını düzeltmeye dayanan topluluk öğrenme yöntemi.Gradyan İnişiGradient DescentKaybı azaltmak için parametrelerin gradyan yönünde güncellenmesi yöntemi.Gradyan KırpmaGradient ClippingPatlayan gradyanları önlemek için gradyan büyüklüğüne üst sınır koyma.GrokkingModelin uzun süre ezberledikten sonra aniden genelleme yapmaya başlaması olgusu.Grup Göreli Politika OptimizasyonuGRPO (Group Relative Policy Optimization)Ayrı bir değer modeli olmadan, aynı isteme üretilen yanıt grubunu birbirine göre puanlayan RL algoritması (DeepSeek-R1).IsınmaWarm-upEğitimin başında öğrenme oranının düşükten başlayıp kademeli artırılması; kararsızlığı önler.İnce AyarFine-tuningÖn eğitimli bir modelin belirli bir görev için ek eğitilmesi.İnsan Geri Bildirimiyle Pekiştirmeli ÖğrenmeRLHF (Reinforcement Learning from Human Feedback)İnsanların model yanıtlarını karşılaştırarak verdiği tercihlerden bir ödül modeli eğitilip dil modelinin bu ödülü artıracak şekilde pekiştirmeli öğrenmeyle (genellikle PPO) güncellendiği hizalama yöntemi; ChatGPT gibi sohbet modellerinin temel tekniklerinden biridir.İstem / Önek AyarıPrompt Tuning / Prefix TuningModel ağırlıklarını değiştirmeden, girdiye eklenen öğrenilebilir 'yumuşak' vektörlerle uyarlama yapan PEFT yöntemleri.k-En Yakın Komşuk-NN (k-Nearest Neighbors)Bir örneği en yakın k komşusunun etiketine göre sınıflandıran basit algoritma.K-OrtalamalarK-MeansVeriyi k merkez etrafında kümelere ayıran en yaygın kümeleme algoritması.Karar AğacıDecision TreeVerideki özniteliklere göre dallara ayrılarak karar veren ağaç yapılı model.Karışık Hassasiyet EğitimiMixed Precision Training (FP16/BF16/FP8)Hesaplamaların bir kısmının düşük hassasiyetli sayı formatlarıyla yapılması; bellek ve hız kazancı sağlar.Karşıtsal ÖğrenmeContrastive LearningBenzer örnekleri gizil uzayda yakınlaştırıp farklıları uzaklaştırarak temsil öğrenme yöntemi (CLIP, gömme modelleri).Kayıp EğrisiLoss CurveEğitim boyunca kayıp değerinin adım/devir bazında çizilmiş grafiği; öğrenmenin ilerleyişini gösterir.Kayıp FonksiyonuLoss FunctionModel tahmini ile gerçek değer arasındaki farkı ölçen fonksiyon.Kendi Kendine Gözetimli ÖğrenmeSelf-Supervised LearningModelin, veri içindeki bir kısmı diğerinden tahmin ederek kendi etiketlerini kendisinin ürettiği öğrenme yaklaşımı.Kontrol NoktasıCheckpointEğitim sırasında belirli bir andaki model durumunun kaydı.LoRALoRA (Low-Rank Adaptation)Orijinal ağırlıkları dondurup ağırlık değişimini iki küçük düşük ranklı matrisin çarpımı olarak öğrenen PEFT yöntemi; eğitilen parametre sayısını büyük ölçüde azaltır ve sonuç ana modele takılıp çıkarılabilen küçük bir dosya olarak saklanır.Model BirleştirmeModel Mergingİki veya daha fazla ince ayarlı modelin ağırlıklarının eğitim yapmadan birleştirilmesi (SLERP, TIES vb.).Model ParalelliğiModel ParallelismBir modelin farklı parçalarının farklı cihazlara dağıtılarak eğitilmesi.Model SıkıştırmaModel CompressionModeli küçültmeye yönelik tekniklerin genel adı (niceleme, budama, damıtma vb.).Müfredat ÖğrenimiCurriculum LearningModelin kolay örneklerden zora doğru sırayla eğitilmesi stratejisi.Naive BayesÖzniteliklerin bağımsız olduğu varsayımıyla Bayes teoremine dayanan hızlı sınıflandırıcı.NicelemeQuantizationModel ağırlıklarının daha düşük hassasiyetle temsil edilerek küçültülmesi.Ödül HacklemeReward HackingModelin hedeflenen davranışı gerçekten öğrenmeden ödül sinyalindeki boşlukları sömürerek yüksek puan alması.Öğrenme OranıLearning RateParametrelerin her adımda ne kadar güncelleneceğini belirleyen hiperparametre.Ön EğitimPretrainingModelin trilyonlarca token'lık genel veriyle, genellikle sonraki token'ı tahmin etme gibi kendi kendine gözetimli bir hedefle ilk kez eğitildiği en pahalı aşama; dil ve dünya bilgisinin büyük kısmı burada edinilir.Ön Eğitim SonrasıPost-trainingÖn eğitimden sonra gelen SFT, RLHF, DPO gibi tüm hizalama ve yetenek kazandırma aşamalarının genel adı.Öznitelik MühendisliğiFeature EngineeringHam veriden modelin daha iyi öğrenmesini sağlayacak anlamlı özniteliklerin türetilmesi.Parametre Verimli İnce AyarPEFT (Parameter-Efficient Fine-Tuning)Modelin sadece küçük bir kısmını güncelleyerek ince ayar yapma yöntemleri ailesi.Rastgele OrmanRandom ForestBirden fazla karar ağacının tahminlerini birleştiren topluluk öğrenme yöntemi.Sentetik VeriSynthetic DataYapay olarak (genellikle bir model tarafından) üretilen eğitim verisi.

tüm bölümler

Ana SayfaYZ HaberleriYZ TerimleriYZ Linkleri

konular

açık ağırlıklı modelanthropicapplebilimchatgptclaudecodexçingeminigooglegörsel üretimigrokkodlamametamicrosoftmusenvidiaopenaises ajanısiber güvenlikvideo üretimiyapay zekâ ajanlarıyapay zekâ güvenliğixai

takip et

YouTubeInstagramMMedium