bugünün notları ✎

Teknoloji Notlarım

bölüm

Yapay Zekâ Terimleri

81 terim · model eğitimi

Açıklama EklemeAnnotationVeriye ek bağlamsal bilgi veya etiket eklenmesi süreci.Adam OptimizasyonuAdamUyarlanabilir öğrenme oranı kullanan yaygın optimizasyon algoritması.AdaptörAdapterDondurulmuş modele eklenen küçük eğitilebilir katmanlarla ince ayar yapma yöntemi.Ağırlık SönümüWeight DecayBüyük ağırlıkları cezalandıran düzenlileştirme tekniği (L2).Aktif ÖğrenmeActive LearningModelin en bilgilendirici örnekleri seçerek etiketlenmesini talep ettiği yöntem.Bilgi DamıtmaDistillationBüyük bir modelin bilgisinin küçük bir modele aktarılması süreci.BudamaPruningModelden önemsiz ağırlık/nöronların çıkarılarak küçültülmesi.Çapraz DoğrulamaCross-ValidationVeriyi birden fazla parçaya bölüp sırayla her parçayı test kümesi olarak kullanan güvenilir değerlendirme yöntemi.Çapraz EntropiCross EntropySınıflandırma görevlerinde yaygın kullanılan kayıp fonksiyonu türü.Dağıtık EğitimDistributed TrainingBir modelin birden fazla cihaz/makinede paralel eğitilmesi.DerlemCorpusDil modelleri için toplanmış büyük metin koleksiyonu.Destek Vektör MakinesiSVM (Support Vector Machine)Sınıflar arasındaki en iyi ayırıcı sınırı bulmaya çalışan klasik sınıflandırma/regresyon modeli.DevirEpochTüm eğitim verisinin bir kez baştan sona işlenmesi.Doğrudan Tercih OptimizasyonuDPO (Direct Preference Optimization)Ödül modeli kurmadan doğrudan tercih verisiyle model hizalama yöntemi.Doğrulanabilir Ödüllerle Pekiştirmeli ÖğrenmeRLVR (RL with Verifiable Rewards)Matematik, kod gibi doğruluğu otomatik doğrulanabilen görevlerde ödül modeli yerine kesin doğrulayıcı kullanan RL yöntemi; akıl yürütme modellerinin temelidir.Doğrusal / Lojistik RegresyonLinear / Logistic RegressionSürekli değer tahmini (doğrusal) ve ikili sınıflandırma (lojistik) için kullanılan en temel istatistiksel modeller.DropoutEğitim sırasında rastgele nöronları devre dışı bırakan düzenlileştirme tekniği.DüzenlileştirmeRegularizationAşırı öğrenmeyi azaltmak için modele uygulanan kısıtlama teknikleri.EğitimTrainingBir modelin veriden öğrenmesini sağlayan süreç.Eğitim / Doğrulama / Test KümesiTrain / Validation / Test SplitVerinin modeli eğitmek, hiperparametreleri ayarlamak ve nihai performansı tarafsız ölçmek için üç parçaya ayrılması.Erken DurdurmaEarly StoppingPerformans kötüleşmeye başladığında eğitimi durdurma tekniği.EtiketlemeLabelingVeriye doğru cevap/kategori bilgisinin eklenmesi süreci.Felaket UnutmaCatastrophic ForgettingModelin yeni görev öğrenirken önceki görevlerdeki bilgisini kaybetmesi.FSDP / ZeROParametre, gradyan ve optimizasyon durumunu cihazlar arasında parçalayarak çok büyük modellerin eğitimini mümkün kılan bellek verimli dağıtık eğitim teknikleri.Geri YayılımBackpropagationHatanın ağ katmanları boyunca geriye doğru yayılarak gradyanların hesaplanması.Gözetimli İnce AyarSFT (Supervised Fine-Tuning)Etiketli örnek çiftleriyle yapılan gözetimli ince ayar süreci.GradyanGradientKayıp fonksiyonunun parametrelere göre değişim yönü ve büyüklüğü.Gradyan ArtırmaGradient BoostingZayıf modelleri art arda eğiterek hatalarını düzeltmeye dayanan topluluk öğrenme yöntemi.Gradyan İnişiGradient DescentKaybı azaltmak için parametrelerin gradyan yönünde güncellenmesi yöntemi.Gradyan KırpmaGradient ClippingPatlayan gradyanları önlemek için gradyan büyüklüğüne üst sınır koyma.GrokkingModelin uzun süre ezberledikten sonra aniden genelleme yapmaya başlaması olgusu.Grup Göreli Politika OptimizasyonuGRPO (Group Relative Policy Optimization)Ayrı bir değer modeli olmadan, aynı isteme üretilen yanıt grubunu birbirine göre puanlayan RL algoritması (DeepSeek-R1).IsınmaWarm-upEğitimin başında öğrenme oranının düşükten başlayıp kademeli artırılması; kararsızlığı önler.İnce AyarFine-tuningÖn eğitimli bir modelin belirli bir görev için ek eğitilmesi.İnsan Geri Bildirimiyle Pekiştirmeli ÖğrenmeRLHF (Reinforcement Learning from Human Feedback)İnsanların model yanıtlarını karşılaştırarak verdiği tercihlerden bir ödül modeli eğitilip dil modelinin bu ödülü artıracak şekilde pekiştirmeli öğrenmeyle (genellikle PPO) güncellendiği hizalama yöntemi; ChatGPT gibi sohbet modellerinin temel tekniklerinden biridir.İstem / Önek AyarıPrompt Tuning / Prefix TuningModel ağırlıklarını değiştirmeden, girdiye eklenen öğrenilebilir 'yumuşak' vektörlerle uyarlama yapan PEFT yöntemleri.k-En Yakın Komşuk-NN (k-Nearest Neighbors)Bir örneği en yakın k komşusunun etiketine göre sınıflandıran basit algoritma.K-OrtalamalarK-MeansVeriyi k merkez etrafında kümelere ayıran en yaygın kümeleme algoritması.Karar AğacıDecision TreeVerideki özniteliklere göre dallara ayrılarak karar veren ağaç yapılı model.Karışık Hassasiyet EğitimiMixed Precision Training (FP16/BF16/FP8)Hesaplamaların bir kısmının düşük hassasiyetli sayı formatlarıyla yapılması; bellek ve hız kazancı sağlar.Karşıtsal ÖğrenmeContrastive LearningBenzer örnekleri gizil uzayda yakınlaştırıp farklıları uzaklaştırarak temsil öğrenme yöntemi (CLIP, gömme modelleri).Kayıp EğrisiLoss CurveEğitim boyunca kayıp değerinin adım/devir bazında çizilmiş grafiği; öğrenmenin ilerleyişini gösterir.Kayıp FonksiyonuLoss FunctionModel tahmini ile gerçek değer arasındaki farkı ölçen fonksiyon.Kendi Kendine Gözetimli ÖğrenmeSelf-Supervised LearningModelin, veri içindeki bir kısmı diğerinden tahmin ederek kendi etiketlerini kendisinin ürettiği öğrenme yaklaşımı.Kontrol NoktasıCheckpointEğitim sırasında belirli bir andaki model durumunun kaydı.LoRALoRA (Low-Rank Adaptation)Orijinal ağırlıkları dondurup ağırlık değişimini iki küçük düşük ranklı matrisin çarpımı olarak öğrenen PEFT yöntemi; eğitilen parametre sayısını büyük ölçüde azaltır ve sonuç ana modele takılıp çıkarılabilen küçük bir dosya olarak saklanır.Model BirleştirmeModel Mergingİki veya daha fazla ince ayarlı modelin ağırlıklarının eğitim yapmadan birleştirilmesi (SLERP, TIES vb.).Model ParalelliğiModel ParallelismBir modelin farklı parçalarının farklı cihazlara dağıtılarak eğitilmesi.Model SıkıştırmaModel CompressionModeli küçültmeye yönelik tekniklerin genel adı (niceleme, budama, damıtma vb.).Müfredat ÖğrenimiCurriculum LearningModelin kolay örneklerden zora doğru sırayla eğitilmesi stratejisi.Naive BayesÖzniteliklerin bağımsız olduğu varsayımıyla Bayes teoremine dayanan hızlı sınıflandırıcı.NicelemeQuantizationModel ağırlıklarının daha düşük hassasiyetle temsil edilerek küçültülmesi.Ödül HacklemeReward HackingModelin hedeflenen davranışı gerçekten öğrenmeden ödül sinyalindeki boşlukları sömürerek yüksek puan alması.Öğrenme OranıLearning RateParametrelerin her adımda ne kadar güncelleneceğini belirleyen hiperparametre.Ön EğitimPretrainingModelin trilyonlarca token'lık genel veriyle, genellikle sonraki token'ı tahmin etme gibi kendi kendine gözetimli bir hedefle ilk kez eğitildiği en pahalı aşama; dil ve dünya bilgisinin büyük kısmı burada edinilir.Ön Eğitim SonrasıPost-trainingÖn eğitimden sonra gelen SFT, RLHF, DPO gibi tüm hizalama ve yetenek kazandırma aşamalarının genel adı.Öznitelik MühendisliğiFeature EngineeringHam veriden modelin daha iyi öğrenmesini sağlayacak anlamlı özniteliklerin türetilmesi.Parametre Verimli İnce AyarPEFT (Parameter-Efficient Fine-Tuning)Modelin sadece küçük bir kısmını güncelleyerek ince ayar yapma yöntemleri ailesi.Rastgele OrmanRandom ForestBirden fazla karar ağacının tahminlerini birleştiren topluluk öğrenme yöntemi.Sentetik VeriSynthetic DataYapay olarak (genellikle bir model tarafından) üretilen eğitim verisi.Sınıf DengesizliğiClass ImbalanceBazı sınıfların diğerlerinden çok daha fazla örneğe sahip olması; modelin azınlık sınıfı öğrenmesini zorlaştırır.Stokastik Gradyan İnişiSGD (Stochastic Gradient Descent)Küçük örnek gruplarıyla çalışan gradyan inişi varyantı.Sürekli ÖğrenmeContinual LearningModelin önceki bilgisini korurken zaman içinde yeni veri ve görevlerden öğrenmeye devam etmesi.Sürekli Ön EğitimContinued PretrainingÖn eğitimli modelin yeni bir alan veya dilin ham verisiyle ek ön eğitime tabi tutulması.Talimat İnce AyarıInstruction TuningModelin talimatları daha iyi takip etmesi için yapılan ince ayar türü.Tensör / Pipeline ParalelliğiTensor / Pipeline ParallelismModel paralelliğinin iki türü: katman içi matrislerin (tensör) veya ardışık katman gruplarının (pipeline) farklı cihazlara dağıtılması.Tercih VerisiPreference DataAynı isteme verilen iki yanıttan hangisinin daha iyi olduğunu gösteren, hizalama eğitiminde kullanılan veri.Topluluk ÖğrenmesiEnsemble LearningBirden fazla modelin tahminlerini birleştirerek daha iyi sonuç alma yaklaşımı (bagging, boosting, stacking).Veri ArtırmaData AugmentationMevcut veriden türetilen değişik varyasyonlarla eğitim veri kümesinin yapay olarak genişletilmesi.Veri KümesiDatasetBir modeli eğitmek veya değerlendirmek için kullanılan veri koleksiyonu.Veri ParalelliğiData ParallelismAynı modelin farklı veri parçalarıyla paralel makinelerde eğitilmesi.Veri Sızıntısı / KirlenmeData Leakage / ContaminationTest veya benchmark verisinin eğitim verisine karışması; ölçülen performansın gerçekçi olmamasına yol açar.Veri TekilleştirmeData DeduplicationEğitim verisindeki tekrar eden örneklerin çıkarılması; ezberlemeyi ve benchmark kirlenmesini azaltır.Veri TemizlemeData CleaningHam veriden hata, tekrar ve gürültünün giderilmesi süreci.Yakınsal Politika OptimizasyonuPPO (Proximal Policy Optimization)Politikayı her adımda önceki politikadan fazla uzaklaşmayacak şekilde kırpılmış küçük güncellemelerle iyileştiren, kararlı bir pekiştirmeli öğrenme algoritması; RLHF'de dil modelini ödül modeline göre eğitmek için uzun süre standart yöntem olmuştur.Yapay Zekâ Geri Bildirimiyle Pekiştirmeli ÖğrenmeRLAIFİnsan yerine bir yapay zekâ modelinin geri bildirimini kullanan pekiştirmeli öğrenme türü.YığınBatchBir eğitim adımında birlikte işlenen örnek grubu.Yığın BoyutuBatch SizeBir yığında bulunan örnek sayısı.ZamanlayıcıSchedulerÖğrenme oranının eğitim boyunca nasıl değişeceğini belirleyen mekanizma.QLoRANiceleme ile birleştirilmiş, bellek açısından çok verimli LoRA varyantı.XGBoost / LightGBMTablo verisinde son derece etkili, optimize edilmiş gradyan artırma kütüphaneleri.
hepsi bu kadar! ✎

tüm bölümler

Ana SayfaYZ HaberleriYZ TerimleriYZ Linkleri

konular

açık ağırlıklı modelanthropicapplebilimchatgptclaudecodexçingeminigooglegörsel üretimigrokkodlamametamicrosoftmusenvidiaopenaises ajanısiber güvenlikvideo üretimiyapay zekâ ajanlarıyapay zekâ güvenliğixai

takip et

YouTubeInstagramMMedium