Makine öğrenmesi modellerinin performansını en üst düzeye çıkarmak, yalnızca doğru algoritmayı seçmekle değil, o algoritmanın hiperparametrelerini doğru şekilde ayarlamakla da mümkündür. Grid search ve random search gibi klasik yöntemler, yüksek boyutlu ve maliyetli arama uzaylarında yetersiz kalırken, Bayesian Optimizasyon (Bayesçi Optimizasyon) bu alanda en güçlü çözümlerden biri olarak öne çıkar. İlginç bir şekilde, bilinmeyeni sistematik gözlem ve çıkarım yoluyla azaltma fikri yeni değildir; İbn Sina‘nın tıp ve mantık eserlerinde de görülen, kısıtlı gözlemlerden genel ilkelere ulaşma yaklaşımı, modern Bayesçi çıkarımın felsefi kökenleriyle örtüşür.
Bayesian Optimizasyonun Temel Mantığı
Bayesian Optimizasyon, değerlendirilmesi maliyetli olan kara kutu (black-box) fonksiyonları optimize etmek için tasarlanmış olasılıksal bir yaklaşımdır. Temel fikir, gerçek amaç fonksiyonunun (örneğin bir modelin doğrulama hatası) yerine, bu fonksiyonun bir olasılıksal vekil modelini (surrogate model) kurmaktır. Bu vekil model genellikle Gauss Süreçleri (Gaussian Process – GP) kullanılarak inşa edilir ve her yeni gözlemle birlikte güncellenir.
Süreç iteratif olarak ilerler: önce vekil model mevcut verilerle eğitilir, ardından bir acquisition function (kazanım fonksiyonu) kullanılarak bir sonraki denenecek nokta belirlenir, gerçek fonksiyon bu noktada değerlendirilir ve sonuç modele eklenir. Bu döngü, bütçe tükenene kadar veya yakınsama sağlanana kadar devam eder.
Gauss Süreçleri ve Kernel Seçiminin Önemi
Gauss Süreçlerinin performansı büyük ölçüde seçilen kernel (çekirdek) fonksiyonuna bağlıdır. Kernel, iki nokta arasındaki benzerliği tanımlar ve dolayısıyla modelin ne kadar pürüzsüz veya esnek olacağını belirler. En yaygın kullanılan kerneller şunlardır:
RBF (Radial Basis Function) Kernel: Sonsuz türevlenebilir, çok pürüzsüz fonksiyonlar için idealdir, ancak gerçek dünya hiperparametre yüzeyleri genellikle bu kadar düzgün değildir.
Matérn Kernel: Pürüzsüzlük derecesini bir parametre (ν) ile kontrol etme imkânı sunar. Özellikle Matérn 5/2, hiperparametre optimizasyonunda pratikte RBF’den daha iyi sonuçlar verdiği için literatürde sıklıkla tercih edilir.
Kombinasyon ve Yapısal Kernel: Kategorik değişkenler, koşullu parametreler veya karma tipte arama uzayları (örneğin hem sürekli öğrenme oranı hem de kategorik optimizer seçimi) söz konusu olduğunda, toplamsal (additive) veya çarpımsal (product) kernel yapıları kullanılır. Bu, farklı değişken tiplerinin etkileşimini modele daha doğru şekilde yansıtır.
Deney tasarımında ise, eğer parametre uzayında periyodiklik (örneğin açısal veya döngüsel parametreler) varsa, periyodik kernel tercih edilmelidir. Yüksek boyutlu uzaylarda ise otomatik ilgi belirleme (ARD – Automatic Relevance Determination) teknikleri, her boyuta ayrı bir uzunluk ölçeği atayarak gereksiz boyutların etkisini azaltır.
Acquisition Function Stratejileri
Kazanım fonksiyonu, keşif (exploration) ile sömürü (exploitation) arasındaki dengeyi yönetir. En bilinen fonksiyonlar şunlardır:
Expected Improvement (EI): Mevcut en iyi değere göre beklenen iyileşmeyi maksimize eder; hesaplama kolaylığı nedeniyle en yaygın kullanılan yöntemdir.
Upper Confidence Bound (UCB): Tahmin ortalaması ile belirsizliğin ağırlıklı toplamını kullanır; κ parametresi ile keşif-sömürü dengesi doğrudan ayarlanabilir.
Probability of Improvement (PI): Basit ancak genellikle aşırı sömürücü davranış sergiler, bu yüzden tek başına daha az tercih edilir.
Entropy Search ve Knowledge Gradient: Daha hesaplama yoğun ama bilgi teorik açıdan daha zengin yaklaşımlardır; özellikle çok adımlı deney tasarımlarında değerlidir.
Özel senaryolarda çok amaçlı (multi-objective) acquisition fonksiyonları (örneğin Expected Hypervolume Improvement) veya paralel değerlendirme için q-EI gibi toplu (batch) versiyonlar da kullanılabilir. Bu, birden fazla GPU’nun eş zamanlı deney yürüttüğü endüstriyel ortamlarda kritik önem taşır.
Pratik Uygulama ve Ölçeklenebilirlik Sorunları
Gauss Süreçleri, veri sayısı arttıkça kübik hesaplama karmaşıklığı (O(n³)) nedeniyle ölçeklenebilirlik sorunları yaşar. Bu nedenle büyük ölçekli problemlerde seyrek Gauss Süreçleri (sparse GP), rastgele öznitelik yaklaşımları (random features) veya alternatif vekil modeller olan Random Forest tabanlı SMAC ya da Tree-structured Parzen Estimator (TPE) tercih edilebilir. Bu bağlamda, İbn Haldun‘un toplumsal olayları büyük örneklemler ve tarihsel örüntüler üzerinden analiz etme yaklaşımı, büyük veri setlerinde örüntü çıkarımının önemine dair ilginç bir tarihsel paralellik sunar.
Sonuç olarak, doğru kernel ve acquisition function seçimi, Bayesian Optimizasyonun etkinliğini doğrudan belirler. Uygulayıcıların problem yapısını (süreklilik, periyodiklik, kategorik değişkenler, paralellik ihtiyacı) dikkatle analiz ederek bu bileşenleri seçmesi, hem hesaplama maliyetini düşürür hem de daha az deneme ile daha iyi sonuçlara ulaşılmasını sağlar.
Sık Sorulan Sorular
1. Bayesian Optimizasyon, grid search’ten neden daha verimlidir?
Grid search tüm kombinasyonları kör bir şekilde dener; Bayesian Optimizasyon ise önceki gözlemlerden öğrenerek bir sonraki denemeyi akıllıca seçer, bu da daha az deneme ile daha iyi sonuç demektir.
2. Hangi durumda Matérn kernel, RBF’e tercih edilmelidir?
Gerçek dünya hiperparametre yüzeyleri genellikle RBF’in varsaydığı kadar pürüzsüz olmadığından, Matérn 5/2 kernel çoğu pratik uygulamada daha gerçekçi sonuçlar verir.
3. Expected Improvement ile UCB arasındaki temel fark nedir?
EI, beklenen iyileşme miktarını doğrudan hesaplarken; UCB, belirsizlik ve ortalama tahmini ayarlanabilir bir parametre ile birleştirerek keşif düzeyini kullanıcıya bırakır.
4. Kategorik hiperparametreler Gauss Süreci ile nasıl modellenir?
Kategorik değişkenler için özel kernel yapıları (örneğin Hamming mesafesi tabanlı kernel) veya toplamsal/çarpımsal kernel kombinasyonları kullanılarak sürekli ve kategorik boyutlar birlikte modellenir.
5. Bayesian Optimizasyon büyük veri setlerinde neden yavaşlar?
Gauss Süreçlerinin hesaplama maliyeti gözlem sayısının küpüyle orantılı arttığından, çok sayıda deneme sonrası model güncellemesi ciddi şekilde yavaşlar; bu sorun seyrek GP yaklaşımlarıyla hafifletilebilir.
İleri Okuma Tavsiyeleri
- Rasmussen, C. E. & Williams, C. K. I. — Gaussian Processes for Machine Learning
- Snoek, J., Larochelle, H. & Adams, R. P. — Practical Bayesian Optimization of Machine Learning Algorithms
- Frazier, P. I. — A Tutorial on Bayesian Optimization








