AutoML – Kendi NAS (Neural Architecture Search) Implementasyonunuzu Yazma

AutoML ve NAS ile kendi sinir ağı mimarilerinizi otomatik tasarlayın; zaman kazanın, performans artırın. Basit kodlarla başlayıp ileri yöntemlere geçin.

AutoML (Automated Machine Learning), makine öğrenmesi süreçlerini otomatikleştirerek veri bilimcilerin ve mühendislerin iş yükünü büyük ölçüde azaltan devrim niteliğinde bir yaklaşımdır. Bu alanın en heyecan verici bileşenlerinden biri Neural Architecture Search (NAS)‘tır. NAS, sinir ağı mimarilerini manuel olarak tasarlamak yerine, algoritmaların otomatik olarak en iyi yapıları keşfetmesini sağlar. Bu makalede, AutoML kavramını, NAS’ın temel prensiplerini ve kendi NAS implementasyonunuzu sıfırdan nasıl yazabileceğinizi detaylıca ele alacağız. Özellikle pratik kod örnekleri ve adım adım rehberle, konuyu erişilebilir kılacağız.

AutoML Nedir ve Neden Önemlidir?

AutoML, makine öğrenmesi boru hattının (data preprocessing, feature engineering, model selection, hyperparameter tuning ve deployment) büyük kısmını otomatik hale getirir. Geleneksel yaklaşımlarda uzmanlar saatlerce hiperparametreleri denemek zorunda kalırken, AutoML bu süreci optimize eder. NAS ise AutoML’nin alt kümesi olarak, özellikle derin öğrenmede sinir ağı topolojisini (katmanlar, bağlantılar, operatörler) otomatik tasarlar.

Avantajları:

  • Zaman tasarrufu: Haftalar süren deneyleri günlere indirir.
  • Daha iyi performans: İnsan sezgisinin ötesinde mimariler keşfeder (örneğin EfficientNet).
  • Erişilebilirlik: Derin öğrenme uzmanı olmayanlar için güçlü modeller üretir.

Zorlukları: Yüksek hesaplama maliyeti (binlerce GPU saati) ve büyük arama uzayı.

Neural Architecture Search (NAS) Temelleri

NAS üç ana bileşenden oluşur:

  1. Arama Uzayı (Search Space): Olası mimarilerin tanımlandığı küme. Hücre tabanlı (cell-based), makro veya mikro arama uzayları kullanılır.
  2. Arama Stratejisi (Search Strategy): Mimariyi keşfetmek için kullanılan algoritma (Reinforcement Learning, Evolutionary Algorithms, Gradient-based).
  3. Performans Tahmini (Performance Estimation): Mimariyi değerlendirme yöntemi (tam eğitim, weight-sharing, proxy modeller).

Önemli NAS Yaklaşımları:

  • Reinforcement Learning (RL): Bir controller (RNN) mimarileri örnekler, ödül olarak doğruluk alır (NASNet).
  • Evolutionary Algorithms: Genetik algoritmalarla mutasyon ve crossover.
  • Differentiable NAS (DARTS): Mimari parametrelerini sürekli hale getirerek gradient descent ile optimize eder. Daha verimli.

Kendi Basit NAS Implementasyonunuzu Yazma

Kendi NAS’ınızı implement etmek için PyTorch veya TensorFlow kullanabilirsiniz. Basit bir örnekle başlayalım: Küçük bir hücre tabanlı arama uzayında rastgele arama (Random Search) yapacağız. Bu, ileri seviye yöntemlere temel oluşturur.

Adım 1: Arama Uzayını Tanımlama

Bir hücrede olası operatörleri (conv3x3, conv5x5, pooling vb.) ve bağlantıları tanımlayın.

import torch
import torch.nn as nn
import random

class NASCell(nn.Module):
    def __init__(self, operations):
        super().__init__()
        self.ops = operations  # Örnek: ['conv3', 'conv5', 'pool']

    def forward(self, x):
        # Rastgele seçilen operatörleri uygula
        op = random.choice(self.ops)
        if op == 'conv3':
            return nn.Conv2d(..., kernel_size=3)(x)
        # ... diğer operatörler
        return x

Adım 2: Mimari Örnekleme ve Eğitim

def sample_architecture(num_cells=5):
    return [random.choice(['normal', 'reduction']) for _ in range(num_cells)]

def train_and_evaluate(arch, dataset, epochs=5):
    model = build_model_from_arch(arch)  # Mimariye göre model oluştur
    optimizer = torch.optim.Adam(model.parameters())
    # Eğitim döngüsü...
    accuracy = evaluate(model, val_loader)
    return accuracy

Random Search Örneği:

best_acc = 0
best_arch = None
for _ in range(100):  # 100 mimari dene
    arch = sample_architecture()
    acc = train_and_evaluate(arch, cifar10)
    if acc > best_acc:
        best_acc = acc
        best_arch = arch
print("En iyi mimari:", best_arch)

Bu temel yapı, 100-1000 mimari değerlendirerek çalışır. Gerçek projelerde weight-sharing (ENAS) veya one-shot NAS ile maliyeti düşürün.

İleri Seviye Implementasyon Teknikleri

DARTS Implementasyonu:
DARTS, arama uzayını softmax ile yumuşatarak differentiable yapar. Kodu şu şekildedir:

  • Sürekli mimari parametreleri (alpha) tanımlayın.
  • İleri geçişte ağırlıklı operatör karışımı kullanın.
  • Validation loss’a göre alpha‘yı optimize edin.

Kod Snippet (basitleştirilmiş):

class MixedOp(nn.Module):
    def __init__(self):
        super().__init__()
        self.ops = nn.ModuleList([op() for op in candidate_ops])
        self.alpha = nn.Parameter(torch.zeros(len(candidate_ops)))

    def forward(self, x):
        weights = torch.softmax(self.alpha, dim=0)
        return sum(w * op(x) for w, op in zip(weights, self.ops))

Bu yöntem, arama maliyetini dramatik şekilde azaltır. PyTorch‘ta DARTS kütüphaneleriyle entegre edilebilir.

Evolutionary NAS:
Genetik algoritma kütüphaneleri (DEAP) kullanın. Popülasyonu başlatın, fitness (doğruluk + latency) hesaplayın, crossover ve mutation uygulayın.

Verimlilik İyileştirmeleri:

  • Proxy Tasks: Küçük dataset veya daha az epoch ile tahmin.
  • Multi-Fidelity: Düşük çözünürlükte başla, yüksekte bitir.
  • Hardware-Aware NAS: Latency, enerji tüketimini objective’e ekleyin (örneğin MobileNet için).

Pratik Öneriler ve Araçlar

Kendi implementasyonunuzu yazarken:

  • Kütüphaneler: NASLib, Auto-Keras, NNI (Microsoft), PyGlove.
  • Benchmarklar: NAS-Bench-201, CIFAR-10, ImageNet.
  • Donanım: GPU/TPU şart. Bulut (Google Colab, AWS) kullanın.
  • Kod Organizasyonu: Modüler tutun (search_space.py, optimizer.py, trainer.py).

Potansiyel Tuzaklar:

  • Overfitting arama uzayına.
  • Yüksek varyanslı sonuçlar → Seed sabitleme ve birden fazla run.
  • Maliyet → Early stopping ve predictor modeller (performansı tahmin eden surrogate models).

Gerçek Dünya Uygulamaları

NAS, otonom araçlar, tıbbi görüntüleme, NLP modelleri (Transformer arama) ve mobil uygulamalarda kullanılır. Google’ın AutoML Vision ve EfficientNet serisi NAS’ın gücünü gösterir. Kendi implementasyonunuzla özel domain’lerde (tarım, üretim) özelleştirilmiş modeller üretebilirsiniz.


Sık Sorulan Sorular (SSS)

S1: NAS implement etmek için ne kadar hesaplama kaynağı gerekir?
Cevap: Basit random search için tek GPU yeterli olabilir, ancak tam NAS (ImageNet) binlerce GPU-saati ister. Weight-sharing ve DARTS ile maliyeti 10-100 kat düşürebilirsiniz.

S2: Kendi NAS’ım RL mi yoksa Evolutionary mu olmalı?
Cevap: RL güçlü ancak kararsızdır. Başlangıç için Evolutionary veya DARTS önerilir. Göreve göre test edin.

S3: NAS sonuçları reproducible (tekrarlanabilir) mi?
Cevap: Seed kontrolü, deterministik işlemler ve benchmark dataset’lerle evet. Ancak arama doğası gereği stochastic’tir.

S4: AutoML’de NAS dışında ne var?
Cevap: Hyperparameter Optimization (Bayesian, Hyperband), Auto Feature Engineering ve Auto Ensemble.

S5: Başlangıç seviyesi geliştirici NAS yazabilir mi?
Cevap: Evet! PyTorch temel bilgisiyle random search ve basit hücrelerden başlayın. Açık kaynak kodları inceleyin.


İleri Okuma Tavsiyeleri ve Kaynaklar:

  1. “Neural Architecture Search: A Survey” (JMLR 2020) – https://www.jmlr.org/papers/volume20/18-598/18-598.pdf
  2. AutoML.org NAS Overview – https://www.automl.org/nas-overview/
  3. NASLib GitHub Repo (pratik kodlar için) – https://github.com/automl/NASLib
Osman Bayrak

Osman Bayrak

Girişimci, yapay zeka uzmanı, quant trader, analist, broker, fotoğrafçı...

Makaleler: 416