Reinforcement Learning ile Kod Optimizasyonu: Derleyici Pass Sıralaması ve Bellek Tahsisini Öğrenen Ajanlar

Pekiştirmeli öğrenme, derleyicilerin karmaşık pass sıralamalarını ve sistemlerin dinamik bellek yönetimini statik sezgiseller yerine, kodun yapısını anlayıp dinamik olarak öğrenen akıllı ajanlarla optimize ederek yazılım performansında yeni bir çağ açmaktadır.

Geleneksel derleyici optimizasyonu ve sistem seviyesindeki kaynak yönetimi, onlarca yıldır insan yapımı sezgisel yöntemlere (heuristics) dayanmaktadır. Ancak modern donanımların karmaşıklığı ve yazılım algoritmalarının dinamik yapısı, statik kuralların sınırlarına ulaşmasına neden olmuştur. İşte bu noktada Pekiştirmeli Öğrenme (Reinforcement Learning – RL), deterministik algoritmaların yetersiz kaldığı geniş arama uzaylarında en optimum çözümü kendi kendine deneyimleyerek bulan devrimsel bir yaklaşım olarak karşımıza çıkmaktadır.

Bu yazıda, RL ajanlarının derleyici optimizasyon süreçlerinde (özellikle pass sıralaması) ve dinamik bellek tahsisinde nasıl kullanıldığını, bu sistemlerin mimari altyapısını ve gelecekte yazılım dünyasını nasıl şekillendireceğini derinlemesine inceleyeceğiz.

Derleyici Optimizasyonu ve Pass Sıralaması Problemi (Phase Ordering)

Bir kaynak kod derlenirken (örneğin LLVM veya GCC mimarilerinde), kod önce ara bir temsile (Intermediate Representation – IR) dönüştürülür. Derleyici, bu IR üzerinde kodu hızlandırmak, ara bellek tüketimini azaltmak veya dosya boyutunu küçültmek için “pass” (geçiş) adı verilen bir dizi optimizasyon adımı uygular. Bu adımlar arasında ölü kod temizleme (Dead Code Elimination), döngü açma (Loop Unrolling) ve sabit yayılımı (Constant Propagation) gibi onlarca farklı teknik bulunur.

Optimizasyon Sıralamasının Karmaşıklığı

Problem, bu pass’lerin hangi sıra ile uygulanacağı noktasında başlar. Bir optimizasyon pass’i, kendisinden sonraki pass için yeni fırsatlar yaratabileceği gibi, başka bir optimizasyonun önünü de kapatabilir. N adet pass bulunan bir derleyicide, olası sıralamaların kombinasyonu N! veya tekrarlı kullanımlarla sonsuza yakın bir arama uzayı (N^k) oluşturur. Geleneksel derleyiciler bu sorunu -O2 veya -O3 gibi sabit, insan tarafından yıllar içinde optimize edilmiş statik dizilimlerle çözer. Ancak bu sabit dizilimler, her kod bloğu için hiçbir zaman teorik en iyi sonucu (global optimum) vermez.

RL Ajanının Pass Sıralamasını Öğrenmesi

Reinforcement Learning, bu devasa arama uzayını bir Markov Karar Süreci (MDP) olarak modeller:

  • Durum (State): Kodun o anki IR (Intermediate Representation) yapısı, döngü sayısı, talimat (instruction) karması ve kontrol akış grafiği (CFG) özellikleridir.
  • Aksiyon (Action): Uygulanacak bir sonraki optimizasyon pass’idir (Örn: Döngü açma aksiyonu).
  • Ödül (Reward): Kodun çalışma süresindeki (execution time) azalma, üretilen makine kodunun boyut küçülmesi veya saat çevrimi (clock cycle) kazancıdır.
    Ajan, farklı kod blokları üzerinde binlerce kez deneme-yanılma yaparak, hangi kod yapısına hangi optimizasyon sırasının en yüksek performansı getireceğini Deep Q-Networks (DQN) veya Proximal Policy Optimization (PPO) gibi algoritmalarla öğrenir. Google’ın yürüttüğü Compiler Gym ve MLGO projeleri, RL ajanlarının LLVM pass sıralamasında insan yapımı sezgiselleri geride bırakarak %5 ile %15 arasında değişen kalıcı performans artışları sağlayabildiğini kanıtlamıştır.

Dinamik Bellek Tahsisi (Memory Allocation) ve RL

Yazılım performansını doğrudan etkileyen bir diğer kritik alan ise bellek yönetimidir. malloc ve free gibi dinamik bellek tahsis fonksiyonları, işletim sistemi ve çalışma zamanı (runtime) seviyesinde ciddi bir yük oluşturur. Geleneksel bellek yöneticileri (jemalloc, tcmalloc), genel senaryolarda iyi çalışacak şekilde tasarlanmış sabit stratejilere sahiptir.

Bellek Parçalanması ve Gecikme Problemi

Spesifik bir veri tabanı motoru veya yoğun mikro servis mimarisi, genel senaryolardan çok farklı bellek tüketim kalıplarına (pattern) sahip olabilir. Sabit kurallar, yüksek oranda bellek parçalanmasına (fragmentation) veya önbellek kaçırmalarına (cache miss) yol açarak sistemlerin yavaşlamasına neden olur.

Akıllı Bellek Yönetimi Ajanları

RL ajanı, çalışan bir uygulamanın bellek talep geçmişini ve anlık yük durumunu gözlemleyerek bir strateji geliştirir:

Durum Temsili ve Karar Mekanizması

Ajanın çevre ile etkileşimi şu parametreler üzerinden şekillenir:

  • Durum (State): Son T zaman dilimindeki bellek tahsis boyutları, nesne ömür döngüsü tahminleri, anlık sayfa hataları (page faults) ve CPU önbellek doluluk oranları.
  • Aksiyon (Action): Bellek havuzunun (pool) genişletilmesi/daraltılması, ardışık bellek bloklarının birleştirilmesi veya belirli nesnelerin heap yerine stack üzerinde tutulması kararı.
  • Ödül (Reward): Minimum bellek tüketimi (overhead), sıfıra yakın fragmantasyon ve bellek tahsis operasyonunun nanosaniye cinsinden harcadığı süre.
    Özellikle sürekli çalışan bulut tabanlı servislerde, RL tabanlı bir bellek yöneticisi zaman içinde uygulamanın yük haritasını ezberler. Yoğun istek gelmeden milisaniyeler önce bellek havuzunu hazır hale getirerek sistem gecikmelerini (latency tail) radikal bir şekilde düşürür.

RL Tabanlı Optimizasyonun Zorlukları ve Çözüm Yolları

Bu yaklaşım teoride kusursuz görünse de pratik mühendislikte büyük zorluklar barındırır.

Derleme Süresi ve Eğitimin Maliyeti

Bir RL ajanını eğitmek milyonlarca iterasyon gerektirir. Her iterasyonda kodun yeniden derlenmesi ve test edilmesi (özellikle gömülü sistemlerde) simülasyon sürecini aşırı derecede yavaşlatır. Bu durum, çevrimdışı pekiştirmeli öğrenme (Offline RL) yöntemleri ve kod özelliklerini doğrudan vektörleştiren gelişmiş grafik sinir ağları (GNN) kullanılarak aşılmaya çalışılmaktadır.

Güvenilirlik ve Doğruluk (Correctness)

Bir yapay zeka ajanının kodu optimize ederken programın mantıksal çıktısını değiştirmemesi (miscompilation yapmaması) şarttır. Bu doğrulamayı sağlamak adına, ajanın seçebileceği aksiyon uzayı derleyicinin sadece güvenli olduğu kanıtlanmış pass’leri ile sınırlandırılır. Ajan kodun mantığına dokunamaz, sadece derleyicinin yasal sınırları içinde oyun oynar.


Sık Sorulan Sorular

1. RL tabanlı derleyici optimizasyonu her derleme işleminde kodu sıfırdan mı öğrenir?

Hayır. Ajan, binlerce farklı açık kaynak kodlu proje üzerinde önceden eğitilir (pre-training). Dağıtık aşamada, ajan yeni gördüğü bir koda benzer eski kalıpları hatırlayarak doğrudan en iyi optimizasyon sırasını tahmin eder (inference). Sadece çok spesifik ve benzersiz kod yapıları için yerinde ince ayar (fine-tuning) gerekebilir.

2. Bu yöntem geleneksel -O3 bayrağından ne kadar daha avantajlıdır?

-O3 genel geçer en iyi senaryoyu hedeflerken, RL tabanlı yaklaşım hedeflenen spesifik donanım mimarisine (örn: belirli bir ARM veya x86 işlemci çekirdeği) ve spesifik kod yapısına özel terzi usulü optimizasyon yapar. Bu da standart optimizasyonların tıkandığı yerlerde ekstradan %10’a varan performans kazanımı sağlayabilir.

3. Kod optimizasyonunda neden denetimli öğrenme (Supervised Learning) yerine RL tercih ediliyor?

Çünkü kod optimizasyonunda “en mükemmel etiketli veri seti” (ground truth) mevcut değildir. Bir kod için teorik olarak en optimum pass sırasının ne olduğunu insanlar da bilmemektedir. RL, bir öğretmene ihtiyaç duymadan, sadece deneme-yanılma ve ödül mekanizması sayesinde insanların keşfedemediği sıra dışı kombinasyonları bulabilir.

4. Bellek tahsisinde RL kullanmak ek bir CPU yükü (overhead) yaratmaz mı?

Evet, yaratır. Bir sinir ağının anlık karar vermesi (inference) ek bir işlem gücü gerektirir. Bu sorunu aşmak için büyük yapay zeka modelleri sadece arka planda strateji belirlemek (policy update) için kullanılır. Üretilen bu stratejiler, çalışma zamanında (runtime) mikro saniyeler içinde çalışan çok hafif kararları yönlendiren basit arama tablolarına (lookup tables) dönüştürülür.

5. Bu teknolojiler şu an endüstride aktif olarak kullanılıyor mu?

Evet, özellikle büyük teknoloji devleri tarafından kullanılmaktadır. Google, LLVM derleyicisi içerisinde yerel olarak çalışan AI tabanlı optimizasyon motoru MLGO‘yu (Machine Learning Guided Compiler Optimizations) geliştirmiştir ve bunu kendi üretim sistemlerindeki bazı büyük servislerin kodlarını optimize etmek için aktif olarak kullanmaktadır.


İleri Okuma Tavsiyeleri ve Kaynaklar

  • “MLGO: An Infrastructure for Training Industrial-Scale ML-Driven Compiler Optimizations” – Google Research (Müşterek çalışma, LLVM entegrasyonu üzerine temel makale).
  • “CompilerGym: Robust, Easy-to-Use Reinforcement Learning Environments for Compiler Optimizations” – Meta AI Research (RL ajanları geliştirmek için açık kaynaklı simülasyon ortamı belgesi).
  • “Reinforcement Learning for Dynamic Memory Allocation in Real-Time Systems” – IEEE Software / Computer Society (Sistem seviyesinde bellek yönetimi ve RL uygulamaları üzerine akademik inceleme).
Osman Bayrak

Osman Bayrak

Girişimci, yapay zeka uzmanı, quant trader, analist, broker, fotoğrafçı...

Makaleler: 416