Büyük Dil Modellerinde Model Sıkıştırma: Sparse ve Pruning (Budama) Algoritmaları

Pruning ve seyreklik algoritmaları, devasa LLM'leri doğruluğu koruyarak küçültür; bellek maliyetini düşürüp çıkarım süreçlerini hızlandırır.

Sparse / Pruning Algoritmaları – Model sıkıştırma için büyük dil modellerinde (LLM) önemsiz ağırlıkları budama

Büyük Dil Modelleri (LLM’ler), milyarlarca hatta trilyonlarca parametreye ulaşarak yapay zekada devrim yaratmıştır. Ancak bu devasa boyutlar, modellerin hem eğitilmesi hem de canlı sistemlerde çalıştırılması (çıkarım/inference) aşamalarında çok ciddi donanım, enerji ve maliyet kısıtlamalarını beraberinde getirir. Milyarlarca parametreye sahip bir modeli standart sunucularda çalıştırmak imkansıza yakın olduğundan, model sıkıştırma (model compression) teknikleri hayati bir önem kazanmıştır. Bu sıkıştırma yöntemlerinin en etkililerinden ikisi, modelin içindeki önemsiz ağırlıkların temizlenmesini sağlayan Pruning (Budama) ve yapay zeka ağını daha seyrek hale getiren Sparse (Seyreklik) mimarileridir.

Pruning (Budama) Nedir?

Pruning, bir yapay sinir ağındaki “önemsiz” veya modelin çıktısına etkisi en az olan ağırlıkların (weights) tespit edilerek kalıcı olarak sıfırlanması veya ağdan tamamen çıkarılması işlemidir. İnsan beyninin çocukluktan yetişkinliğe geçişte kullanmadığı nöron sinapslarını temizlemesine (sinaptik budama) benzeyen bu yöntem, modelin yeteneklerini kaybetmeden çok daha hafif bir yapıya kavuşmasını sağlar.

Budama algoritmaları temelde modelin doğruluğunu (accuracy) minimum düzeyde etkileyecek parametreleri hedef alır. Doğru yapılmış bir budama işlemi, model boyutunu %50 ile %90 arasında azaltabilirken, performans kaybını neredeyse sıfıra yakın tutabilmektedir.

Budama Yöntemleri ve Stratejileri

Ağırlıkları budarken kullanılan stratejiler, modelin donanım üzerindeki çalışma performansını doğrudan etkiler. Bu doğrultuda budama yöntemleri temel olarak iki ana kategoriye ayrılır:

Yapısal Olmayan Budama (Unstructured Pruning)

Bu yöntemde, ağırlık matrisindeki her bir parametre tek tek incelenir. Belirlenen bir eşik değerinin (threshold) altında kalan veya mutlak değeri sıfıra en yakın olan ağırlıklar bağımsız olarak sıfırlanır.

  • Avantajı: Modele en az zarar veren yöntemdir. En önemsiz parametreler nokta atışı seçildiği için modelin doğruluğu neredeyse hiç bozulmaz.
  • Dezavantajı: Matrisin içinde rastgele sıfırlar oluşur. Standart donanımlar (GPU/CPU) ve kütüphaneler, bu tür düzensiz, seyrek (sparse) matrisleri hızlandırmakta zorlanır. Dolayısıyla, teorik olarak model küçülse de özel bir donanım veya yazılım desteği yoksa çıkarım (inference) hızı her zaman artmaz.

Yapısal Budama (Structured Pruning)

Yapısal budama, tek tek ağırlıklar yerine matrisin belirli geometrik yapılarını hedef alır. Dil modellerindeki tüm nöronlar, dikkat kafaları (attention heads), hatta katmanlar (layers) bir bütün olarak sistemden kaldırılır.

  • Avantajı: Matrisin genel yapısı bozulmaz, sadece boyutları küçülür. Bu sayede standart GPU’lar ve mevcut derin öğrenme kütüphaneleri (PyTorch, TensorFlow) hiçbir ek optimizasyona gerek duymadan doğrudan ve anında hız artışı sağlar.
  • Dezavantajı: Bloklar halinde silme işlemi yapıldığı için modelin kritik bazı bilgileri kaybetme riski daha yüksektir. Bu yüzden yapısal budama sonrasında modelin doğruluğu yapısal olmayana göre daha fazla düşebilir.

Sparse (Seyreklik) Algoritmaları ve LLM Dünyasındaki Yeri

Budama işlemi tamamlandığında, matrislerin büyük bölümü sıfırlardan oluşur. Bu durum literatürde Sparsity (Seyreklik) olarak adlandırılır. LLM’lerde seyreklik elde etmek için günümüzde çok gelişmiş algoritmalar kullanılmaktadır. Geleneksel budama yöntemleri, modeli budadıktan sonra uzun süren yeniden eğitim (fine-tuning) süreçleri gerektirir. Ancak yüz milyarlarca parametreli LLM’leri yeniden eğitmek çok maliyetli olduğundan, eğitim gerektirmeyen (post-training) veya veri gereksinimi çok az olan modern seyreklik algoritmaları geliştirilmiştir.
Bunlardan en popüler olanları şunlardır:

SparseGPT

Büyük dil modelleri için geliştirilmiş çığır açıcı bir post-training (eğitim sonrası) budama algoritmasıdır. Sadece birkaç saat içinde ve hiçbir yeniden eğitim süreci gerektirmeksizin, OPT veya BLOOM gibi devasa modelleri %50 oranında seyrek (sparse) hale getirebilir. Algoritma, her katmandaki budama hatasını matematiksel olarak telafi edecek şekilde diğer ağırlıkları dinamik olarak günceller.

Wanda (Pruning by Weights and Activations)

Geleneksel yöntemler sadece ağırlıkların büyüklüğüne odaklanırken, Wanda algoritması hem ağırlık değerini hem de o ağırlığa gelen aktivasyon değerini (girdi sinyalinin gücünü) hesaba katar. LLM’lerde bazı gizli özelliklerin (hidden features) çok yüksek aktivasyon değerlerine sahip olduğu keşfedilmiştir. Wanda, bu aktivasyonlarla çarpılan ağırlıkları koruyarak, veri seti kullanmadan çok hızlı ve etkili bir budama sunar.

Model Budamanın Avantajları ve Zorlukları

Büyük dil modellerinde seyreklik ve budama tekniklerini uygulamak mühendislik açısından hem büyük fırsatlar sunar hem de bazı teknik engeller barındırır.

Avantajlar

  • Düşük Bellek Tüketimi (Memory Footprint): Modelin RAM ve VRAM gereksinimi ciddi oranda düşer. Bu sayede devasa LLM’ler daha ucuz GPU’larda, hatta uç cihazlarda (mobil cihazlar, bilgisayarlar) çalışabilir hale gelir.
  • Maliyet ve Enerji Tasarrufu: Daha az parametre, işlemcilerin daha az enerji harcaması demektir. Veri merkezlerinin işletme maliyetlerini doğrudan aşağı çeker.
  • Hızlı Çıkarım (Inference Speedup): Doğru donanım ve yapısal seyreklik desteğiyle, saniye başına üretilen token (kelime öbeği) sayısı katlanarak artar.

Zorluklar

  • Doğruluk Kaybı (Accuracy Degradation): Budama oranı arttıkça, modelin muhakeme (reasoning) ve dil yeteneklerinde azalmalar görülebilir. Dengeyi kurmak kritik bir mühendislik becerisidir.
  • Donanım Uyumsuzluğu: Yapısal olmayan seyreklik, özel donanım çekirdekleri (örneğin NVIDIA’nın Ampere mimarisi ile gelen 2:4 seyreklik desteği) olmadan gerçek bir hızlanma sağlamayabilir.

Sık Sorulan Sorular (SSS)

1. Budama (Pruning) işlemi modelin zekasını kalıcı olarak düşürür mü?

Eğer budama oranı makul seviyelerde tutulursa (%30-%50 arası) ve modern algoritmalar (SparseGPT, Wanda) kullanılırsa, modelin zekasında ve yanıt kalitesinde gözle görülür bir düşüş yaşanmaz. Ancak %80-90 gibi çok yüksek oranlarda budama yapıldığında modelde bilgi kayıpları ve “halüsinasyon” eğiliminde artış görülebilir.

2. Kuantizasyon (Quantization) ile Budama (Pruning) arasındaki fark nedir?

Kuantizasyon, modelin ağırlıklarının hassasiyetini azaltır (örneğin 16-bit float değerleri 8-bit integer değerlerine dönüştürür). Budama ise hassasiyeti değiştirmeden, gereksiz görülen ağırlıkları tamamen sıfırlar veya sistemden eler. İki yöntem birbirine rakip değil, aksine maksimum sıkıştırma için birlikte kullanılan tamamlayıcı tekniklerdir.

3. Her GPU seyrek (sparse) modelleri hızlı çalıştırabilir mi?

Hayır, her GPU yapısal olmayan rastgele seyreklik içeren matrisleri hızlı işleyemez. Ancak NVIDIA’nın yeni nesil mimarilerinde (A100, H100 vb.) yer alan 2:4 yapısal seyreklik (structural sparsity) desteği gibi özel donanım bileşenleri, bu seyrek matrisleri donanım seviyesinde tanıyarak 2 kata kadar gerçek hız artışı sağlar.

4. Budanmış bir LLM’e sonradan Fine-Tuning yapılabilir mi?

Evet, yapılabilir. Özellikle budama sonrasında modelde oluşan küçük çaplı performans kayıplarını telafi etmek için genellikle kısıtlı bir veri setiyle “Recover Fine-Tuning” (Kurtarma İnce Ayarı) süreci işletilir. Bu süreç modelin kalan ağırlıklarını yeni düzene adapte eder.

5. Sıfırdan seyrek bir model eğitmek mi, yoksa eğitilmiş modeli budamak mı daha mantıklıdır?

Sıfırdan seyrek bir LLM eğitmek (Sparse Training) matematiksel kararsızlıklar nedeniyle oldukça zordur ve yüksek maliyetlidir. Bu nedenle endüstride genel kabul gören pratik yaklaşım; önce büyük ve yoğun (dense) bir modeli eğitmek, ardından Post-Training Pruning yöntemleriyle onu optimize ederek küçültmektir.


İleri Okuma Tavsiyeleri ve Kaynaklar

  • SparseGPT: “SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot” – Elias Frantar & Dan Alistarh (2023). LLM budama alanındaki en temel akademik makalelerden biridir.
  • Wanda: “A Simple and Effective Pruning Approach for Large Language Models” – Mingjie Sun et al. (2023). Aktivasyon ve ağırlık tabanlı hızlı LLM sıkıştırmasını anlatan kaynak.
  • Hugging Face Blog: “Optimizing Models with Sparsity and Pruning” – Büyük dil modellerinin açık kaynaklı kütüphanelerle nasıl sıkıştırılacağına dair pratik rehberler ve teknik dökümanlar.
Osman Bayrak

Osman Bayrak

Girişimci, yapay zeka uzmanı, quant trader, analist, broker, fotoğrafçı...

Makaleler: 416