Özel Ortam Geliştirme: Gymnasium ve PettingZoo ile Oyun Simülasyonları İnşa Etmek

Gymnasium ve PettingZoo, özel oyun ortamları tasarlamak için standart, test edilebilir bir çerçeve sunar.

Pekiştirmeli öğrenme (reinforcement learning) araştırmalarının en kritik aşamalarından biri, ajanın öğreneceği ortamın (environment) doğru şekilde tasarlanmasıdır. OpenAI’nin geliştirdiği ve şu anda Farama Vakfı tarafından sürdürülen Gymnasium kütüphanesi, tek ajanlı sistemler için standart bir arayüz sunarken, PettingZoo çok ajanlı (multi-agent) sistemler için benzer bir standardizasyonu sağlar. Bu iki kütüphane birlikte, akademisyenlerin ve endüstri araştırmacılarının kendi özel oyun ortamlarını hızlıca prototiplemesine imkân tanır.

Gymnasium’un Temel Mimarisi

Gymnasium, her ortamın uyması gereken bir sözleşme (contract) tanımlar. Bir ortam sınıfı, reset() ve step() fonksiyonlarını uygulamak zorundadır. reset() fonksiyonu ortamı başlangıç durumuna döndürürken, step() fonksiyonu bir eylem alır ve gözlem (observation), ödül (reward), bölüm bitişi (terminated), zaman aşımı (truncated) ve ek bilgi (info) döndürür. Bu beşli çıktı yapısı, eski Gym API’sinden farklı olarak “gerçek bitiş” ile “zaman aşımı”nı ayırt etmesiyle önemli bir iyileştirme sunar.

Observation space ve action space tanımları, ortamın kalbini oluşturur. Box, Discrete, MultiDiscrete ve Dict gibi uzay türleri, geliştiricinin problemin doğasına uygun bir temsil seçmesine olanak tanır. Örneğin bir satranç benzeri strateji oyunu için Dict uzayı, tahta durumunu, sıradaki oyuncuyu ve geçerli hamleleri tek bir yapı altında toplayabilir.

Özel Ortam Geliştirme Adımları

Kendi oyun ortamınızı sıfırdan geliştirirken izlenmesi gereken sistematik bir yol vardır:

1. Durum temsilini tanımlama — Oyunun iç durumunu (tahta, envanter, sağlık puanı vb.) hangi veri yapısıyla tutacağınıza karar verin.

2. Eylem uzayını sınırlama — Ajanın hangi eylemleri gerçekleştirebileceğini net biçimde belirleyin; gereksiz geniş eylem uzayları öğrenmeyi zorlaştırır.

3. Ödül fonksiyonunu tasarlama — Ödül şekillendirme (reward shaping), ajanın istenen davranışa doğru yönlendirilmesinde belirleyicidir. Çok seyrek (sparse) ödüller öğrenmeyi yavaşlatırken, aşırı yoğun ödüller istenmeyen kısayol davranışlarına (reward hacking) yol açabilir.

4. Bölüm sonlandırma mantığını kurma — Oyunun ne zaman bittiğini (kazanma, kaybetme, zaman aşımı) açıkça tanımlamak gerekir.

5. Görselleştirme (render) fonksiyonunu ekleme — Hata ayıklama ve sunum amaçlı, render_mode parametresiyle insan gözlemine uygun bir çıktı üretmek geliştirme sürecini büyük ölçüde kolaylaştırır.

PettingZoo ile Çok Ajanlı Sistemlere Geçiş

Tek ajanlı Gymnasium API’si, birden fazla ajanın etkileşimde bulunduğu oyunları (satranç, poker, takım tabanlı stratejiler) modellemek için yetersiz kalır. PettingZoo bu boşluğu, AEC (Agent Environment Cycle) ve Parallel olmak üzere iki farklı API paradigmasıyla doldurur.

AEC API, ajanların sırayla hareket ettiği oyunlar için idealdir; her adımda yalnızca bir ajan eylem gerçekleştirir ve bu durum döngüsel bir yapı içinde ilerler. Satranç, dama veya kart oyunları bu modele doğal biçimde uyar. Parallel API ise tüm ajanların aynı anda eylem gerçekleştirdiği ortamlar (gerçek zamanlı strateji oyunları gibi) için tasarlanmıştır; burada tüm ajanların eylemleri eş zamanlı olarak toplanır ve ortam tek seferde ilerletilir.

PettingZoo’nun sunduğu API testleri (api_test fonksiyonu), geliştirilen özel ortamın kütüphane standartlarına uygunluğunu otomatik olarak doğrular; bu, özellikle akademik yayın öncesi tekrarlanabilirlik açısından değerlidir.

Performans ve Vektörleştirme

Büyük ölçekli eğitimlerde tek bir ortam örneği yetersiz kalır. Gymnasium’un VectorEnv sınıfı, birden çok ortam kopyasını paralel çalıştırarak örnekleme verimliliğini artırır. Bu yaklaşım, özellikle PPO (Proximal Policy Optimization) gibi politika gradyanı algoritmalarında eğitim süresini ciddi biçimde kısaltır. Özel ortam geliştirirken step() fonksiyonunun hesaplama maliyetini düşük tutmak, vektörleştirilmiş eğitimde darboğaz oluşmasını önler.

Sistematik Gözlem ve Bilgi Üretimi

İbn Haldun’un Mukaddime‘sinde ortaya koyduğu, olguları tekrar eden düzenler içinde gözlemleyerek genel yasalara ulaşma yöntemi, aslında pekiştirmeli öğrenmenin temel mantığıyla ilginç bir paralellik taşır: ajan da tekrarlanan deneyimler (episode’lar) üzerinden örüntü çıkarımı yaparak politikasını iyileştirir. Bu benzetme, özel ortam tasarımının yalnızca teknik bir mühendislik işi değil, aynı zamanda “hangi düzenliliklerin öğrenilebilir olduğu” sorusuna dair epistemolojik bir tasarım kararı olduğunu hatırlatır. İyi tasarlanmış bir ortam, ajanın anlamlı örüntüleri ayırt edebileceği yeterli gözlemlenebilirlik (observability) sunmalıdır; aksi halde kısmi gözlemlenebilir ortamlarda (POMDP) öğrenme ciddi biçimde zorlaşır.

Test ve Doğrulama Pratikleri

Geliştirilen ortamın doğru çalıştığını garanti altına almak için birim testleri yazmak, rastgele politika ile ortamı çalıştırıp beklenmedik durum patlamalarını (state explosion) kontrol etmek ve ödül dağılımının makul aralıkta kaldığını doğrulamak kritik adımlardır. Ayrıca check_env() gibi yardımcı fonksiyonlar, Gymnasium/Stable-Baselines3 ekosistemiyle uyumluluğu erken aşamada tespit etmeye yardımcı olur.

Sık Sorulan Sorular

1. Gymnasium ile eski Gym kütüphanesi arasındaki temel fark nedir?
Gymnasium, done bayrağını terminated ve truncated olarak ikiye ayırarak gerçek bölüm bitişi ile zaman aşımını birbirinden ayırt eder; ayrıca aktif olarak sürdürülen resmi haleftir.

2. AEC ve Parallel API’den hangisini seçmeliyim?
Oyununuz sıra tabanlıysa (turn-based) AEC, tüm ajanlar eş zamanlı hareket ediyorsa Parallel API tercih edilmelidir.

3. Ödül şekillendirme yaparken nelere dikkat edilmeli?
Ödülün nihai hedefle uyumlu olmasına ve ajanın istenmeyen kısayollar bulmasına izin vermeyecek şekilde tasarlanmasına dikkat edilmelidir.

4. Özel ortamımı diğer araştırmacılarla paylaşmak için ne yapmalıyım?
Ortamı bir Python paketi olarak pip üzerinden dağıtabilir ve Gymnasium’un register() fonksiyonuyla kayıt altına alabilirsiniz.

5. Kısmi gözlemlenebilir ortamlar (POMDP) için özel bir yaklaşım gerekir mi?
Evet; bu tür ortamlarda genellikle tekrarlayan sinir ağları (RNN) veya durum geçmişini biriktiren gözlem tamponları kullanmak öğrenmeyi kolaylaştırır.


İleri Okuma Tavsiyeleri

  1. Farama Foundation, Gymnasium Documentation (gymnasium.farama.org)
  2. Terry, J. et al., PettingZoo: Gym for Multi-Agent Reinforcement Learning (NeurIPS, 2021)
  3. Sutton, R. & Barto, A., Reinforcement Learning: An Introduction (MIT Press)
Osman Bayrak

Osman Bayrak

Girişimci, yapay zeka uzmanı, quant trader, analist, broker, fotoğrafçı...

Makaleler: 416