Şehir içi trafik yönetimi, artan araç yoğunluğu ve şehirleşme ile birlikte giderek karmaşıklaşan bir optimizasyon problemi haline gelmiştir. Geleneksel sabit zamanlamalı veya kural tabanlı trafik ışığı kontrol sistemleri, dinamik ve değişken trafik akışlarına yeterince hızlı uyum sağlayamamaktadır. Bu noktada pekiştirmeli öğrenme (reinforcement learning) ve özellikle çok ajanlı pekiştirmeli öğrenme (multi-agent reinforcement learning – MARL) yaklaşımları, her bir kavşağı bağımsız bir karar verici olarak modelleyerek ölçeklenebilir ve adaptif çözümler sunma potansiyeli taşımaktadır.
Trafik Sinyalizasyonunda Neden Multi-Agent Yaklaşım Gerekli
Bir şehirdeki trafik ağı, onlarca hatta yüzlerce kavşaktan oluşur ve her kavşağın kendine özgü trafik dinamikleri vardır. Bu problemi tek bir merkezi ajan ile çözmeye çalışmak, durum uzayının (state space) ve eylem uzayının (action space) kavşak sayısıyla katlanarak büyümesine yol açar. Bu durum “boyutsallık laneti” olarak bilinen bir zorluk yaratır ve merkezi öğrenmeyi pratikte uygulanamaz hale getirir.
Multi-agent yaklaşımda ise her kavşak kendi PPO (Proximal Policy Optimization) ajanı tarafından kontrol edilir. Bu sayede sistem doğal olarak paralelleştirilebilir, yeni kavşaklar eklenebilir ve öğrenme süreci daha yönetilebilir hale gelir. Ancak bu yaklaşımın kendine has zorlukları da vardır; özellikle komşu kavşakların birbirinin trafik akışını etkilemesi, ortam durağan olmama (non-stationarity) problemini ortaya çıkarır.
Independent PPO (IPPO) Mimarisi
Independent PPO, en sade multi-agent yaklaşımdır. Bu yöntemde her kavşak kendi lokal gözlemine (bekleyen araç sayısı, kuyruk uzunluğu, sinyal fazı gibi) dayanarak bağımsız bir politika öğrenir. Diğer ajanlar, ortamın bir parçası gibi ele alınır ve doğrudan iletişim veya koordinasyon mekanizması bulunmaz.
IPPO’nun avantajı uygulama basitliği ve hesaplama verimliliğidir. Her ajan kendi deneyim tamponunu (experience buffer) tutar ve klasik tek ajanlı PPO algoritmasının aynısını çalıştırır. Ancak bu bağımsızlık, komşu kavşaklardaki politika değişikliklerinin diğer ajanların öğrenme sürecini bozmasına neden olabilir. Bir kavşağın politikası değiştiğinde, komşu kavşağın gözlemlediği trafik deseni de değişir; bu da öğrenmeyi istikrarsızlaştırabilir. Buna rağmen ampirik çalışmalar, uygun ödül şekillendirme (reward shaping) ve parametre paylaşımı (parameter sharing) teknikleriyle IPPO’nun büyük ölçekli trafik ağlarında şaşırtıcı derecede iyi performans gösterebildiğini ortaya koymuştur.
Multi-Agent PPO (MAPPO) ve Merkezi Eğitim – Merkezi Olmayan Yürütme
MAPPO, “merkezi eğitim, merkezi olmayan yürütme” (centralized training with decentralized execution – CTDE) paradigmasını benimser. Bu yaklaşımda, eğitim aşamasında her ajanın kritik (critic) ağı, tüm sistemin global durumuna erişebilir; böylece daha doğru bir değer tahmini yapılabilir. Ancak yürütme (inference) aşamasında her ajan yalnızca kendi lokal gözlemini kullanarak karar verir, bu da gerçek dünya uygulanabilirliğini korur.
Bu mimari, trafik ışığı kontrolünde özellikle önemlidir çünkü komşu kavşaklar arasındaki dolaylı koordinasyonu teşvik eder. Örneğin bir kavşaktaki yeşil dalga stratejisi, komşu kavşağın sinyal zamanlamasıyla örtüştüğünde toplam sistem verimliliği artar. MAPPO’nun global kritik ağı, bu tür etkileşimleri öğrenme sürecine dahil ederek ajanların birbirini tamamlayıcı politikalar geliştirmesine olanak tanır.
Ödül Fonksiyonu Tasarımı ve Gözlem Uzayı
Trafik sinyali kontrolünde ödül fonksiyonu tasarımı, öğrenmenin başarısını doğrudan etkiler. Yaygın kullanılan metrikler arasında toplam bekleme süresi, kuyruk uzunluğu, durma sayısı (number of stops) ve kavşak geçiş verimliliği (throughput) yer alır. Bazı çalışmalar, bireysel kavşak ödülü ile komşu kavşakların ödüllerinin ağırlıklı ortalamasını birleştiren hibrit ödül fonksiyonları kullanarak yerel optimizasyon ile küresel koordinasyon arasında denge kurmayı hedefler.
Gözlem uzayı tipik olarak her şerit için bekleyen araç sayısını, ortalama hızı, mevcut sinyal fazını ve faz süresini içerir. SUMO (Simulation of Urban Mobility) ve bu simülatör üzerine inşa edilmiş Flow veya CityFlow gibi araçlar, bu tür multi-agent trafik kontrol araştırmalarında standart simülasyon ortamları haline gelmiştir.
Ölçeklenebilirlik ve Gerçek Dünya Zorlukları
Multi-agent PPO tabanlı sistemlerin gerçek dünyaya aktarılmasında birkaç kritik zorluk vardır. Birincisi, simülasyon ortamındaki idealize edilmiş araç davranışlarının gerçek trafik akışlarındaki stokastikliği tam olarak yansıtmamasıdır (“sim-to-real gap”). İkincisi, iletişim gecikmeleri ve sensör gürültüsü gibi pratik kısıtların modele dahil edilmesi gerekliliğidir. Üçüncüsü ise, farklı büyüklükteki şehir ağlarına genelleme yapabilmek için grafik sinir ağları (graph neural networks) ile PPO’nun birleştirilmesi gibi hibrit mimarilerin geliştirilmesidir; bu sayede model, kavşaklar arasındaki topolojik ilişkileri de öğrenebilir.
Bununla birlikte, parametre paylaşımlı IPPO ve MAPPO yaklaşımlarının, geleneksel aktüatörlü (actuated) sinyal kontrol sistemlerine kıyasla ortalama bekleme sürelerinde belirgin iyileşmeler sağladığı çok sayıda simülasyon çalışmasıyla gösterilmiştir. Bu da multi-agent RL’in akıllı şehir altyapılarında giderek daha fazla benimsenmesinin önünü açmaktadır.
Sık Sorulan Sorular
1. IPPO ile MAPPO arasındaki temel fark nedir?
IPPO’da her ajan tamamen bağımsız öğrenirken, MAPPO eğitim sırasında global bilgiye erişen merkezi bir kritik ağı kullanır ve yürütmede merkezi olmayan kalır.
2. Trafik ışığı kontrolünde hangi simülasyon araçları kullanılır?
En yaygın araçlar SUMO, CityFlow ve bu simülatörler üzerine inşa edilmiş Flow gibi araştırma kütüphaneleridir.
3. Non-stationarity problemi neden önemlidir?
Komşu ajanların politikaları değiştikçe her ajanın gözlemlediği ortam da değiştiği için, klasik tek ajanlı yakınsama garantileri geçerliliğini yitirir.
4. Parametre paylaşımı ne işe yarar?
Benzer kavşaklar arasında politika ağırlıklarını paylaşmak, öğrenme hızını artırır ve örnek verimliliğini iyileştirir.
5. Bu sistemler gerçek şehirlerde uygulanıyor mu?
Şu an çoğunlukla pilot projeler ve simülasyon tabanlı araştırmalar aşamasındadır; tam ölçekli gerçek dünya uygulamaları sınırlıdır.
İleri Okuma Tavsiyeleri ve Kaynaklar:
- Chu, T. et al. “Multi-Agent Deep Reinforcement Learning for Large-Scale Traffic Signal Control” (IEEE Trans. ITS)
- Yu, C. et al. “The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games” (MAPPO makalesi, NeurIPS)
- Wu, C. et al. “Flow: A Modular Learning Framework for Autonomy in Traffic” (SUMO tabanlı RL çerçevesi)








