Olay Tabanlı Kameralar (Event-Based Cameras) ve Nöromorfik Görüş

Olay Tabanlı Kameralar ve Ultra Hızlı Görüş

Özellik ne işe yarar?

Akıllı telefonlarımızda ve otonom araçlarda kullandığımız geleneksel kameralar, saniyede 30 veya 60 kez (fps) deklanşör kapatarak tüm manzaranın fotoğrafını (kareler – frames) çeker. Ancak çekilen manzaranın yüzde 90\’ı sabit olsa bile kamera her karede tüm pikselleri gereksiz yere tekrar tekrar kaydeder, bu durum veri yığılmasına, hareket bulanıklığına (motion blur) ve loş ışıkta körleşmeye neden olur. İnsan gözünden ilham alan Olay Tabanlı Kameralar (Event-Based Cameras veya Nöromorfik Kameralar), kare (frame) yakalamaz. Bunun yerine, sensördeki her bir piksel birbirinden bağımsız olarak çalışır ve sadece kendi üzerindeki ışık yoğunluğunda bir \’değişim\’ (hareket veya olay) olduğunda anında sinyal gönderir. Eğer sahne sabitse hiçbir veri üretilmez. Bu mimari, kameralara mikrosaniyeler seviyesinde (saniyede 1 milyon fps eşdeğerinde) hız kazandırarak hareket bulanıklığını tamamen yok eder. Işığa duyarlılıkları olağanüstü olan bu sensörler (High Dynamic Range), karanlık bir tünelden parlak güneş ışığına aniden çıkan otonom bir arabanın gözünün kamaşmasını engeller ve endüstriyel üretim bantlarındaki sesten hızlı uçan mermileri veya en küçük üretim hatalarını bile sıfır işlemci yüküyle eş zamanlı olarak takip edebilir.

Nasıl uygulanır?

Olay tabanlı kamera donanımlarını (örneğin Prophesee veya inivation ürünleri) robotik sisteminize veya makine vizyonu projenize entegre etmek için yazılım paradigmanızı değiştirmeniz gerekir. Çıktı bir video dosyası (MP4) veya piksellerden oluşan bir matris (RGB resim) değil, zamansal, konumsal (x,y) ve ışık polaritesi barındıran asenkron bir veri akışıdır (Spike streams). Bu veri yapısını işlemek için standart Evrişimli Sinir Ağları (CNN) yerine, Olay Tabanlı Görüş Kütüphaneleri (örneğin açık kaynaklı Metavision Intelligence Suite) veya Sivri Uçlu Sinir Ağları (SNN) ile uyumlu nöromorfik algoritmalar kullanın. Sensör sadece kenar hatlarını ve hareket vektörlerini verdiğinden, nesne tanıma (object detection) ve SLAM (Eş Zamanlı Konumlandırma ve Haritalama) algoritmalarını doğrudan bu olay noktaları üzerinden (event point clouds) eğitin.

İyi sonuç için ipuçları

Nöromorfik kameraların veri çıktısı, hareket olmayan ortamlarda sıfıra yakın olduğu için enerji tasarrufu muazzamdır; bu nedenle bu teknolojiyi özellikle drone\’lar veya pille çalışan AR/VR gözlükleri gibi düşük güç kısıtlaması (low-power) olan uç nokta (edge) cihazlarında konumlandırın. Sensörler hareketi algıladığı için, kamera tamamen sabit bir şekilde duruyorsa durağan nesneleri (örneğin duran bir yayayı) göremez. Bu durumu aşmak için kameranın kendisine ufak, düzenli mikroskobik titreşimler (microsaccades – insan gözündeki seğirmeler gibi) ekleyerek durağan sahneleri de haritalandırabilmesini sağlayın.

Dikkat edilmesi gerekenler

Olay tabanlı sensörlerin doğal çıktısı siyah-beyaz nokta bulutları veya renkli vektörler şeklindedir, klasik renkli fotoğraf sunmazlar; eğer kullanıcıların veya güvenlik görevlilerinin renkleri (örneğin kırmızı trafik ışığı) görmesi gerekiyorsa, klasik RGB kameralarla olay tabanlı kameraların aynı eksende çalıştığı hibrit (sensor fusion) sistemleri tercih edin. Veri işleme hızı gereksinimleri için FPGA tabanlı aracı kontrolcüler kullanarak, olay akışlarının veri yollarında darboğaz (bottleneck) oluşturmasını önleyin.