Görme Engelliler için Çevresel Farkındalık Gözlüğü

Herkese merhaba. Başlıkta okuduğunuz tipte bir cihaz üzerinde çalışıyorum. Şu anlık çok basit çevresel farkındalık fonksiyonları var. Titreşim motorlarıyla engellerin kullanıcıya yaklaşık uzaklıklarını, kulaklıklarla da engellerin (tehlike oluşturabilecek bir engelse sadece) türlerini bildirebiliyorum. Ancak bu noktada da oldukça optimizasyon çalışması yapmam gerekiyor. Çalışma yöntemi şu şekilde:

1. Raspberry Pi, açıldığında uzak makineye düşük gecikmeli görüntü yayını başlatıyor (~200ms)
2. Görüntüyü alan uzak makine, nesne algılama yapıyor (~20ms)
3. Nesne algılama sonucunda ortaya çıkan nesne türü ve nesnenin pixel düzlemindeki konumu önceden düzenlenmiş bir iki boyutlu düzlem (araç park kameralarındaki gibi) ile karşılaştırılarak yaklaşık bir uzaklık tanımı yapıyor
4. Bu uzaklık tanımına göre Raspberry Pi titreşim motorlarıyla geri bildirim veriyor.
   

Tübitak projesi olarak yaptığım bu cihaz kendi cephesinde pek de olumlu sonuç veremedi, dolayısıyla bağımsız bir şekilde geliştirip hiç değilse amacına ulaştırmaya karar verdim. Şu anlık yapmak istediğim geliştirmeler şunlar:

1. 200ms'lik gecikmenin azaltılması,
   1. Server tarafını Tensorflow Lite kullanarak mobil cihazlara taşımayı düşünüyorum.
   2. Daha verimli bir DNN eğiterek hem daha öncelikli nesnelerin algılanmasını hem de süreci kısaltmayı düşünüyorum.
2. Google Asistan ve Maps desteği eklenmesi,
3. Uzaklık tanımı için ToF (Time of Flight) sensörü eklenmesi veya jiroskop kullanılarak 2 boyutlu düzlemin kullanıcının bakış açısına göre dinamikleştirilmesi,
4. Kulaklık yerine kemik iletimli sesli geri bildirim kullanılması,
5. Tasarımda belirli geliştirmeler*
6. Hızlı ve kablosuz şarj implementasyonu

Bu konuda sizin de geri bildirimlerinizi bekliyorum. Kullanışlı olacağını düşündüğünüz bir özellik varsa yazabilirsiniz. Proje adam gibi çalışır hale geldiğince zaten açık kaynaklı olacak. Şu anda cihazın toplam fiyatı yaklaşık 200 TL. Parça olarak da Raspberry Pi Zero W, titreşim motorları, kamera, pil ve şarj devresi kullanılıyor. Tüm fiziksel yapı 3D yazıcıdan çıkarılmış durumda. Şimdiden teşekkürler.

Çalışmanın gelişmesini ve dallanmasını görmek isterim. Kolay gelsin tüm çalışmalarında. ancak düşük ışık veya yoğun hareket anlarında (şehir meydanları) nasıl bir iletişim yapmayı planlıyorsun? Ayrıca merakımın yanında raspery gibi büyük bir cihaz yerine i2c üzeinden iletişim kurabilen bir micro işlemci ile ve usb ye buffer yaparak daha da küçültme yoluna gidebilirsin gibi hissediyorum. Hem de veri işleme hızını daha kısa sürede halledebilirsin.

mabik1 dedi:

Çalışmanın gelişmesini ve dallanmasını görmek isterim. Kolay gelsin tüm çalışmalarında. ancak düşük ışık veya yoğun hareket anlarında (şehir meydanları) nasıl bir iletişim yapmayı planlıyorsun? Ayrıca merakımın yanında raspery gibi büyük bir cihaz yerine i2c üzeinden iletişim kurabilen bir micro işlemci ile ve usb ye buffer yaparak daha da küçültme yoluna gidebilirsin gibi hissediyorum. Hem de veri işleme hızını daha kısa sürede halledebilirsin.

Genişletmek için tıkla...

Düşük ışık için kızılötesi kamera ve aydınlatma düşündüm. Gayet iyi çalıştı ama kameraların daha yüksek fiyatı ve ışıklandırmanın boyutu yüzünden pek ileri gitmedim. Yoğun hareket durumunda da gecikmeyi azaltmamın yeteli olacağını düşünüyorum. Şuan kare başına toplam 250ms gibi bir gecikme var. Bunu ne kadar azaltırsam gerçek zamanlı olarak bir saniye içinde o kadar görsel işleyebilirim. Başka microişlemcilere de şimdi bakıyorum. Raspberry Pi Zero düşük fiyatıyla yardımcı oluyor, ancak sanırım daha ucuz alternatifler bile var. En başta uzak makine mantığıyla ilerlediğim için kablolu iletişim pek düşünmemiştim, ama şimdi mobil cihazlara yöneldiğim için mantıklı olabilir. Teşekkürler.

İstersen USB buffer yapmak yerine bir nflash koyup onun üzerinden Bluetooth ile aktarım yapabilrisin.(Bu bir gecikme oluşturabilir ama başka bir protokol ile aktarım yapabilirsin illa Bluetooth olması gerekmez.)Aktarım yaptığın veriyi de telefon üzerinden işleyebilirsin. Burada rasperynin kalbından çıkmanı kendi tasarımını oluşturmanı tavsiye ederim.