İlgiye Dayalı Gerçek Zamanlı Robot-Video Kodlama Ve İletimi

Uzamsal Ve Zamansal Video Süzgeçlemesi:

Uzamsal süzgeçlemenin asıl amacı, video kodlayıcısının devinim dengelemesi yaparken, odak alanının dışındaki bölgeleri, bir önceki çerçeveden kestirimde bulunup daha az bit kullanarak kodlamasını sağlamaktır. Bu gerçeği göz önüne alarak bizim için daha az önemli olarak belirlediğimiz bölgeleri uzamsal bir süzgeçten geçirerek, piksellerin komşu piksellerle ilintisini arttırmaya çalıştık. Bu bağlamda Gauss-yumuşatıcısı ve bulandırma süzgeçlerden faydalandık. Video kodlaması sırasında yapılacak sıkıştırma oranını arttırmak için kullanılabilecek ikinci yöntem de zamansal olarak ardışık imgelerde artık bilgi yaratmaktır. Bu süzgeçlemenin asıl amacı, video kodlayıcısının devinim dengelemesi yaparken, odak alanının dışındaki bölgeleri, bir önceki çerçeveden kestirimde bulunup daha az bit kullanarak kodlamasını sağlamaktır.

Önerilen yöntemler, APES robotundan alınan 384x288 boyutunda bir çerçeve dizisi üzerinde denenmiştir. İlk olarak orijinal çerçeve dizisi hiçbir işlem uygulanmadan kodlanmıştır. Daha sonra bu dizi, yüzün bulunduğu 130x 165 boyutundaki ilgi alanının haricinde sadece uzamsal işleme tabi tutularak iletilmiştir. Son olarak da uzamsal düzlemde süzgeçlenen dizi iki çerçevede bir yenilenerek hem uzamsal hem zamansal düzlemde işlenmiştir. Zamansal süzgeçleme yaparken α-karışımı geçiş genişliğini 5 piksel olarak aldık. Bu işlemler 25Kbit/sn ve 35Kbit/sn hızlarında kodlanmıştır. Farklı kalitelerde kodlanmış video görüntülerinin ilgi odağı kısmındaki başarımları deneylerle incelenmiştir. “Mean Square Error” ve “Structure Similarity Measure”’larına göre orijinal kodlanmış video, uzamsal kodlanmış video ve hem uzamsal hem zamansal olarak kodlanmış video başarımları sunulmuştur.
Uzamsal ve zamansal video ön işleme modülü APES robotunun görsel yazılımında aktif olarak kullanılmaktadır. Gerçek zamanlı alınan video çerçeveleri, ilgi odağı bulunduktan sonra bu önişeme modülü ile işlenerek daha sonra RealVideo kodlamasıyla kodlanıp internet üzerinden akıcı halde görülebilen bir ürüne dönüşmüştür. Ticari olarak da bu uzamsal-zamansal video işleme modülü, O2 Oksijen Teknoloji Geliştirme ve Bilişim Sistemleri San. Ve Tic. A.Ş. Multimedia Gurubu “Mobile Video Streaming” projesinde, düşük bant genişliğinde video iletimi ve kodlanmasında aktif olarak kullanılmaktadır. Dünya’da benzer çalışmalarda daha önce sadece uzamsal düzlemde H.263 ve MPEG-2 gibi belirli video kodlama tekniklerinde uygulanmıştır. Ama hem uzamsal hem de zamansal düzlemde yaptığımız bu çalışma video kodlama algoritmalarından bağımsız olarak da çalışabildiği için kategorisinde bir ilk teşkil etmektedir.

5. Internet Erişimli APES

Kullanım alanları gittikçe yaygınlaşan robotlar, insanlar için tehlikeli ortamlarda kritik işler veya uzaktan fiziksel erişim gibi görevler üstlenebilmektedirler. İnternet üzerinden kontrol edilen robotlar, son yıllarda oldukça ilgi çekmeye başlamıştır. APES robotunun İnternet üzerinden uzaktan erişimi sağlayan bir sistem entegrasyonu geliştirmeyi amaçlamaktayız. Robotun farklı kullanım alanlarında, tek başına hareket etmesini gerektiren durumlarda, uzaktan çift yönlü kontrolü sağlayan sistemimiz devreye girecektir. APES, hem dışarıya bilgi göndermekte, hem de dışarıdan bilgi alabilmektedir. Günden güne yaygınlaşan İnternet ağları ile, APES’in uzaktan erişimi artık kaçınılmaz olmaya başlamaktadır. Burada APES’in kontrolünü ve çift yönlü veri aktarımını sağlayabilmek gerekmektedir. Literatürdeki sistemler incelendiğinde, özellikle imge aktarımının genelde off-line bir şekilde yapıldığı görülmektedir. Bu çalışmada ise, imge aktarımını, gerçek-zamanlı olarak gerçekleştirilmektedir. Dolayısı ile tüm sistemin tasarımı buna göre yapılmıştır. Buna ek olarak, robot ile kullanıcı arasındak etkileşimi en güvenilir şekilde sağlayabilmek amacı ile Java bazlı sunucu-istemci yapısı bazlı tasarlanmıştır. Kullanıcı tarafının tek bir bağlantı açık olacak şekilde tasarlanmasına karşın, sunucu yazılımı gelen her bağlantı isteğini alıp yeni bir kullanım (thread) aracılığı ile elinde tutmakta ve istenen bilgi iletişimini çoklu-kullanım olarak yürütmektedir.

Şekil 10: APES Uzaktan Erişim Sistem Bileşenleri.
Söz konusu sistemin yazılım kısmının üretilmesinde, mümkün olduğu derecede İnternet bağlantılı programcılıkta en yaygın kullanılan programlama dili olan JAVA kullanılması uygun görülmüştür. Java’nın platform bağımsız, nesne tabanlı ve modüler bir dil olması önemli bir avantaj getirmektedir. Böylece ileride doğabilecek donanımsal ve yazılımsal değişikliklerden en az derecede etkilenilmesi sağlanacaktır. APES’in uzaktan erişimini sağlayan sistem, üzere dört ana kısımdan oluşmaktadır.
APES üzerinde çalışacak bu sunucu yazılımı belirtilen bir ‘port’ (varsayılan:4444) üzerinden gelecek bağlantı isteklerini Kullanıcı adı ve şifre bilgilerine göre kabul veya reddeder. Kabul edilen bağlantılar her seferinde yeni bir ‘soket’ nesnesi yaratılarak oturum açılmış olur. Bu şekilde ayni ‘port’ kullanılarak birden çok Kullanıcıya aynı anda bağlantı imkanı sağlanmış olmaktadır. Kullanıcılar yetki kapasitelerine göre farklı emir verme ve bilgi alma imkanlarına sahip oturumlar acarlar. JAVA ile yazılmış sunucu yazılımı Internet üzerinden gelen komutları önceden tanımlanmış programlanabilir komut setlerine uygun olarak yorumlar ve gerekli işlemleri yapacak olan diğer yazılım kısımlarıyla haberleşir. Yapılan işlerin sonuçlarını da (kameradan alınan anlık görüntüler veya motorlardan gelen konum bilgisi, vs) kullanıcıya iletilmek üzere İnternet’e aktarır.

İstemci
İletişimi sağlayan duy (socket) bazlı kısmı kullanıcı ile sunucu arasında çift yönlü haberleşme için sadece tek bir bağlantı kullanmaktadır. Bu bağlantı üzerinden boyutu, değiştirilebilir sekizli sayısı uzunlukta olan, paketler aracılığıyla haberleşme sağlanmaktadır. Paketin içeriği kullanıcı adı, şifre, konum ve yönelim bilgisi gibi ASCII metin olabileceği gibi; alınmış imgenin sekizlilerinin belirli bir kısmı da olabilir. Paketin sunucu tarafında da kullanıcı tarafında da ortak anlaşılan bir algoritmayla oluşturulup, gerekli bilgilerin paket başlığı ile gönderilmesi, haberleşmenin her iki şekilde de sorunsuz yürümesini sağlamaktadır. Kullanıcı tarafının tek bir bağlantı açık olacak şekilde tasarlanmasına karşın, sunucu yazılımı gelen her bağlantı isteğini alıp yeni bir kullanım (thread) aracılığı ile elinde tutmakta ve istenen bilgi iletişimini çoklu-kullanım olarak yürütmektedir.

Kullanıcı Arabirimi
Internet bağlantısı olan herhangi bir bilgisayar üzerinde çalıştırılmak üzere JAVA ile yazılmış bir programdır. Temel olarak grafik Kullanıcı ara birimi olan (JAVA Swing kütüphanesi ile ) bir Java uygulamasıdır. Kullanıcının oluşturduğu komutları APES üzerindeki sunucu’ya aktarmakla yükümlüdür. Kullanıcı ilk olarak kendisine verilmiş olan kullanıcı adi ve şifreyi girmek suretiyle bir oturum acar. Program bu noktada girilen değerleri sunucu tarafına iletir ve kontrol yapıldıktan sonra sonuç olumlu ise önceden belirtilen bir ‘port’ dan TCP/IP protokolü ile bir bağlantı kurar. Bağlantı kurulduktan sonra kullanıcının yetki seviyesine göre yapabileceği işlemleri belirten bir grafik ara birimi görüntülenir. Kullanıcının ilgili alanları kullanarak girdiği değerler sunucuya ulaştırılırken, sunucudan gelen cevaplar da bu arabirimde kullanıcıya gösterilir. Gelen cevap APES hakkında belirlenmiş bir özelliğin değerini belirten bir veri (konum bilgisi, kamera açısı, vs) olabileceği gibi yakalanmış imge de olabilir. Bu çift yönlü ve hem ASCII hem ikili transfer aynı TCP/IP bağlantısı üzerinden yapılmakta ve kullanıcı bu transferin sonucuna göre bilgilendirilmektedir.