Küresel Konumlama Sistemi Kaybı Olan Ortamlarda İnsansız Hava Araçları için Geliştirilen Alternatif Seyrüsefer Tekniği

Abstract

İnsanlı ve insansız uçaklarda küresel konumlama sistemindeki (GPS) kayıp, uçağın seyrüseferini etkilemektedir, fakat insanlı uçaklarda pilot tarafından seyrüsefer devam edebilirken, insansız uçaklarda uçağın kırımı gibi bir sonuç ile karşılaşılabilinmektedir. Bu sebeple, küresel konumlama sistemi olmayan ortamlarda uçakların seyrüseferlerine devam edememesi en sık görülen seyrüsefer sorunlarından birisidir. GPS kaybı durumunda, ataletsel seyrüsefer sistemi (INS) ile uçaklar seyrüseferine bir süre devam edebilse bile, uçaklardaki sürüklenmeden kaynaklı konumundaki hata gittikçe artmaktadır ve uçak takip edebilmesi gereken rotadan uzaklaşmaktadır. Bu sebeple bu tezde GPS bilgisinden beslenmeyen uçak üzerine yeryüzünü görecek şekilde yerleştirilmiş faydalı yük kamerası ile insansız hava aracının (İHA) konumunu bilmesini sağlayan bir sistem geliştirilmiştir. Bir tanesi uçak üzerine yerleştirilmiş faydalı yük kamerasından, bir diğeri de uydudan alınmış GPS konumu bilinen görsellerin olduğu iki adet görüntü verileri bulunmaktadır. Çeşitli öznitelik çıkarma sinir ağı modelleri ve iki görüntü seti içerisinde normalleştirilmiş değişken ortak enformasyon kullanılarak İHA'nın konumunun tespit edebilen bir yöntem geliştirilmiştir. Uydudan gelen görüntü setindeki görseller GPS konumları ile birlikte etiketlenip, İHA aracına verilmektedir. Bu iki görüntü seti öznitelik belirleme ve sınıflandırma için kullanılan sinir ağından geçirilip, öznitelikleri belirlendikten sonra, bu öznitelikler tasarlanan iki adet sinir ağından daha geçirilmektedir. İlk sinir ağında geçirildikten sonra, uydu görsellerinin İHA'dan gelen görsellerin içinde olup olmadığı tespit edilip, eğer İHA'dan gelen görüntü içerisinde uydu görselleri var ise, ikinci sinir ağından daha geçirilip, İHA konumunun uydu görselleri üzerinden eşleştirilmesi yapılmaktadır. İkinci sinir ağından alınan sonuçlara ile birlikte iki görüntü seti içerisinde normalleştirilmiş değişken ortak enformasyon kullanılmaktadır. İkinci sinir ağından gelen konum bilgisi sonucuna, normalleştirilmiş ortak enformasyon hesabında daha fazla ağırlık verilerek, eşleşmenin maksimum olduğu bölge aranmaktadır. GPS kaybı durumunda, İHA'dan alınan görseller içerisinde önceden verilmiş etiketlenmiş uydu görselleri aranıp ve uydu görselinden gelen obje, İHA görüntüsü üzerinden tespit edildiği anda, uydu görselinin GPS bilgisi, insansız hava aracına verilmektedir. Önerilen algoritmayı test etme amacıyla İHA tarafından toplanmış görüntüler ve uydudan alınmış görseller içeren iki veri seti bulunmuş ve etiketleme işlemleri yapılmıştır. Önerilen algoritma farklı öznitelik çıkarma sinir ağları kullanılarak, İHA görüntülerinin birleştirildiği ve birleştirilmediği senaryolarda test edilmiştir. Ortak enformasyon işlemi sonrasında elde edilen sonuçların, sinir ağının çıktılarına kıyasla, ortalama kareli hata ve kesişim kümesi oranları bakımından daha üstün olduğu gözlemlenmiştir.

Navigation system for both unmanned and manned aerial vehicles are affected negatively in Global Positioning System (GPS) denied environment. Although pilot can take control on navigation in GPS-denied environment for manned aerial vehicles, for unmanned aerial vehicles (UAV), GPS-denied environment can cause catastrohic solutions. Because of this reason, it is one of the most common problems for aircrafts to continue navigation in GPS denied environment. In the case of GPS loss, even if the aircraft can continue its navigation for a while with the inertial navigation system (INS), the error due to the drift increases and the aircarft is moving away from the route it should follow. For this reason, a system that does not feed from GPS information has been developed and it enables the UAV to know the location of the aircraft with a payload camera placed on the UAV. There are two types of image data, one of which is from the payload camera placed on the aircraft, and the other is satellite image set which has GPS information for each satellite image. The position of the UAV is determined by using the feature extraction neural network model and normalized variant mutual information within two image sets. Images from the satellite image set are labelled with GPS information and given to the UAV. After these two sets of images are passed through the different feature extraction neural network models and classification and feature extraction is done for the image datasets, these features are passed through two more designed neural network. After passing on the first neural network, it is determined whether the satellite images are in the images coming from the UAV or not, and if there are satellite images in the image coming from the UAV, the second neural network is passed through and the UAV location is matched over the satellite images. Along with the results from the second neural network, normalized variant mutual information is used within the two image sets. In order to find the region where the match is maximum, maximum of normalized variant mutual information between these two images is calculated by giving more weight of the results from second network. In case of GPS loss, the developed algorithm starts to work and satellite images which have GPS information are searched in UAV camera images. If the UAV is in that area, GPS information from satellite image is given to the UAV. To test our algorithm, we find two image dataset, where one consists of images taken from UAV and the other one consists of the satellite images, and labelled these images. We conduct various experiments under different scenarios such as different feature extractor networks, stitched/unstitched input images on the UAV side. We observe that the performance after the mutual information module is higher compared to the performance of the neural network in terms of both mean squared error and intersection of union.