Sesli Komutları Otomatik Olarak Servislerin Komposisyonuna Dönüştüren Yeni Bir Yaklaşım

Abstract

Son yıllarda konuşma tanıma, makine öğrenme ve doğal dil işleme alanlarındaki teknolojik gelişmeler konuşmaların anlamlandırılmasını şimdiye kadar hiç olmadığı kadar kolaylaştırmıştır. Apple Siri, Google Now, Amazon Alexa ve benzeri uygulamalar günümüz teknolojileri ile sesli komutları anlamlandırarak neler yapılabileceğini örneklemiştir. Günümüzde bir yazılımı sesli komutları algılayabilir hale getirmek pahalı ve zaman alan bir süreçtir. Bunun yanında anlamlandırılan komutların yazılımların sunduğu servislerin orkestrasyonu ile etkin bir biçimde nasıl gerçekleştirilebileceği literatürde açık bir problemlem olarak kalmıştır. Özellikle mobil uygulamaların söyleşisel etkileşimi (İng. conversational intereaction) desteklemesi görme engelli veya bedensel engelli (el titremesi, el kaybı, el felci vb.) kullanıcılar için büyük önem taşımaktadır. Kalıcı engeli olmayan kullanıcılar da bağlamsal olarak (araba süren sürücünün yola bakmaktan araba radyosunu kontrol edememesi, kırık bir kemikten ötürü eli alçıya alınmış bir hasta) geçici engelli hale gelebilmektedirler. Bu durumda bu tür yazılımların söyleşisel etkileşimi desteklemesi bu durumlardaki kullanıcılara daha iyi bir kullanıcı deneyimi sunacaktır. Bunlara ek olarak son yıllarda internet bağlantılı akıllı cihazların (akıllı Tvler, saatler, araba radyoları, beyaz eşyalar, reklam panoları) kullanımı giderek yaygınlaşmaktadır. Bu cihazların sesli komutları desteklemesi iki sebepten ötürü faydalı olacaktır. Birincisi bu durum kullanıcılar için daha sezgisel bir etkileşim sunacaktır. İkincisi ise bu tür cihazların fare, klavye, dokunmatik ekran gibi ek bir etkileşim aracı ile üretilmesi ihtiyacını ortadan kaldırarak bu cihazların daha ufak ve daha ucuz üretilebilmesini sağlayacaktır. Bu projede sesli komutları yazılım servislerinin orkestrasyonu ile gerçekleştirecek yeni bir yaklaşımı araştırdık. Sesli komutları yazılım unsurları ile ilişkilendirecek bir yazılım çerçevesi tasarladık. Daha sonra, bu çerçeveyi kullanarak verilen sesli bir sorgu üzerinden otomatik olarak bir kompozisyon planı hesaplayan bir algoritma ürettik. Bu kompozisyon planını yazılım fonksiyonlarını çağırarak gerçekleyecek ve bu süreçte kullanıcı ile uygulama arasındaki diyalogları yönetecek bir orkestra şefi yazılımı üzerinde çalıştık. Ulaştığımız sonuçlarla söyleşisel yazılımların geliştirilmesi alanına önemli katkılar sunduğumuzu düşünmekteyiz.