Evrişimsel sinir ağlarını kullanarak işaret dili görüntülerinin sınıflandırılmas

Abstract

Bu tezde, Türk İşaret Dili üzerine bir derin öğrenme (deep learning) uygulaması yapılmaktadır. Dünya genelinde işaret dili tanıma üzerine yapılmış ve halen de devam etmekte olan pek çok çalışma bulunmaktadır. İşaret dili tanıma üzerine yapılan çalışmalar değerlendirildiğinde pek çok problemle karşılaşıldığı görülmüştür. Görüntü işleme açısından değerlendirildiğinde söz konusu problemlerin başlıcaları ortamın aydınlığı ve ışık, arkaplanın karmaşıklığı, kameranın bulunduğu konum ve pozisyonu, oldukça zor olan ve pek çok soruna yol açan uygun alanın çıkarılması işlemi, segmentasyon uygulamalarının sonucu bazı hareketlerin kaybı ve alfabeyi temsil eden bazı parmak hareketlerinin birbirine çok benzemesidir. İşaretlerin kurallara uygun şekilde ifade edilmemesi, peşpeşe gelen işaretler için doğru görüntülerin/karelerin seçilmemesi ve öznitelik çıkarımında doğru yöntemi seçme yeteneğinin eksikliği gibi sebeplerden kaynaklanan yanlış çıkarımlarda bulunulması türünden problemler de mevcuttur. Son zamanlarda yapılan çalışmalara bakıldığında, görüntü işlemeden kaynaklanan problemlerin çözülmesinde Kinect teknolojisinin kullanıldığı görülmektedir. Bu sistemler fazladan donanım gerektirdiği için çok maliyetli olabilmekte ve bu yüzden fazla tercih edilmemektedir. Bu nedenle daha az hatayı netice veren işaret dili tanıma sistemleri geliştirmek için çalışmalar devam etmektedir.