Türk bilim insanlarından 'söylenen ya da yazılanı anında işaret diline çeviren' yazılım

Eskişehir Osmangazi Üniversitesinden (ESOGÜ) iki bilim insanı, işitme engellilerin bilgiye erişimlerini kolaylaştırmak amacıyla web sitesi ve PDF ile video içeriklerini işaret diline dönüştüren yazılım hazırladı.

Fen-Edebiyat Fakültesi Matematik ve Bilgisayar Bilimleri Bölümünde görevli Dr. Öğr. Üyesi Ahmet Faruk Aslan ve Dr. Özer Çelik, 2016 yılında TÜBİTAK 1512 Teknogirişim Sermayesi Desteği programına yaptıkları başvurunun ardından aldıkları 150 bin liralık destekle Akıllı Çeviri Sistemleri Bilişim Şirketini kurdu.

Melek Yatırımcı Ağı'nda "tohum yatırım" alarak işitme engellilerin eğitim öğretim, bankacılık, sigortacılık, iletişim, ulaşım ve sağlık gibi temel yaşam konularında yaşam kalitelerinin artırılması için pratik, girişimci ve yenilikçi hizmetler sunmak üzere kolları sıvayan uzmanlar 4 yılın sonunda 3 yazılım geliştirdi.

Bu yazılımlardan "İşaret Dili Web" ile "PDF Eklentisi"nde web sitesi ve PDF içerikleri işaret diline dönüştürülüyor. "Video Çeviri Sistemi"nde de görüntülerin içindeki alt yazı eklentilerinin işaret diline çevrilmesi sağlanıyor.

ESOGÜ Teknopark'ta faaliyet gösteren şirketin kurucu ortağı Özer Çelik, AA muhabirine yaptığı açıklamada, Türkiye'de 3,5 milyon, Avrupa'da 40 milyon, dünyada ise 360 milyon işitme engellinin bulunduğunu söyledi.

Bu bireylere yönelik çift taraflı iletişim sistemini kurmayı amaçladıklarını belirten Çelik, "İşitme engelliler günlük yaşamda işaret dili bilmeyenlerle iletişim kurmakta zorlanıyor. Bu problemi çözmek için 4 yıldır çalışmalar yürütüyoruz." dedi.

Çelik, iletişim kurmakta sorun yaşayan işitme engellilerin yaklaşık yüzde 50'sinin okuduğunu anlayamadığını fark ettiklerini anlattı.

Bunun nedenlerine değinen Çelik, "Çünkü Türk işaret dili ile Türkçe dil bilgisi birbirinden farklı. Türk işaret dilinde kelimelerde ek kavramı yoktur ve farklı bir dil bilgisi yapısı vardır. Çok dar kelime dağarcığına sahiptir. İşitme engelliler, Türk işaret dili dağarcığında olmayan kelimeleri okuduklarında anlamakta zorluk yaşıyor." diye konuştu.

Geliştirilen yazılımlar nasıl çalışıyor?

Çelik işitme engelliler ile işaret dili bilmeyenleri karşılıklı görüştürecek bir sistem geliştirmek istediklerini vurguladı.

Söz konusu iletişimin iki yönlü oluştuğunu dile getiren Çelik şöyle devam etti:

"Birincisi bizim söylediklerimizin ya da yazdıklarımızın anlık olarak animasyon veya gerçek kişilerle çekilmiş videolar yardımıyla işaret diline dönüştürülmesi. İkincisi de işitme engellilerin yaptığı işaret dili tekniklerini yapay zekayla algılayıp metne ve sese dönüştürmek. Amacımızın birinci kısmını tamamladık. Bizim söylediklerimiz ya da yazdıklarımız anlık olarak işaret diline dönüştürülebiliyor. Web, video ve PDF eklentileri geliştirdik. Bununla ilgili üç ulusal, bir de uluslararası patent başvurusu yaptık."

Özer Çelik, geliştirdikleri "İşaret Dili Web" yazılımında, web sayfasına giren işitme engellinin eklentiye dokunmasıyla üç boyutlu avatar ya da gerçek çevirmenin site üzerinde belirip cümleleri anlık işaret diline dönüştürdüğünü aktardı.

Ayrıca, bankacılık ya da resmi kurumlardaki sözleşmeler için "PDF Eklentisi" ürününü hazırladıklarını bildiren Çelik, PDF dosyası açılıp eklentiye dokunulduğunda avatarın sayfa üzerinde belirip cümleleri anlık işaret diline çevirdiği bilgisini verdi.

Çelik, işitme engellilerin film ya da video izlerken de alt yazı olsa bile sorun yaşadıklarını tespit ettiklerine değinerek bu ihtiyaca yönelik geliştirdikleri "Video Çeviri Sistemi" eklentisi sayesinde alt yazı dosyasındaki metinlerin senkronize şekilde işaret diline dönüştürüldüğünü belirtti.

İşitme engellilerin yaptığı işaretleri metne dönüştürmek için AR-GE çalışmaları sürdürdüklerini anlatan Çelik, "İşitme engelliler işaret diliyle iletişim kurarken gündelik yaşamda sorun yaşıyor. Bu iletişimdeki sorunları gidermeye çalışıyoruz. Günlük yaşamlarını kolaylaştırıyoruz. Yerli imkanlarla, kendi yazılımcılarımızla, geliştirmeler yapıyoruz. Aynı ortamda işaret dili bilmeyenler ile işitme engellinin iletişim kuracakları bir yapıyı sağlayacağız." ifadesini kullandı.