Pengembangan Aplikasi Penerjemah Bahasa Isyarat BISINDO Berbasis Website Dengan Pendekatan Hand Gesture Recognition
Total View This Week0
Total View This Week0
Institusion
Institut Teknologi Sepuluh Nopember
Author
Nelwan, Natasya Abygail
Subject
TA1637 Image processing--Digital techniques
Datestamp
2023-10-06 03:47:33
Abstract :
Sebagai mahluk sosial, komunikasi adalah salah satu hal mendasar yang diperlukan oleh manusia. Dalam melakukan komunikasi diperlukan bahasa yang dimengerti oleh lawan bicara. Terdapat berbagai macam ragam bahasa yang tersebar di dunia, salah satunya adalah bahasa isyarat. Namun, hanya sedikit orang yang dapat menggunakan bahasa isyarat, karena biasanya bahasa ini lebih sering dipakai oleh orang-orang di sekitar penyandang tunarungu maupun tunawicara. Hal ini membuat interaksi antara para penyandang disabilitas dengan masyarakat umum menjadi terbatas. Maka dari itu, pada penelitian ini akan diberikan sebuah solusi dengan memanfaatkan smartphone yang saat ini menjadi salah satu teknologi yang sering digunakan oleh masyarakat. Dengan mengimplementasikan teknologi Hand Gesture Recognition (HGR), penelitian ini akan mengembangkan sebuah aplikasi berbasis website untuk menerjemahkan Bahasa Isyarat Indonesia (BISINDO) secara real-time. Nantinya aplikasi ini dapat diakses melalui smartphone, dengan begitu pengguna dapat menggunakan aplikasi ini dengan praktis. Untuk membuat aplikasi ini, akan dibutuhkan model yang akan bertugas untuk mengolah data. Pada penelitian ini, model tersebut akan dilatih menggunakan arsitektur YOLO-v5s. Dengan adanya aplikasi ini, diharapkan dapat menjadi media praktis yang menjembatani komunikasi antara penyandang disabilitas dengan masyarakat sekitar. Selain itu, aplikasi ini juga diharapkan dapat menjadi media pembelajaran bagi masyarakat yang masih awam terhadap bahasa isyarat. Model yang dihasilkan dalam penelitian mendapatkan performa terbaik dengan nilai rata-rata F1-Score sebesar 82%. =================================================================================================================================== As social creatures, communication is one of the basic things needed by humans. Communication requires a language that is understood by the opponent. There are various kinds of languages spread around the world, one of which is sign language. However, only a few people can use sign language, because usually this language is more often used by people around deaf and mute people. This limits the interaction between people with disabilities and the general public. Therefore, this research will provide a solution by utilizing smartphones which are currently one of the technologies that are often used by the community. By implementing Hand Gesture Recognition (HGR) technology, this research will develop a web-based application to translate Indonesian Sign Language (BISINDO) in real-time. Later this application can be accessed through a smartphone, so that users can use this application practically. To create this application, a model will be needed to process the data. In this research, the model will be trained using the YOLO-v5s architecture. Through this application, it is expected to be a practical tool that bridges communication between people with disabilities and the surrounding community. In addition, this application is also expected to be a learning tool for people who are still unfamiliar with sign language. The model produced in the research achieved the highest accuracy with an average F1-Score of 82%.
Sebagai mahluk sosial, komunikasi adalah salah satu hal mendasar yang diperlukan oleh manusia. Dalam melakukan komunikasi diperlukan bahasa yang dimengerti oleh lawan bicara. Terdapat berbagai macam ragam bahasa yang tersebar di dunia, salah satunya adalah bahasa isyarat. Namun, hanya sedikit orang yang dapat menggunakan bahasa isyarat, karena biasanya bahasa ini lebih sering dipakai oleh orang-orang di sekitar penyandang tunarungu maupun tunawicara. Hal ini membuat interaksi antara para penyandang disabilitas dengan masyarakat umum menjadi terbatas. Maka dari itu, pada penelitian ini akan diberikan sebuah solusi dengan memanfaatkan smartphone yang saat ini menjadi salah satu teknologi yang sering digunakan oleh masyarakat. Dengan mengimplementasikan teknologi Hand Gesture Recognition (HGR), penelitian ini akan mengembangkan sebuah aplikasi berbasis website untuk menerjemahkan Bahasa Isyarat Indonesia (BISINDO) secara real-time. Nantinya aplikasi ini dapat diakses melalui smartphone, dengan begitu pengguna dapat menggunakan aplikasi ini dengan praktis. Untuk membuat aplikasi ini, akan dibutuhkan model yang akan bertugas untuk mengolah data. Pada penelitian ini, model tersebut akan dilatih menggunakan arsitektur YOLO-v5s. Dengan adanya aplikasi ini, diharapkan dapat menjadi media praktis yang menjembatani komunikasi antara penyandang disabilitas dengan masyarakat sekitar. Selain itu, aplikasi ini juga diharapkan dapat menjadi media pembelajaran bagi masyarakat yang masih awam terhadap bahasa isyarat. Model yang dihasilkan dalam penelitian mendapatkan performa terbaik dengan nilai rata-rata F1-Score sebesar 82%. =================================================================================================================================== As social creatures, communication is one of the basic things needed by humans. Communication requires a language that is understood by the opponent. There are various kinds of languages spread around the world, one of which is sign language. However, only a few people can use sign language, because usually this language is more often used by people around deaf and mute people. This limits the interaction between people with disabilities and the general public. Therefore, this research will provide a solution by utilizing smartphones which are currently one of the technologies that are often used by the community. By implementing Hand Gesture Recognition (HGR) technology, this research will develop a web-based application to translate Indonesian Sign Language (BISINDO) in real-time. Later this application can be accessed through a smartphone, so that users can use this application practically. To create this application, a model will be needed to process the data. In this research, the model will be trained using the YOLO-v5s architecture. Through this application, it is expected to be a practical tool that bridges communication between people with disabilities and the surrounding community. In addition, this application is also expected to be a learning tool for people who are still unfamiliar with sign language. The model produced in the research achieved the highest accuracy with an average F1-Score of 82%.
Download
book
BibTex
Latex, Jabref
cloud_download
Original Resource
url resource Institution
