PERANCANGAN SISTEM PENERJEMAH BAHASA ISYARAT MENGGUNAKAN KLASIFIKASI ACTION RECOGNITION DENGAN METODE LONG SHORT TERM MEMORY (LSTM)
Total View This Week0
Total View This Week0
Institusion
Institut Teknologi Kalimantan
Author
Ardianto, Nur
Subject
TK Electrical engineering. Electronics Nuclear engineering
Datestamp
2023-12-28 02:03:57
Abstract :
Pada penelitian ini bertujuan untuk merancang sebuah sistem penerjemah bahasa isyarat yang efektif dengan menggunakan teknik klasifikasi Action Recognition dengan metode Long Short Term Memory. Komunikasi pada umumnya melibatkan penggunaan berbagai macam media untuk menyampaikan ide yang kita punya melalui lisan, tulisan, gambar dan lain sebagainya. Sedangkan untuk para penyandang tunarungu berkomunikasi menggunakan bahasa isyarat yang akan melambangkan setiap kata dengan menggunakan bantuan gerakan tangan, ekspresi wajah dan gerak bibir. Pada penelitian ini yang menjadi perhatian penting adalah bagaimana cara nya untuk melacak perubahan-perubahan dari koordinat tangan saat mengucapkan bahasa isyarat. Sehingga diperlukan sebuah metode dimana algoritma untuk mengolah gerakan tangan dengan memanfaatkan dari keypoints dari setiap ruas tulang dari manusia dan dipadukan dengan algoritma yang dapat menyimpan data squational untuk mengakomodasi dari setiap pergerakan yang dilakukan oleh tangan, karena gerakan dari bahasa isyarat lebih didominasi pada gerakan yang lebih dinamis. Penelitian ini akan memanfaatkan video yang memperagakan bahasa isyarat yang nantinya dengan bantuan dari library Mediapipe akan memberikan tanda pada tangan untuk menyimpan setiap nilai-nilai dari perubahan yang dilakukan oleh tangan dalam bentuk array sehingga kita dapat melakukan proses pelatih menggunakan metode LSTM yang telah kita persiapkan. Hasil yang diperoleh dalam penelitian ini adalah dengan memvariasikan 3 bentuk lapisan pada jaringan saraf tiruan dan banyak nya video yang berada pada 1 kelas sehingga didapatkan nilai pada percobaan pertama dengan dataset 20 akurasi nya berada pada nilai 87,5%, pada dataset 30 mendapatkan nilai 79,167% dan pada dataset 40 mendapatkan nilai 73.438%. Untuk percobaan ke-2 didapatkan hasil sebagaimana berikut pada dataset 20 mendapatkan hasil 71.875%, pada dataset 30 mendapatkan hasil 70.833% dan pada dataset 40 mendapatkan nilai sebesar 79.688%, dan pada percobaan ke-3 didapatkan hasil untuk percobaan pada dataset 20 sebesar 93.750% dan untuk dataset 30 mendapatkan nilai 77.083% dan untuk dataset 40 mendapatkan nilai sebesar 87.500%. dari hasil yang didapatkan nilai tertinggi diperoleh pada percobaan ke-3 pada dataset 20 dengan nilai 93.750%.
Pada penelitian ini bertujuan untuk merancang sebuah sistem penerjemah bahasa isyarat yang efektif dengan menggunakan teknik klasifikasi Action Recognition dengan metode Long Short Term Memory. Komunikasi pada umumnya melibatkan penggunaan berbagai macam media untuk menyampaikan ide yang kita punya melalui lisan, tulisan, gambar dan lain sebagainya. Sedangkan untuk para penyandang tunarungu berkomunikasi menggunakan bahasa isyarat yang akan melambangkan setiap kata dengan menggunakan bantuan gerakan tangan, ekspresi wajah dan gerak bibir. Pada penelitian ini yang menjadi perhatian penting adalah bagaimana cara nya untuk melacak perubahan-perubahan dari koordinat tangan saat mengucapkan bahasa isyarat. Sehingga diperlukan sebuah metode dimana algoritma untuk mengolah gerakan tangan dengan memanfaatkan dari keypoints dari setiap ruas tulang dari manusia dan dipadukan dengan algoritma yang dapat menyimpan data squational untuk mengakomodasi dari setiap pergerakan yang dilakukan oleh tangan, karena gerakan dari bahasa isyarat lebih didominasi pada gerakan yang lebih dinamis. Penelitian ini akan memanfaatkan video yang memperagakan bahasa isyarat yang nantinya dengan bantuan dari library Mediapipe akan memberikan tanda pada tangan untuk menyimpan setiap nilai-nilai dari perubahan yang dilakukan oleh tangan dalam bentuk array sehingga kita dapat melakukan proses pelatih menggunakan metode LSTM yang telah kita persiapkan. Hasil yang diperoleh dalam penelitian ini adalah dengan memvariasikan 3 bentuk lapisan pada jaringan saraf tiruan dan banyak nya video yang berada pada 1 kelas sehingga didapatkan nilai pada percobaan pertama dengan dataset 20 akurasi nya berada pada nilai 87,5%, pada dataset 30 mendapatkan nilai 79,167% dan pada dataset 40 mendapatkan nilai 73.438%. Untuk percobaan ke-2 didapatkan hasil sebagaimana berikut pada dataset 20 mendapatkan hasil 71.875%, pada dataset 30 mendapatkan hasil 70.833% dan pada dataset 40 mendapatkan nilai sebesar 79.688%, dan pada percobaan ke-3 didapatkan hasil untuk percobaan pada dataset 20 sebesar 93.750% dan untuk dataset 30 mendapatkan nilai 77.083% dan untuk dataset 40 mendapatkan nilai sebesar 87.500%. dari hasil yang didapatkan nilai tertinggi diperoleh pada percobaan ke-3 pada dataset 20 dengan nilai 93.750%.
File :
04181065_cover.pdf
04181065_statement_of_authenticity.pdf
04181065_chapter_1.pdf
04181065_chapter_2.pdf
04181065_chapter_3.pdf
04181065_chapter_4.pdf
04181065_conclusions.pdf
04181065_bibliography.pdf
04181065_enclosure.pdf
04181065_presentation.pdf
04181065_Form. TA 020.pdf
04181065_publishing_agreemen.pdf
04181065_approval_sheet.pdf
04181065_preface.pdf
04181065_abstract_id.pdf
04181065_abstract_en.pdf
04181065_table_of_conten.pdf
04181065_illustrations.pdf
04181065_tables.pdf
Download
book
BibTex
Latex, Jabref
cloud_download
Original Resource
url resource Institution
