Penulis: Agus Nursikuwagus, Rinaldi Munir, Masayu L. Khodra, Deshinta Arrova Dewi
DOI: 10.1109/ACCESS.2024.3481499
Abstrak
Pembuatan keterangan gambar merupakan topik hangat yang menggabungkan tugas multidisiplin antara visi komputer dan pemrosesan bahasa alami. Salah satu tugas di bidang geologi adalah membuat deskripsi dari gambar batuan geologi. Tugas seorang ahli geologi adalah menulis deskripsi konten suatu gambar dan menampilkannya sebagai teks yang dapat digunakan di masa mendatang. Interpretasi objek merupakan salah satu tujuan penelitian, yaitu menelusuri struktur gambar secara mendalam. Bentuk, warna, dan struktur akan difokuskan untuk mendapatkan fitur gambar. Permasalahan yang dihadapi adalah bagaimana jaringan saraf terpisah (SNN) dan memori jangka pendek panjang (LSTM) memengaruhi keterangan gambar yang sesuai dengan deskripsi ahli geologi. SNN disebut Perhatian Visual (VaT), dan LSTM disebut Perhatian Semantik (SemAtt) sebagai arsitektur pembuatan keterangan gambar. Hasil eksperimen mengkonfirmasi bahwa model akurasi untuk pembuatan keterangan gambar mendapatkan BLEU-1=0,908, BLEU-2=0,877, BLEU-3=0,750, dan BLEU-4=0,510. Skor evaluasi dibandingkan dengan evaluator lain, seperti Meteor dan RougeL, yang masing-masing mendapatkan 0,670 dan 0,623. Model ini mengkonfirmasi bahwa ia mengungguli model dasar. Merujuk pada evaluasi, kami menyimpulkan bahwa model tersebut mampu menghasilkan keterangan gambar batuan geologi yang sesuai dengan deskripsi ahli geologi. Presisi dan recall telah mendukung model dalam memberikan prediksi kata yang sesuai dengan fitur gambar. © 2013 IEEE.
Kata kunci penulis
Perhatian; keterangan; LSTM; inovasi proses; semantik; jaringan saraf terpisah; transformer
Artikel ini dapat diakses di https://www.scopus.com/pages/publications/85207714611
