Evaluasi IndoBERT Pra-Latih untuk Klasifikasi Sentimen Ulasan Wisata dengan Pendekatan Zero-Shot Inference: Studi Kasus Kota Baubau
Abstract
Ulasan wisatawan di platform digital merupakan sumber data persepsi publik yang berharga untuk mendukung pengelolaan pariwisata berbasis bukti. Namun, ketiadaan dataset berlabel domain spesifik menjadi kendala utama penerapan model klasifikasi sentimen pada destinasi lokal. Penelitian ini bertujuan untuk mengevaluasi kemampuan model IndoBERTweet dalam mengklasifikasikan sentimen ulasan wisatawan tanpa fine-tuning tambahan pada domain target (direct inference), dengan studi kasus pada Benteng Keraton Buton dan Pantai Nirwana di Kota Baubau. Sebanyak 918 ulasan dikumpulkan dari Google Maps melalui web scraping dan diproses melalui case folding, cleaning, normalisasi teks, dan penggabungan kata negasi untuk mengklasifikasikan sentimen positif, negatif, dan netral. Kinerja model dievaluasi menggunakan confusion matrix dengan metrik akurasi, weighted precision, weighted recall, dan weighted F1-Score. Hasil penelitian menunjukkan akurasi 0,58, weighted precision 0,79, weighted recall 0,58, dan weighted F1-Score 0,63 (fair), dengan performa terendah pada kelas netral (F1: 0,27) yang mencerminkan kesulitan model dalam mengenali ekspresi sentimen ambigu di luar domain pelatihannya. Analisis tematik menunjukkan bahwa sentimen negatif didominasi isu kebersihan di Pantai Nirwana dan ketidakpuasan tarif di Benteng Keraton Buton. Model IndoBERTweet layak digunakan sebagai instrumen awal analisis sentimen wisata lokal tanpa anotasi data domain, namun peningkatan performa terutama pada kelas netral dan negatif memerlukan fine-tuning dengan data ulasan wisata berbahasa Indonesia dari destinasi serupa. Temuan tematik penelitian ini selanjutnya dapat dimanfaatkan sebagai dasar rekomendasi kebijakan pengelolaan pariwisata Kota Baubau berbasis bukti.
Keywords
Full Text:
PDFReferences
A. Mukti, “Dinamika Pengembangan Desa Wisata di Indonesia: Analisis Sistematik tentang Pendorong, Tantangan, dan Dampak,” Jurnal Pembangunan Nagari, vol. 10, no. 1, pp. 20–37, Jun. 2025, doi: 10.30559/jpn.v10i1.529.
Y. Okdamaiyanti, I. Muda, and N. Angelia, “Implementasi Kebijakan Pengembangan Daerah Wisata oleh Pemerintah Kabupaten Karo (Studi Deskriptif Terhadap Wisata Danau Lau Kawar),” Jurnal Ilmu Pemerintahan, Administrasi Publik, dan Ilmu Komunikasi (JIPIKOM), vol. 7, no. 2, pp. 179–185, May 2025, doi: 10.31289/jipikom.v7i2.6070.
U. Setyaningsih, “Pengaruh Pariwisata Terhadap Perekonomian Lokal di Kawasan Wisata Pantai,” Tourism and Hospitality Research, vol. 1, no. 1, pp. 16–22, 2025, doi: 10.70716/thr.v1i1.55.
H. Hastuti, H. F. Maulana, M. Mahyudin, and A. Rahim, “Pengembangan Pariwisata Berbasis Community Based Tourism pada Desa Wisata Waburi Park Buton Selatan,” Abdul Rahim Journal of Human And Education, vol. 4, no. 1, pp. 545–550, 2024.
I. P. G. A. Sudiatmika, P. S. Saputra, R. L. Rahardian, and K. H. S. Dewi, “Sentiment Analysis of Tourist Reviews on Google Maps for Pura Besakih Using Machine Learning Algorithms,” Jurnal Mandiri IT, vol. 14, no. 1, pp. 149–158, Jul. 2025, [Online]. Available: www.ejournal.isha.or.id/index.php/Mandiri
I. P. G. A. Sudiatmika, P. S. Saputra, R. L. Rahardian, and K. H. S. Dewi, “Sentiment Analysis of Tourist Reviews on Google Maps For Pura Besakih Using Machine Learning Algorithms,” Jurnal Mandiri IT, vol. 14, no. 1, pp. 149–158, Jul. 2025, [Online]. Available: www.ejournal.isha.or.id/index.php/Mandiri
A. I. P. Nugraheni, L. Prihanti Putri, and N. Pancawati, “Penggunaan Electronic Word of Mouth (eWOM) untuk Berbagi Pengalaman Kuliner oleh Wisatawan,” Tourism Scientific Journal, vol. 7, no. 1, pp. 15–30, Mar. 2022, doi: 10.32659/tsj.v7i1.144.
F. Koto, A. Rahimi, J. H. Lau, and T. Baldwin, “IndoLEM and IndoBERT: A Benchmark Dataset and Pre-trained Language Model for Indonesian NLP,” Barcelona: Online, Dec. 2020, pp. 757–770. [Online]. Available: https://huggingface.co/
Ardiansyah, A. S. Widagdo, K. N. Qodri, F. E. N. Saputro, and N. A. Rizky P, “Analisis sentimen terhadap pelayanan Kesehatan berdasarkan ulasan Google Maps menggunakan BERT,” Jurnal Fasilkom, vol. 13, pp. 326–333, Aug. 2023.
F. W. Atmojo, V. Atina, and H. Permatasari, “Analisis Sentimen Pelanggan Pada Ulasan Google Maps Restoran Al-Ghiff Steak Menggunakan Model Indobert,” Jurnal Sistem Informasi dan Teknik Komputer, vol. 10, no. 2, 2025.
N. Istiqomah and F. Novika, “Perbandingan Kinerja Model NER IndoBERT dan IndoLEM dalam Ekstraksi Informasi Kesehatan Pascabencana dari Berita Daring di Indonesia Comparative Performance of IndoBERT and IndoLEM Baseline Models for Post-Disaster Health Information Extraction from Indonesian Online News,” JOURNAL OF COMPUTER SCIENCE AND INFORMATICS ENGINEERING, vol. 04, no. 3, pp. 158–174, 2025, doi: 10.55537/cosie.v4i3.1173.
F. Koto, A. Rahimi, J. H. Lau, and T. Baldwin, “IndoLEM and IndoBERT: A Benchmark Dataset and Pre-trained Language Model for Indonesian NLP,” in Proceedings ofthe 28th International Conference on Computational Linguistics, Barcelona: Online, Dec. 2020, pp. 757–770. [Online]. Available: https://huggingface.co/
L. R. Andhika, “Public Service Management: An Emerging Research Trend,” Jurnal Borneo Administrator, vol. 21, no. 1, pp. 61–74, Apr. 2025, doi: 10.24258/jba.v21i1.1581.
D. Al Akhdaan, T. E. Sutanto, and M. Liebenlito, “Confident Learning pada IndoBERT: Peningkatan Kinerja Klasifikasi Sentimen,” The Indonesian Journal of Computer Science, vol. 13, no. 5, Oct. 2024, doi: 10.33022/ijcs.v13i5.4401.
A. Yoga Pratama, G. Ananda Sanjaya, N. Khairunisa Lubis, and M. Rangga Aditya, “Analisis Sentimen Publik Terkait Danantara Menggunakan Algoritma IndoBERT pada Platform Media Sosial,” vol. 9, p. 2025, doi: 10.47002/metik.v9i1.1055.
J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova, “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding.” [Online]. Available: https://github.com/tensorflow/tensor2tensor
N. M. Gardazi, A. Daud, M. K. Malik, A. Bukhari, T. Alsahfi, and B. Alshemaimri, “BERT applications in natural language processing: a review,” Artif. Intell. Rev., vol. 58, no. 6, Jun. 2025, doi: 10.1007/s10462-025-11162-5.
A. Rogers, O. Kovaleva, and A. Rumshisky, “A Primer in BERTology: What We Know About How BERT Works,” Trans. Assoc. Comput. Linguist., pp. 842–866, 2020, doi: 10.1162/tacl.
R. Gupta, “Bidirectional encoders to state-of-the-art: a review of BERT and its transformative impact on natural language processing,” Информатика. Экономика. Управление - Informatics. Economics. Management, vol. 3, no. 1, pp. 0311–0320, Mar. 2024, doi: 10.47813/2782-5280-2024-3-1-0311-0320.
J. Ipmawati, S. Saifulloh, and K. Kusnawi, “Analisis Sentimen Tempat Wisata Berdasarkan Ulasan pada Google Maps Menggunakan Algoritma Support Vector Machine,” MALCOM: Indonesian Journal of Machine Learning and Computer Science, vol. 4, no. 1, pp. 247–256, Jan. 2024, doi: 10.57152/malcom.v4i1.1066.
N. Hidayah and D. Dodiman, “Implementasi Algoritma Multinomial Naïve Bayes, TF-IDF dan Confusion Matrix dalam Pengklasifikasian Saran Monitoring dan Evaluasi Mahasiswa Terhadap Dosen Teknik Informatika Universitas Dayanu Ikhsanuddin,” Jurnal Pendidikan Matematika Universitas Dayanu Ikhsanuddin, vol. 10, May 2024.
G. A. S. Moeslim, E. Firmansyah, and B. Sutara, “Perbandingan Kinerja XGBoost dan IndoBERT untuk Klasifikasi Teks Kesehatan Bahasa Indonesia,” Data Science Indonesia, vol. 5, no. 2, Dec. 2025, doi: 10.47709/dsi.v5i2.7281.
W. Widyananda, Maskur, and A. Fauzi, “Machine Learning and Transformer-based Model for Sentiment Analysis of Indonesian E-Commerce Reviews,” The Indonesian Journal of Computer Science, vol. 14, no. 4, Aug. 2025, doi: 10.33022/ijcs.v14i4.4980.
Yuyun, N. Hidayah, and S. Sahibu, “Algoritma Multinomial Naïve Bayes Untuk Klasifikasi Sentimen Pemerintah Terhadap Penanganan Covid-19 Menggunakan Data Twitter,” Jurnal RESTI, vol. 5, no. 4, pp. 820–826, Aug. 2021, doi: 10.29207/resti.v5i4.3146.
J. Ipmawati, S. Saifulloh, and K. Kusnawi, “Analisis Sentimen Tempat Wisata Berdasarkan Ulasan pada Google Maps Menggunakan Algoritma Support Vector Machine,” MALCOM: Indonesian Journal of Machine Learning and Computer Science, vol. 4, no. 1, pp. 247–256, Jan. 2024, doi: 10.57152/malcom.v4i1.1066.
F. Koto, J. H. Lau, and T. Baldwin, “INDOBERTWEET: A Pretrained Language Model for Indonesian Twitter with Effective Domain-Specific Vocabulary Initialization,” pp. 10660–10668, Nov. 2021, [Online]. Available: https://huggingface.co/huseinzol05/
M. A. Rosid, A. S. Fitrani, I. R. I. Astutik, N. I. Mulloh, and H. A. Gozali, “Improving Text Preprocessing for Student Complaint Document Classification Using Sastrawi,” in IOP Conference Series: Materials Science and Engineering, Institute of Physics Publishing, Jul. 2020. doi: 10.1088/1757-899X/874/1/012017.
I. Maulana, R. Kurniawan, B. Nurhakim, N. Rahaningsih, and W. Prihartono, “Sentimen Di Media Sosial Terhadap Kebijakan Jam Masuk Sekolah Jawa Barat Menggunakan IndoBERT,” JOURNAL OF COMPUTER SCIENCE AND ARTIFICIAL INTELLIGENCE (JCSAI), vol. 03, pp. 1–11, Jan. 2026, [Online]. Available: https://ikmi.ac.id/page/18/?lang=de
DOI: https://doi.org/10.55340/jiu.v15i1.2683
Refbacks
- There are currently no refbacks.
__________________________________________________________________________________________________________________________________________________
SK Accreditation No. 286/DST/C3/HM.01.00/2026 Tanggal 7 April 2026
Editorial Address :
Program Studi Teknik Informatika, Fakultas Teknik, Universitas Dayanu Ikhsanuddin Jl. Dayanu Ikhsanuddin no.124 Baubau, Sulawesi Tenggara
Jurnal Informatika by Program Studi Teknik Informatika, Fakultas Teknik, Universitas Dayanu Ikhsanuddin Baubau, Indonesia is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License. Based on work at https://ejournal.unidayan.ac.id/index.php/JIU