Question Answering Al-Qur’an dan Tafsir Menggunakan Generative Pre-Trained Transformer 4 (GPT-4)

Abstract

Al-Quran merupakan kitab suci yang terdiri dari 30 juz, 114 surah, 6326 ayat, dan lebih kurang 80 ribu kata Arab  yang menjadi pedoman hidup bagi umat manusia. Banyaknya data dalam Al-Qur’an menjadikan tafsir sebagai pintu utama bagi umat Muslim untuk memahami isi dan makna dari ayat-ayatnya. Tentu dengan ribuan kata Arab di Al-Qur’an  dan penjelasan dari tafsir membuat pencarian dan pemahaman yang lebih lama, sehingga dibutuhkan sebuah sistem yang mampu memproses dan memahami data yang banyak. Penelitian ini bertujuan untuk membuat sistem yang mampu memahami dan memproses banyak data, dengan bantuan dari teknologi seperti Artificial Intelligence (AI), LangChain dan Large Language Model untuk mampu melakukan tanya jawab dalam bahasa alami. Sistem ini diuji menggunakan 2 jenis pengujian, yakni pengujian oleh user dan pengujian oleh framework DeepEval dan BertScore. Hasil dari pengujian User Acceptance Testing (UAT) berupa skor akurasi sebesar 90.28%. Dilakukan juga pengujian oleh framework DeepEval berupa hallucination dengan score sebesar 15.00%, precision sebesar 78.30% dan answer relevancy sebesar 97.20%. Selain itu terdapat pengujian menggunakan BertScore berupa score precision sebesar 75.59%, recall sebesar 62.12% dan F1 Score 72.15%.