Adversarial Attack Pada Teks Berbahasa Indonesia Menggunakan Framework TextAttack

Abstract

Machine learning merupakan sebuah bidang keilmuan yang sangat cepat perkembangannya. Natural language processing atau NLP merupakan salah satu dari beberapa bagian keilmuan machine learning. Perkembangan NLP yang cepat ini juga telah diimplementasikan pada keseharian manusia, seperti chatbot, search engine, analisa sentiment, dan lain-lain. Perkembangan ini juga diikuti dengan adanya resiko seperti adversarial attack. Adversarial attack merupakan serangan yang bertujuan untuk menipu model machine learning, termasuk NLP. Adversarial attack pada NLP dilakukan dengan mengubah data yang akan diproses oleh model, sehingga model bisa terkelabuhi saat mengeluarkan output. Proses adversarial attack pada NLP tersebut bisa dipermudah dengan mengguanakan sebuah framework TextAttack. Penelitian ini bertujuan untuk melakukan perbandingan pada model NLP dengan karakteristik aristektur yang berbeda dan melihat bagaimana adversarial attack bisa mempengaruhi model NLP tersebut. Proses penelitian ini memiliki beberapa tahap, yaitu mencari dataset, preprocessing, pembuatan 3 model NLP, pengubahan resep pada framework, dan evaluasi model saat sebelum diserang serta sesudah diserang. Model yang digunakan pada penelitian ini merupakan model Multinomial Naïve Bayes dengan arsitektur klasik, model dengan arsitektur LSTM, dan model dengan arsitektur BERT. Hasil penelitian menunjukkan jika model arsitektur BERT memiliki ketahanan yang lebih baik dari pada model klasik dan model LSTM. Sedangkan model klasik memberikan hasil serangan yang paling sedikit daripada model LSTM dan model BERT. Penelitian ini diharapkan dapat memberikan kontribusi dalam bidang adversarial attack khususnya pada teks yang berbahasa Indonesia.