Penggunaan deep learning tidak bisa lepas dari algoritma gradient descent sebagai algoritma pelatihan model jaringan saraf tiruan (JST). Agar dapat bekerja, gradient descent memerlukan turunan dari fungsi loss yang ingin dicari nilai minimumnya. Pustaka-pustaka deep learning seperti PyTorch, Dynet, dan sejenisnya mampu menghitung dengan cepat turunan dari fungsi loss ini …

Ketika melakukan pemodelan probabilistik, kita biasanya perlu menghitung distribusi posterior, yakni distribusi peluang dari variabel laten/tersembunyi setelah mengamati data. Seringkali perhitungan ini tidak punya solusi tertutup dan juga intractable alias tidak bisa dikomputasi secara efisien karena adanya kombinasi nilai yang terlalu banyak. Pendekatan mean-field adalah salah satu cara untuk …

If you’re working on non-projective graph-based parsing, you may encounter a problem where you want to compute a quantity which can be factored into a sum over (non-projective) trees. One such quantity is the partition function of a CRF over trees. You realise that this isn’t straightforward because …

Gak terasa sudah satu tahun saya jadi mahasiswa S3. Berikut adalah pelajaran selama setahun terakhir ini.

Soal tutorial tentang Pumping Lemma yang cukup menantang.

Beberapa waktu lalu, saya selesai membaca buku Emotional First Aid, sebuah buku yang, sesuai judulnya, memberikan pengetahuan tentang pertolongan pertama pada luka-luka emosional. Dalam buku ini, ada tujuh luka emosional yang dibahas: penolakan, kesepian, kehilangan dan trauma, rasa bersalah, ruminasi, kegagalan, dan rasa rendah diri. Selain menjelaskan gejala-gejala yang ditimbulkan …

Pekan lalu, saya menjadi pembicara dalam podcast DataPods dari komunitas Data Science Indonesia. Episodenya dapat didengarkan di Spotify dengan judul episode Towards Indonesian Natural Language Processing. Pada tulisan ini, saya ingin memberikan beberapa penjelasan tambahan bagi jawaban-jawaban saya dalam episode tersebut. Tidak semua jawaban ada tambahannya; saya hanya mendaftar yang …

Akhir Desember lalu, ada sesi wawancara akhir tahun yang diselenggarakan oleh bagian SDM di kantor saya. Pada wawancara ini, saya diberikan pertanyaan-pertanyaan seperti: apa yang disukai selama bekerja, adakah saran perbaikan, dan sejenisnya. Saya tidak ingat persisnya tapi pada sesi itu saya sempat membicarakan tentang pengolahan bahasa manusia/natural language …

Terinspirasi dari tulisan Andrej Karpathy di blognya yang berjudul The Unreasonable Effectiveness of Recurrent Neural Networks, saya tertarik untuk mengulang eksperimen yang sama dengan bahasa Indonesia. Mengingat bahasa Indonesia tidak terlalu jauh berbeda dengan bahasa Inggris, saya pikir hasilnya juga akan bagus dan menarik. Kalau Anda belum membaca tulisan Andrej …

Things I learned for literature review writing.