September 11, 2018

MUHAMMAD GHIFARY

Diberikan dua buah fungsi distribusi probabilitas diskrit $P(x)$ dan $Q(x)$, bagaimana cara mengukur kedekatan diantara kedua fungsi tersebut? Salah satu alat ukur yang populer digunakan adalah Kullback-Leibler (KL) divergence:

$$ \begin{equation}\displaystyle \mathrm{KL}( P \| Q) = \sum_x P(x) \log \frac{ P(x) }{ Q(x) }\end{equation} $$

Fungsi divergensi di atas dapat diartikan sebagai kedekatan fungsi probabilitas $Q$ menuju $P$.

KL Divergence memenuhi sifat positif-definit:

1. $\mathrm{KL}(P \| Q) \geq 0$,
2. $\mathrm{KL}(P \| Q) = 0 \iff P=Q$,

namun tidak simetris $\mathrm{KL}(P \| Q) \neq \mathrm{KL}( Q \| P)$. Oleh karena itu,  $\mathrm{KL}(\cdot \| \cdot)$  disebut sebagai fungsi divergensi, bukan fungsi jarak -- fungsi jarak harus memenuhi kedua sifat positif-definit dan simetris.

Fungsi KL pertama kali ini diperkenalkan oleh Solomon Kullback dan Richard Leibler pada tahun 1951, yang akhirnya menjadi kuantitas sangat penting pada teori informasi. KL seringkali digunakan untuk melakukan optimisasi yang melibatkan distribusi probabilitas pada banyak aplikasi seperti mekanika fluida, neurosains, dan machine learning (terutama pada Bayesian inference).

Tulisan ini membahas Kullback-Leibler Divergence dari prinsip-prinsip utamanya, yaitu teori probabilitas dan teori informasi.

Eksperimen, Hasil Eksperimen, Ruang Sampel, Kejadian, Variabel Acak, dan Probabilitas

Judul sub-bab ini menunjukkan elemen-elemen dasar dari teori probabilitas. Kita definisikan element-element tersebut sebagai berikut.

• Eksperimen: Sebuah prosedur yang dapat dilakukan berulang kali dan memiliki hasil keluaran.
• Hasil eksperimen (outcome): Keluaran dari eksperimen.
• Ruang sample ($\Omega$ ): Himpunan dari semua hasil eksperimen yang mungkin terjadi.
• Kejadian ($E$): himpunan dari sebagian hasil eksperimen, i.e., $E \subseteq \Omega$.
• Variabel acak ($X: \Omega \rightarrow \mathbb{R}$): fungsi yang memberikan sebuah nilai atau label terhadap hasil eksperimen.
• Probabilitas ($P: E \rightarrow [0, 1]$ ): fungsi yang memberikan nilai hanya antara 0 hingga 1 terhadap suatu kejadian yang memiliki arti seberapa pasti kejadian tersebut terjadi.

Salah satu contoh dari eksperimen adalah melempar dadu sebanyak 2 kali. Hasil dari eksperimen ada 36 kemungkinan yang dapat dinyatakan dengan ruang sampel  $\Omega = \{ (1, 1), (1, 2), \ldots, (6, 5), (6, 6) \}$ dimana masing-masing anggotanya merupakan hasil eksperimen. Contoh dari kejadian dari eksperimen tersebut adalah hasil eksperimen dimana terdapat elemen $x$ pada lemparan pertama, $E_x = \{ (x, 1), \ldots, (x, 6) \}$.

Kita dapat mengasosiasikan tiap hasil eksperimen dengan variabel acak. Misalnya, tiap elemen $(x, 1), (x, 2), \ldots, (x, 6)$  kita beri label $x, \forall x = 1, \ldots, 6$. Untuk  $x = 1$ kita dapat tulis dengan notasi variabel acak $X( (1, 1) ) = 1, X( (1, 2)) = 1, \ldots, X(1, 6) = 1$, dan seterusnya. Perlu diperhatikan bahwa penentuan variabel acak sangat bergantung dengan konteks, namun pada prinsipnya bertujuan untuk mengelompokkan hasil eksperimen menjadi sebuah kejadian.