香農(nóng)公式推導(dǎo)過程
香農(nóng)公式是由信息論的創(chuàng)始人克勞德·香農(nóng)(Claude Shannon)在1948年提出的,用于計(jì)算離散信源的信息熵。下面是香農(nóng)公式的推導(dǎo)過程: 假設(shè)我們有一個(gè)離散的隨機(jī)變量X,它可以取到的所有值是{x1, x2, ..., xn},對應(yīng)的概率分布為{p1, p2, ..., pn}。其中,每一個(gè)xi表示信源可能輸出的一個(gè)符號,pi表示對應(yīng)的概率。 首先...
掃一掃,添加客服微信