香農(nóng)公式是由信息論的創(chuàng)始人克勞德·香農(nóng)（Claude Shannon）在1948年提出的，用于計(jì)算離散信源的信息熵。下面是香農(nóng)公式的推導(dǎo)過程：

假設(shè)我們有一個(gè)離散的隨機(jī)變量X，它可以取到的所有值是{x1, x2, ..., xn}，對應(yīng)的概率分布為{p1, p2, ..., pn}。其中，每一個(gè)xi表示信源可能輸出的一個(gè)符號，pi表示對應(yīng)的概率。

首先，我們定義信息量I(xi)來表示信源輸出xi的信息數(shù)量，它的定義為：

I(xi) = -log2(pi)

為什么選擇-log2而不是其他底數(shù)的對數(shù)呢？這是因?yàn)樵谛畔⒄撝校?為底的對數(shù)被稱為比特（bit），是表示信息量的最常用單位。

接下來，我們可以定義信源的平均信息量H(X)，它表示信源平均每個(gè)符號產(chǎn)生的信息量，即：

H(X) = ΣI(xi) * p(xi) = Σ(-log2(pi) * p(xi))

這里的Σ表示連加符號，遍歷信源的每個(gè)可能符號xi，并將信息量I(xi)乘以對應(yīng)概率p(xi)相加。

最后，我們可以得到信息熵H(X)，它表示信源整體的不確定性，即：

H(X) = -Σ(pi * log2(pi))

這就是香農(nóng)公式，它用于計(jì)算信源產(chǎn)生的平均信息量和不確定性。通過信息熵，我們可以衡量信息源的復(fù)雜程度和信息的壓縮效率，對信息論和通信領(lǐng)域有著重要的應(yīng)用。