任意のn次符号多項式\(F(x)\)に対し、下記の計算を満たすものです。\begin{cases}F(x) mod G(x)=0 \\ (x^{n}-1) mod G(x)=0\end{cases}符号多項式および\(x^{n}-1\)を余り無しで割り切れることを示しています

検査行列とは入力符号に対する出力符号の一致性を確認するための行列です。(パリティ検査行列とも言われます。)よく\(\boldsymbol{H}\)で表されます。

生成行列とは情報ビットから符号を生成するための行列です。大前提として、本記事では情報理論の内、符号の誤りを検出する方法の一つを紹介します。符号とは、情報を表す情報ビットと検査部分を表す検査ビットで分かれています。検査行列を活用し、誤りを訂正する方法もありますが、本記事では生成行列から誤りを確認する方法を紹介します。

情報源を符号化する際に行う規則の一つです。情報源を実際に伝送する際、文字を符号として置き換えて伝送する必要があります。発生確率が低い情報源に対し、"0","1"などの一つの文字で完結する数値を何も考えず与えてしまうと、発生確率が高い情報源に対し"01"など2つの数値を割り当てることになり、受信側で受け取る符号長が長くなります。

マルコフ情報源とは現在起こる状態が過去の状態に依存する情報源を言います。過去の状態に依存しない情報源を無記憶情報源(独立情報源)と言いますが、これとは反対の性質を示します。

相互情報量とは事象A,Bの持つエントロピーの相互関係を示します。Aの持つ不確定性に対し、Bを受信することで明らかになった不確定性の量と解釈できます。

情報量とは情報の珍しさを示しています。確率\(P\)の情報源に対する情報量は以下で表されます。