设无记忆二元信源,其概率为P1=0.005,P0=0.995。信源输出N=100的二元序列。在长为N=100的信源序列中
率序列。对于这样的信源我们可以用另一新信源来代替,新信源中只包含这些高概率序列。这时新信源Sn={s1,s2,s3,…,sn,sn+l},共有n+1个符号,它与高概率的二元序列的对应关系如下:
二元序列:1,01,001,…,00…01(共n-1个0),00…000(共n个0);
新信源符号:s1,s2,s3,…,sn,sn+1。
设S为一离散无记忆信源,其符号集合为{0,1},概率分布为p(0)=0.995,p(1)=0.005。令信源符号序列的长度为n=100,假定对所有只包含3个以下符号“1”的序列编制长度为k的非奇异二进制码。求:
某独立二元信源{0,1},其概率分布P(0)=1/8,P(1)=7/8。试对序列11101111进行算术编码,并求其平均码长。
若有一信源
每秒钟发出3个信源符号。将此信源的输出符号送入某二元无噪无损信道中进行传输,而信道每秒钟只能传递两个二元符号,试问信源能否在此信道中进行无差错的传输。
设离散无记忆信源S其符号集A={a1,a2,…,aq},知其相应的概率分布为(P1,P2,…,Pq)。设另一离散无记忆信源S,其符号集为S信源符号集的两倍,A={ai}i=1,2,…,2q,并且各符号的概率分布满足 Pi=(1 - ε)Pi(i=1,2,…,q) Pi=εPi-q(i=q+1,q+2,…,2q) 试写出信源S的信息熵与信源S的信息熵的关系。
8.设m阶马尔可夫信源S,其符号集A={x1,x2,…xq},又设p1,p2,…,pq为其平稳后的一维概率分布,现定义一无记忆信源,它的符号集也是A={x1,x2,…,xq},又其符号概率分布等于m阶马尔可夫信源S平稳后的一维概率分布,称信源为m阶马尔可夫信源的伴随信源,试证明。
一个二元一阶马尔可夫信源的状态转移图如图3.6所示。
计算当p12=0.2,p21=0.3时该马尔可夫信源的熵率,并求具有同样的符号概率分布的离散无记忆信源的熵。