求教：信息论中关于疑义度H(XlY)与噪声熵H(YlX)该如何理解H(X/Y)是已表示收到变量Y后,对随机变量X仍然存在的不确定度.那为什么说他是损失的信息量,如果这样的话,那么I(X;Y)表示了什么（老师说I(X;Y)表示的是由X到Y过信道所改变的信息量,那么这不就是损失的信息量吗?）另外,H(YlX),就更令我费解了,如果说H(XlY)是以Y为观测点,收到Y后X的不确定度,那H(XlY)以X为观测点又如何理解?噪声熵和疑义度有什么区别?最近在学信息论与编码,好纠结~
问题描述：
求教：信息论中关于疑义度H(XlY)与噪声熵H(YlX)该如何理解
H(X/Y)是已表示收到变量Y后,对随机变量X仍然存在的不确定度.那为什么说他是损失的信息量,如果这样的话,那么I(X;Y)表示了什么（老师说I(X;Y)表示的是由X到Y过信道所改变的信息量,那么这不就是损失的信息量吗?）
另外,H(YlX),就更令我费解了,如果说H(XlY)是以Y为观测点,收到Y后X的不确定度,那H(XlY)以X为观测点又如何理解?噪声熵和疑义度有什么区别?最近在学信息论与编码,好纠结~
答
关于I(X;Y),它是表示一个随机变量Y给出的关于另一个随机变量X的信息量.可能是你们老师没有说清楚,它的物理意义是：信道两端有两个随机变量X和Y,由Y提取到得关于X的信息量,并非损失的信息量.
这里不是指H(YlX),H(YlX)是不能用观察者的立足点来解释的（这个你从条件熵的定义想想就知道了）.你说的应该是I(X;Y).这就是信道两端以谁为“信源”,在哪边“接收”的问题了（也就是你所说的观测点）.