见,信息量(我们用I来表示)和消息发生的概率是相反的关系。
2.当概率为1时,百分百发生的事,地球人都知道,所以信息量为0。
3.当一个消息是由多个独立的小消息组成时,那么这个消息所含信息量应等于各小消息所含信息量的和。
根据这几个特点,如果用数学上对数函数来表示,就正好可以表示信息量和消息发生的概率之间的关系式:I=-loga(P(x))。这样,信息不就可以被量化了吗?既然信息可以被量化,那么总得给它一个单位吧?人的体重是以公斤来计量的,人的身高是以米来计量的,那么信息量该以什么单位来计量呢?通常是以比特(bit)为单位来计量信息量的,这样比较方便,因为一个二进制波形的信息量恰好等于1bit。
信息与比特
有同学又有问题了:这么说我家2Mbit/s的上网速度,就是说每秒可传2Mbit的信息量啦?
这里的比特严格来说不是指信息量,而是指信号。本来是不可以说是几比特的信号的,但由于一个二进制波形(码元)的信息量正好等于1比特,所以在工程应用中,往往就把一个二进制码元称作1比特,信息量单位变成信号单位了。这虽然不严谨,但也不矛盾。我们注意在概念上区分就行了。
有同学还有疑问:假设有一个消息“狼来了”,通过信源编码转成了一个100bit的数据包,那么信息量就有100bit。然后把这100bit通过通信网络发送给了很多人,很多人都收到了100bit的信息量。可是有些人觉得“狼来了”这个消息很重要,信息量很大;但有些人又觉得无所谓,信息量很少。可是我们知道,这条消息的信息量都是100bit的呀,怎么又不一样了呢?
首先,我们刚刚说过,比特是信息量的单位,但工程上也习惯把它作为信号的单位。这里所说的100bit就是指信号的啦。其次,通信中的基本问题,就是在一点再生另一点的信息,指的是点对点的情况。但即使在点对多点的情况下,由于在实际的通信系统中,消息往往是指发送的某些符号。这些符号到底能携带多少信息量,与这些符号发生的概率有关,而对于任何接收端来说,这些符号发生的概率是一定的,不会说对这个接收机是这个概率,对那个接收机是那个概率。比如有一串符号221234,这串符号由1,2,3,4四个符号组成,假设四个符号出现的概率都是1/4,那么在这串符号中,2出现了3次,所以2所携带的信息量是-3×log2(1/4)=6bit。我们需要明白,通信系统中传送的符号,就相当于我们现在谈论的消息
请收藏:https://m.gulingfei.cc
(温馨提示:请关闭畅读或阅读模式,否则内容无法正常显示)