• 关于试验(测量),事件,随机变量,取值,概率分布,信息,信息熵的理解


    随机变量的定义:

        任何还不被知道的量就是随机变量。这是最直观的解释,还不知道的变量,也就是随机变量可能会服从某个分布,分布是有确定期望和方差的。

    用实体-联系的观点理解概率:

      每个变量都要与一个事件关联,变量依赖于事件的存在而存在,两个实体是一对一的联系;

      每个事件都要与一个试验关联,事件也依赖于试验的存在而存在,两个实体是多对一的联系;

      设变量的取值集合为S,如果在S上定义了一张映射表,这张映射表满足概率分布的性质,那么就称这个变量是一个定义了概率分布的随机变量;

      随机变量和概率分布是完全独立的两个实体,它们独立存在不依赖于对方。但是随机变量可以服从一个概率分布,两个实体是多对一的联系;

    任何实体都可以是信息载体:

      如果给定一个实体E,如果E使得某个随机变量服从了不同的概率分布,那么就称这个实体包含了关于这个随机变量的信息;(注意概率分布本身是不能被修改的,只能选择不同的分布来服从)

      每一个概率分布表都蕴含了一个参数,这个参数称为这个概率分布的信息熵,具体见公式;

      如果一个随机变量X服从的概率分布是P,如果在给出一个与X关联的信息之后,X服从了一个新的概率分布,新分布对应的信息熵与旧分布对应的信息熵的差值越大,那么这个实体包含的信息量越大。

    进一步解释:

      每一次测量或者试验,都会发生一系列事件,而且每个事件的发生必然存在于某一次试验。存在于不同试验的事件可以是有关联的,也可能是没有关联的。给定两次试验,如果分别位于两次试验中发生的所有事件对都是没有关联的,那么称两次试验是独立试验。

    举例:

      举个例子,我们想要去探讨太阳从哪个方向升起这个问题,首先必须要有一个试验:某一天;一个事件:太阳从某一方向升起;一个变量:取值东,西,南,北;一个概率分布:{东:1,西:0,南:0,北:0};

      如果现在给出一个实体,一篇文章,或者一个字符串,或者一张图片,或者一次物理学实验等等任何实体,它的出现使得变量服从了另一个概率分布:{东:0.25,西:0.25,南:0.25,北:0.25},那么这个实体就是关于变量的信息,并且包含的信息量就非常大。

  • 相关阅读:
    note:debugging requires the debug connect session system privilege
    jdk8 tomcat7
    idea git 整合使用
    connect: Address is invalid on local machine or port is not valid on remote
    mysql拒绝访问 Error 1044/1045 问题的解决
    mysql Error_code: 1593
    spring mvc 提交表单汉字乱码
    mysql 5.7.10 下互为主备配置
    Java开发笔记(七十四)内存溢出的两种错误
    Java开发笔记(七十三)常见的程序异常
  • 原文地址:https://www.cnblogs.com/xinchrome/p/4857399.html
Copyright © 2020-2023  润新知