信息增益

时间:2024-06-08 08:43:43编辑:思创君

信息增益计算公式

信息增益计算公式是:可用下式估算其增益:G(dBi)=10Lg{32000/(2θ3dB,E×2θ3dB,H)},式中, 2θ3dB,E与2θ3dB,H分别为天线在两个主平面上的波瓣宽度;32000为统计出来的经验数据。可以这样来理解增益的物理含义: 在一定的距离上的某点处产生一定大小的信号,如果用理想的无方向性点源作为发射天线,需要100W的输入功率,而用增益为G=13dB=20的某定向天线作为发射天线时,输入功率只需100/20=5W 。换言之,某天线的增益,就其最大辐射方向上的辐射效果来说,与无方向性的理想点源相比,把输入功率放大的倍数。半波对称振子的增益为G=2.15dBi。4个半波对称振子沿垂线上下排列,构成一个垂直四元阵,其增益约为G=8.15dBi( dBi 这个单位表示比较对象是各向均匀辐射的理想点源)。如果以半波对称振子作比较对象,其增益的单位是dBd 。半波对称振子的增益为G=0dBd(因为是自己跟自己比,比值为1 ,取对数得零值。)垂直四元阵,其增益约为G=8.15 –2.15=6dBd 。

增益计算公式

增益计算公式:Gain=log10(P2/P1)bel=10×log10(P2/P1)dB=(Pout-Pase)/Pin。其中P1与P2分别为输入及输出的功率,Pase是信号带宽内EDFA的自发辐射功率,Pout和Pin分别是信号的输出输入功率。增益一般指对元器件、电路、设备或系统,其电流、电压或功率增加的程度,以分贝(dB)数来规定,即增益的单位一般是分贝(dB),是一个相对值。电子学上常使用对数单位量度增益,并以贝(bel)作为单位。天线增益,是指在输入功率相等的条件下,实际天线与理想的辐射单元在空间同一点处所产生的信号的功率密度之比。天线增益是入网测试时极其重要的标准,它表示了天线的方向性和信号能量的集中程度。放大器增益,是放大器输出功率与输入功率比值的对数,用以表示功率放大的程度。亦指电压或电流的放大倍数。电子系统的总放大倍数常常是几千、几万甚至几十万,一架收音机从天线收到的信号至送入喇叭放音输出,一共要放大2万倍左右。

什么是信息熵、条件熵和信息增益

信息增益描述了一个特征带来的信息量的多少,往往用于特征选择


信息增益 = 信息熵 - 条件熵

一个特征往往会使一个随机变量Y的信息量减少,减少的部分就是信息增益

一个例子

如图所示,目标值是:playtennis,也就是是否打球

有四个特征:天气、温度、湿度、风

信息熵

信息熵的公式:

H(X)=−∑i=1np(xi)logp(xi)

以上图为例,设是否打球这一随机变量为Y,则

p(y=yes)=514

p(y=no)=914

所以H(Y)=−514∗log(514)−914∗log(914)=0.6518

条件熵

条件熵表示在条件X下Y的信息熵。公式如下:

H(Y|X)=∑x∈Xp(x)H(Y|X=x)

在上图的例子中,设humidity湿度为随机变量X

则,p(x=high)=7/14=1/2=p1

p(x=normal)=7/14=1/2=p2

所以,H(Y|X)=p1*H(Y|X=high)+p2*H(Y|X=normal)

而接下来就是计算H(Y|X=high)和H(Y|X=normal)

根据信息熵的计算方法可以得出:

H(Y|X=high)=-4/7*log(4/7)-3/7*log(3/7) = 0.6829

H(Y|X=normal)=-1/7*log(1/7)-6/7*log(6/7) = 0.4101

因此,条件熵为:1/2*0.6829+1/2*0.4101=0.5465

信息增益

信息增益 = 信息熵 - 条件熵=0.6518-0.5465=0.1053

也就是说,引入了湿度humidity这个变量之后,就使得是否打球这个变量的信息量就从0.6518减小到了0.5465

信息量是描述变量的不确定性的,值越大,就表示这个事件越不确定

因此,湿度这个变量的引进,使得这种不确定性降低了,有利于做决定

信息增益常用于决策树的构建,和特征选择


信息论——香农熵

信息论是量化处理信息的科学分支。处理数据信息集合前后信息发生的变化称为信息增益,信息增益越高的特征就是越好的选择。

集合信息的度量方式称为 香农熵 或简称 熵,源于信息理论之父“克劳德·香农”。

信息量越大,特征越多,权重越小

熵: 信息的期望值。

在多分类的事务中,假设 的信息为:

           

            注 : =     真数的指数与不转换结果相同

其中 是该选择分类事务的概率。计算熵则需要计算所有类别中所有 可能值包含的信息期望值(n是分类数目):

         







线性转换:

    注意 线性的最高次项为1,否则就是非线性

    lambda乘以一个系数常量{x_1}

    如果(线性):

        z = wx + b

        乘积与变量x有关系 则看作为系数

                            没关系 则看作常量

指数转换:

    softmax非线性转换(存在指数操作)

    作用:大的更大,小的更小,差别更加明显

最大似然函数的负数,成为所求的损失函数(解决问题的一种思想)

大数定理:

    当频率大到一定程度就是概率

激活函数:

    神经网络也是线性的

    将激活信息(幂函数、指数函数)向后传入下一层神经网络,解决非线性问题

    如果(线性):

        z = wx + b

        乘积与变量x有关系看作为系数

                    没关系看作常量

    如果(非线性):

        加入了幂函数{e^x}等

矩阵中:

    一行是一个样本,一列是一个特征

线性回归就是神经网络

在python中如何取消返回值使用(不用相应位置的返回值):

    _, book, hook = function()

PS:

    污点修复工具,先刷背景也可以 思想(不太好用)

    修复画笔工具,alt+鼠标右键调整硬度和上下调整直径

                             alt+鼠标左键复制replication所选区域样本

    通过已经完成图片叠压修图更快、更轻松


上一篇:非诚勿扰的开场曲

下一篇:清洗机毛刷辊