英文案例网站,网站过期原因,南宁营销型网站,门户网站优化怎么做信息论
信息量
I(x) -log( P )I为信息量P为x发生的概率
熵
混乱程度的度量#xff0c;不确定的局面表示很混乱系统里信息量的期望值H(x) -sum( P(i) * log( P(i) ) )
相对熵(KL散度)
用于度量两个概率分布间的差异性信息D_KL(S | O) sum( P_S(x) * log_2( 1 / P_O(x)…信息论
信息量
I(x) -log( P )I为信息量P为x发生的概率
熵
混乱程度的度量不确定的局面表示很混乱系统里信息量的期望值H(x) -sum( P(i) * log( P(i) ) )
相对熵(KL散度)
用于度量两个概率分布间的差异性信息D_KL(S | O) sum( P_S(x) * log_2( 1 / P_O(x) ) ) - sum( P_S(x) * log_2( 1 / P_S(x) ) )S是真实规律O是模型推算规律
交叉熵
D_KL(S | O)中的OH(p, q) sum( p(x) * log( 1/q(x) ) )p为真实规律q为模型推算规律
损失函数
均方差损失函数 可用于回归问题可用于分类问题torch.nn.MSELoss() 交叉熵损失函数 更适合分类问题torch.nn.CrossEntropyLoss()
