淘宝做首页热点的什么网站,沙河口网站建设,杭州网站建设页面,洞头住建局网站共轭梯度法是介于最速下降法与牛顿法之间的一个方法#xff0c;它仅需利用一阶导数信息#xff0c;但克服了最速下降法收敛慢的缺点#xff0c;又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点#xff0c;共轭梯度法不仅是解决大型线性方程组最有用的方法之一#xff…共轭梯度法是介于最速下降法与牛顿法之间的一个方法它仅需利用一阶导数信息但克服了最速下降法收敛慢的缺点又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点共轭梯度法不仅是解决大型线性方程组最有用的方法之一也是解大型非线性最优化最有效的算法之一。 在各种优化算法中共轭梯度法是非常重要的一种。其优点是所需存储量小具有步收敛性稳定性高而且不需要任何外来参数。算法步骤import randomimport numpy as npimport matplotlib.pyplot as pltdef goldsteinsearch(f,df,d,x,alpham,rho,t):线性搜索子函数数f导数df当前迭代点x和当前搜索方向dt试探系数1flag 0a 0b alphamfk f(x)gk df(x)phi0 fkdphi0 np.dot(gk, d)alphab*random.uniform(0,1)while(flag0):newfk f(x alpha * d)phi newfk# print(phi,phi0,rho,alpha ,dphi0)if (phi - phi0 ) (rho * alpha * dphi0):if (phi - phi0) ((1 - rho) * alpha * dphi0):flag 1else:a alphab bif (b alpham):alpha (a b) / 2else:alpha t * alphaelse:a ab alphaalpha (a b) / 2return alphadef Wolfesearch(f,df,d,x,alpham,rho,t):线性搜索子函数数f导数df当前迭代点x和当前搜索方向dσ∈(ρ,1)0.75sigma0.75flag 0a 0b alphamfk f(x)gk df(x)phi0 fkdphi0 np.dot(gk, d)alphab*random.uniform(0,1)while(flag0):newfk f(x alpha * d)phi newfk# print(phi,phi0,rho,alpha ,dphi0)if (phi - phi0 ) (rho * alpha * dphi0):# if abs(np.dot(df(x alpha * d),d))-sigma*dphi0:if (phi - phi0) ((1 - rho) * alpha * dphi0):flag 1else:a alphab bif (b alpham):alpha (a b) / 2else:alpha t * alphaelse:a ab alphaalpha (a b) / 2return alphadef frcg(fun,gfun,x0):# x0是初始点fun和gfun分别是目标函数和梯度# x,val分别是近似最优点和最优值k是迭代次数# dk是搜索方向gk是梯度方向# epsilon是预设精度np.linalg.norm(gk)求取向量的二范数maxk 5000rho 0.6sigma 0.4k 0epsilon 1e-5n np.shape(x0)[0]itern 0W np.zeros((2, 20000))f open(共轭.txt, w)while k maxk:W[:, k] x0gk gfun(x0)itern 1itern % nif itern 1:dk -gkelse:beta 1.0 * np.dot(gk, gk) / np.dot(g0, g0)dk -gk beta * d0gd np.dot(gk, dk)if gd 0.0:dk -gkif np.linalg.norm(gk) epsilon:breakalphagoldsteinsearch(fun,gfun,dk,x0,1,0.1,2)# alphaWolfesearch(fun,gfun,dk,x0,1,0.1,2)x0alpha*dkf.write(str(k) str(np.linalg.norm(gk))\n)print(k,alpha)g0 gkd0 dkk 1W W[:, 0:k1] # 记录迭代点return [x0, fun(x0), k,W]def fun(x):return 100 * (x[1] - x[0] ** 2) ** 2 (1 - x[0]) ** 2def gfun(x):return np.array([-400 * x[0] * (x[1] - x[0] ** 2) - 2 * (1 - x[0]), 200 * (x[1] - x[0] ** 2)])if __name____main__:X1 np.arange(-1.5, 1.5 0.05, 0.05)X2 np.arange(-3.5, 4 0.05, 0.05)[x1, x2] np.meshgrid(X1, X2)f 100 * (x2 - x1 ** 2) ** 2 (1 - x1) ** 2 # 给定的函数plt.contour(x1, x2, f, 20) # 画出函数的20条轮廓线x0 np.array([-1.2, 1])xfrcg(fun,gfun,x0)print(x[0],x[2])# [1.00318532 1.00639618]Wx[3]# print(W[:, :])plt.plot(W[0, :], W[1, :], g*-) # 画出迭代点收敛的轨迹plt.show()代码中求最优步长用得是goldsteinsearch方法另外的Wolfesearch是试验的部分在本段程序中不起作用。迭代轨迹三种最优化方法的迭代次数对比最优化方法最速下降法共轭梯度法牛顿法迭代次数17022405以上就是本文的全部内容希望对大家的学习有所帮助也希望大家多多支持我们。时间 2019-07-03
