新网创想网站建设,新征程启航
为企业提供网站建设、域名注册、服务器等服务
函数的偏导数组成的向量即梯度
创新互联是一家集网站建设,临沂企业网站建设,临沂品牌网站建设,网站定制,临沂网站建设报价,网络营销,网络优化,临沂网站推广为一体的创新建站企业,帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿,时刻以成就客户成长自我,坚持不断学习、思考、沉淀、净化自己,让我们为更多的企业打造出实用型网站。
已知梯度求原函数
可参见:格林公式那章。
给的条件有点少,我多点假设。
已知X,Y,我认为是已知给定X输入和对应期望的Y输出。
对于优化目标函数,也就是最后的训练误差函数,视为最简单的实际输出Y'和期望输出Y的均方差。
已知学习率n(可以自行设置)。
假设输出层激活函数为线性。
1.设置初始的a,b,c(任取)
2.计算实际的Y'输出
3.根据期望Y和实际Y',得到对应的均方差J
4.使用误差函数J对a,b,c分别求偏导(链式法则),并代值计算出数字
5.对初始的a,b,c减去(学习率*对应的偏导),得到新的a,b,c
6.重复第二步,迭代一定的轮数或误差小于一个期望值。
7.输出a,b,c.
如:z=x+y
则:z的梯度为:(dz/dx,dz/dy)=(1,1),即由多元函数的各一阶导数构成的向量:
关键是理解梯度的定义:
f(x1,x2)的梯度为(A,B)
其中A表示f对x1求偏导数。
B表示f对x2求偏导数。
按照这个定义不难求得
函数F(X)=x1^2-x2^2/2+4+x1
的梯度为
(2
x1
+
1,-x2)
所以函数F(X)=x1^2-x2^2/2+4+x1
在点X=(3,2)^T处的梯度是
(7,-2)
设二元函数f(x,y),对于每一个点P(x,y)都可定出一个向量fx(x,y)i+fy(x,y)j,该函数就称为函数f(x,y)在点P的梯度。函数梯度本意是指一个向量(矢量),表示某一函数在该点处的方向导数沿着该方向取得最大值,即函数在该点处沿着该方向(此梯度的方向)变化最快,变化率最大(为该梯度的模)。