tensorflow如何查看梯度方式-创新互联

这篇文章主要介绍tensorflow如何查看梯度方式，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！

公司主营业务：成都做网站、成都网站建设、成都外贸网站建设、移动网站开发等业务。帮助企业客户真正实现互联网宣传，提高企业的竞争能力。创新互联公司是一支青春激扬、勤奋敬业、活力青春激扬、勤奋敬业、活力澎湃、和谐高效的团队。公司秉承以“开放、自由、严谨、自律”为核心的企业文化，感谢他们对我们的高要求，感谢他们从不同领域给我们带来的挑战，让我们激情的团队有机会用头脑与智慧不断的给客户带来惊喜。创新互联公司推出淅川免费做网站回馈大家。

1. 为什么要查看梯度

对于初学者来说网络经常不收敛，loss很奇怪（就是不收敛），所以怀疑是反向传播中梯度的问题

（1）求导之后的数（的绝对值）越来越小（趋近于0），这就是梯度消失

（2）求导之后的数（的绝对值）越来越大（特别大，发散），这就是梯度爆炸

所以说呢，当loss不正常时，可以看看梯度是否处于爆炸，或者是消失了，梯度爆炸的话，网络中的W也会很大，人工控制一下（初始化的时候弄小点等等肯定还有其它方法，只是我不知道，知道的大神也可以稍微告诉我一下~~），要是梯度消失，可以试着用用resnet,densenet之类的

2. tensorflow中如何查看梯度

tf.gradients(y,x)这里的就是y对于x的导数（dy/dx）,x和y一定要有关联哦~

直接tf.gradients(y_, weight1)就可以了~

以上是“tensorflow如何查看梯度方式”这篇文章的所有内容，感谢各位的阅读！希望分享的内容对大家有帮助，更多相关知识，欢迎关注创新互联成都网站设计公司行业资讯频道！

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。

网站标题：tensorflow如何查看梯度方式-创新互联
文章起源：http://www.wjwzjz.com/article/diigcc.html