为什么我换了学习率，最终的结果都是0呢？ batch_size设大一点就OOM？

[yohowitch]

1. 将原本的1e-5学习率换为0.001，之后跑出的结果全为0

2. batch_size 设为16可以跑，设为32就会有OOM报错

[1qingqing1]

请问你的gpu显存多大呢，我的8G显存，batch_size 设为16就会有OOM报错

[S0W0H0]

1. 将原本的1e-5学习率换为0.001，之后跑出的结果全为0

   2. batch_size 设为16可以跑，设为32就会有OOM报错

请问这个问题解决了吗我也遇到了更换学习率的问题

[1qingqing1]

bert层学习率要设置的小一些，可以试试2e-5、3e-5、5e-5，其他层可以设置大一些1e-4、1e-3

[S0W0H0]

请问在哪设置呢，我只在train_helper.py中找到了一个有关learn_rate参数设置的地方

[Ingrid226]

想问问这个学习率在哪里设置呢，感谢