注：本文没有给出真正的答案，只是作为一个记录
有效收敛是我自己创造的词，例如在训练过程中，模型收敛到输出与输入无关的状态，或者其他意料外的状态则为无效收敛，反之为有效收敛
DDPG的基本思想是 先训练一个critic，然后使用该critic训练actor，接着再用该actor训练critic。。。不停迭代，和GAN类似
DDPG用到了一些trick，但我在实验中发现，对于某些任务，一些trick是无效的，为了验证哪些无效，我做了一些对比实验，本文目的不是记录这些实验，而是对比有效和无效的情况下，critic loss和actor loss的不同，我觉得这应该也能作为判断是否有效收敛的一个依据。
该实验可以通过critic loss明显看出有效收敛和无效收敛的区别：有效收敛的critic loss一直处于波动状态，并且不会收敛得很快，而出问题的那几个反而很快就收敛到0附近了
我想这应该是有一定道理的，因为critic和actor相互轮流训练，两者互相依赖，所以critic loss不应该收敛很快，因为actor一直在变。收敛很快很有可能出现 输出与输入无关 的情况，例如agent玩lol时，无论开始选择什么英雄，agent都会选择直接送塔，以避免被杀带来的损失。