DeepMind首席研究员、“AlphaGo之父”David Silver和Julian Schrittwieser(AlphaGo Zero作者之一)在Reddit回答网友提问。
资料显示，“AlphaGo之父”David Silver毕业于剑桥大学，获得了艾迪生威斯利奖，随后与人共同创立了视频游戏公司Elixir Studios，2004年，成为伦敦大学学院的讲师，Silver起初是DeepMind的顾问，直到2013年正式加入DeepMind。
以下是我们精选的Q&A，全文请前往Reddit.com
当被问到为什么AlphaGo Zero的训练如此稳定?
David Silver说，AlphaGo Zero所用的算法与策略梯度、Q-learning之类的传统(无模型)算法不同，通过使用AlphaGo search，我们极大地改进了策略和自我对弈的结果，然后我们应用简单的、基于梯度的更新来训练下一个策略+价值网络(policy+value network)。这比渐进的、基于梯度的策略改进(policy improvement)要稳定的多。
为什么这次Zero就训练了40天?训练3个月会怎样?
David Silver认为，这是一个人力和资源优先级的问题，如果训练3个月，我想你会问训练6个月会发生什么。
为什么一开始选择用人类对局数据来训练AlphaGo，而不是通过自我对弈来从0开始?之前的AlphaGo瓶颈在哪里?
David Silver表示，创造一个完全自学的系统，一直是强化学习中的一个开放式问题，之前都非常不稳定，之后我们做了很多实验，发现AlphaGo Zero的算法是最有效率的。
DeepMind和Facebook几乎同时开始研究这一课题，为什么你们能达到这个水平?
David Silver说，Facebook更专注于监督学习，我们关注强化学习，是因为相信它最终会超越人类的知识，研究表明，仅使用监督学习能够获得令人惊讶的表现，但如果要远超人类水平，强化学习才是关键。
AlphaGo Zero是AlphaGo的最终版本吗?
David Silver：我们已经不再主动研究如何让AlphaGo变得更强，但我们仍然用它尝试新的想法。
AlphaGo有没有开源计划?
David Silver：我们在过去已经开源了许多代码，但AlphaGo始终是一个复杂的过程，它是一个非常复杂的代码。
本文来自投稿，不代表本人立场，如若转载，请注明出处：http://www.souzhinan.com/kj/a806508672.html