集合三大类无模型强化学习算法，BAIR开源RL代码库rlpyt(3)

rlpyt 是 accel_rl 的修订版本，accel_rl 使用 Theano 尝试在 Atari 领域中扩展强化学习，详见论文《Accelerated Methods for Deep Reinforcement Learning》。对于深度学习和强化学习中的批大小扩展的进一步研究，参见 OpenAI 的报告（https://arxiv.org/abs/1812.06162）。rlpyt 和 accel_rl 最初都受 rllab 的启发。

其他已发布的研究代码库包括 OpenAI 基线和 Dopamine，二者都使用的是 Tensorflow 框架，都没有优化到 rlpyt 的程度，也不包含三类算法。基于 Ray 构建的 Rllib 采取不同的方法执行分布式计算，但可能把小实验复杂化。Facebook Horizon 提供了一组算法，主要关注大规模生产级应用。总之，rlpyt 提供更多算法的模块化实现以及并行化的模块化基础架构，是支持广泛研究应用的工具箱。

结论

BAIR 在相关博客中表示，rlpyt 可以促进对现有深度强化学习技术的便捷使用，并作为开启新研究的起点。例如，rlpyt 没有明确解决一些更先进的话题，如元学习、基于模型的强化学习和多智能体强化学习，但是 rlpyt 提供的可用代码可能对于加速这些领域的发展有所帮助。

（编辑：ASP站长网）