神经规划的参数化层次程序

摘要

神经程序是高度精确和结构化的策略，通过控制计算机制的行为来执行算法任务。尽管有可能增加人工代理行为的可解释性和组合性，但从代表计算机程序的演示神经网络中学习仍然很困难。将算法领域与其他模仿学习领域区分开来的主要挑战是对高精度的需求，数据的特定结构的涉及，以及极其有限的可观察性。为了解决这些挑战，我们建议将程序建模为参数化分层过程(PHPs)。PHP是一个条件操作序列，使用程序计数器和观察来选择执行基本操作、作为子过程调用另一个PHP和返回调用方。我们从一组监督演示中开发了一种训练php的算法，其中只有部分演示带有内部调用结构的注释，并将其应用于多级php的高效分层训练。我们在NanoCraft和long-hand addition两个基准中展示了php可以从少量带注释和未带注释的演示中更准确地学习神经程序。