训练你的神经网络:按需网络研讨会和FAQ现在可用!
2018年10月22日 在工程的博客
10月9日,我们举办了一个研讨会训练神经网络——数据科学中心与丹尼·李,在砖技术产品营销经理。这是第二个研讨会免费深度学习基本系列的砖。
在这个网络研讨会中,我们介绍了神经网络训练你的原则包括激活和损失函数,批量大小、数据归一化和验证数据集。
特别是,我们讨论过:
- Hyperparameter调优,学习速率、反向传播和过度拟合的风险
- 优化算法,包括亚当
- 卷积神经网络和为什么他们如此有效的图像分类和目标识别
我们演示了这些概念的一些使用Keras砖(TensorFlow端),这里是一个链接到我们的笔记本今天开始:
你仍然可以看下面的部分1和现在注册第3部分,我们将深入讨论卷积神经网络和如何使用它们:
如果你想免费获取砖统一分析平台bob体育亚洲版bob体育客户端下载并尝试我们的笔记本,你可以访问在这里免费试用。
到最后,我们举行了一个问答,下面是所有的问题和答案,按主题分组。
基本面
问之间的区别是什么感知器和一个人工神经网络,神经元,或节点?
感知器是一个单层人工神经网络(ANN)用作二元分类器。神经元通常与生物相关的神经元,通常这个词中的人工神经元节点用来引用一个安。
问:你如何决定隐藏层的数量给你人工神经网络(安)?它是常见的,安需要四层由四个神经元?
正如介绍了神经网络在网络研讨会和FAQ现有的需求,而你的起点上有一般的经验法则(如从一个隐藏层并相应地扩大,输入节点数等于的维数特征,等等),关键是,你需要测试。,训练你的模型,然后运行测试和/或验证违背模型来理解的准确性(更高更好)和损失(低更好)。
问:什么是递归神经网络的区别卷积神经网络相比,网络研讨会讨论的吗?
卷积神经网络用于图像数据但有固定大小的限制,设计输入和输出向量(例如MNIST数字图像的输入和一个10位数作为可能的输出)。反复出现的神经网络(RNNs)克服这个限制,因为他们对向量序列。一个伟大的博客的主题RNNs不合理的复发性神经网络的有效性。
激活功能
问:你是在网络研讨会,建议你不要使用乙状结肠激活函数?
具体地说,网络研讨会中的引用(15张)CS231N卷积神经网络对视觉识别斯坦福大学课程由Andrej Karparthy(目前AI主任特斯拉):
“神经元类型我应该使用什么?“使用ReLU非线性,小心你的学习速度和可能监控”的分数死”单位网络。如果这个问题你,给漏ReLU或Maxout一试。不要使用乙状结肠。尝试双曲正切,但希望它比ReLU / Maxout工作。
一般来说,这是一个很好的经验法则作为起点什么您应该使用激活功能。重点应该是更多关于使用ReLU ReLU漏水或Maxout激活函数作为他们经常导致更高的精度和更低的损失。有关更多信息,请参阅介绍神经网络在我们深入研究激活功能。
优化
问:为什么使用随机梯度下降法(SGD)作为优化如果可能有更好的优化器如ADADelta ?
在这个网络研讨会中,我们集中在特定区域的图像分类,可以看出使用Adadelta优化聚合速度远远超过其他优化——对于这个场景。研讨会还提到,有其他变量:激活函数,神经网络架构,使用场景,等等,还有更多的研究来对这个话题,将会有新的策略和优化技术来尝试。
问:当我们应该使用梯度增加(如自适应增加或演算法)而不是人工神经网络梯度下降?我们什么时候可以使用演算法代替ADADelta ?
自适应提升(演)是描述的自适应梯度技术提高决策理论泛化的在线学习和一个应用程序来提高。一般来说,这个想法是你将提振疲弱的学习者(学习者只略优于随机机会)通过过滤数据,这样弱的学习者可以更容易地处理数据集。尽管目前的研究指向ann更简单和更快的收敛,同样重要的是要注意,这远不是一个明确的声明。例如,虽然机器学习分类方法的论文比较的非小细胞肺癌纵隔淋巴结转移18 f-fdg PET / CT图像指出,cnn更方便,本文学习深ResNet块按顺序使用提高理论指出,他们BoostResNet算法相比,计算效率比在深ResNet端到端反向传播。虽然这是两个非常不同的论文,重要的呼叫,还有更重要的工作做在这个令人兴奋的领域。
问:你如何适应您的模型在处理倾斜数据?
的上下文中卷积神经网络,这里描述的问题是一个类不平衡问题。一个伟大的关于这一主题的论文是一项系统的研究在卷积神经网络类不平衡问题。一般来说,它调用了类不平衡所带来的影响是相当高,过采样是当前占主导地位的机制来解决这个问题。