Neural networks
神经网络
发展史
- 1950年, 英国科学家Turing提出图灵机模型
- 1956年，达特茅斯会议, Arthur Samuels 提出人工智能机器学习理论
- 1997年 IBM 深蓝计算机战胜国际象棋世界冠军
- 2006年，Google 发布 AlphaGo 战胜国际象棋世界冠军
梯度下降
梯度下降算法是求解无约束最优化问题的一种常用方法。
-
线性拟合
$ y = wx + b $ -
损失函数 $ J = \frac{1}{2m}\sum_{n=1}^{\infty}(\Delta y_i^2) $
-
梯度下降算法找到最小的损失 - 回归(Regression) 或 分类 (Classification)
神经网络
M - P模型
- 输入层(Input Layer) - 输入数据
- 隐含层(Hidden Layer) - 特征提取
- 输出层(Output Layer) - 预测结果
- 激活函数(Activation Function) - 非线性映射
- 损失函数(Loss Function) - 预测结果与真实结果的误差
- 优化算法(Optimization Algorithm) - 最小化损失函数
- 模型训练(Training) - 调整模型参数
- 模型测试(Testing) - 预测结果
- 模型部署(Deployment) - 预测结果
- 模型更新(Updating) - 调整模型参数
- 模型应用(Application) - 预测结果
- 模型优化(Optimization) - 最小化损失函数
- 模型评估(Evaluation) - 预测结果
人工智能框架
- TensorFlow
- Keras
- PyTorch
- MXNet
- Chainer
- CNTK
- Theano
- Deeplearning4j
- Caffe
- Caffe2
- Torch
- DL4J
- DLTK
- DL4J
- MindSpore - 华为
- 自动并行
- 二阶优化
- 全场景协同