包括两个方向的反向传播算法，一是由物理硬件引发的模拟-现实差距，比如光电芯片中，前向传播是不可微分的物理过程，但是仿真计算的时候用可微分模型；二是传统反向传播算法的改进

模拟-现实差距

Equilibrium Propagation: Bridging the Gap between Energy-Based Models and Backpropagation

• 均衡传播

参考资料：

• 通过平衡传播获得更好的AI芯片-电子发烧友网 (elecfans.com) (opens new window)

传统反向传播

Infinite-dimensional Folded-in-time Deep Neural Networks

• 用一系列有限维Fit-DNN以近似无限维Fit-DNN
• 主要是没意义的推导，实验没有

Boosting Algorithms as Gradient Descent

参考资料：

• 傻子都能看懂的——详解AdaBoost原理_越来越胖的GuanRunwei的博客-CSDN博客_adaboost (opens new window)

#

启示

• 虽然公式推导一大堆，到底有何实际意义？