中国团队在大规模光电智能计算方向取得进展
随着大模型等人工智能技术的突破与发展，算法复杂度剧增，对传统计算芯片带来了算力和功耗的双重挑战。近年来，以光计算为基础、通过光电融合的方式构建光电神经网络的计算处理方法已经成为国际热点研究问题，有望实现计算性能的颠覆性提升。然而，光电神经网络的前向数学模型由对光场的精准物理建模得到，计算复杂度高、参数冗余度大；其学习机制沿用人工神经网络常用的梯度下降算法，面向大规模光电神经网络时优化速度慢、资源消耗高、收敛效果差。因此，现有学习架构仅能支撑小规模光电神经网络的训练，其网络容量和特征捕获能力不足以有效处理ImageNet等大型复杂数据集。
近日，清华大学电子工程系方璐副教授课题组提出了面向大规模光电智能计算的“光学-人工双神经元学习架构（DuAl-Neuron opTical-artificial lEarning,DANTE）”。其中光学神经元精准建模光场计算过程，人工神经元以轻量映射函数建立跳跃连接助力梯度传播，全局人工神经元与局部光学神经元以交替学习的机制进行迭代优化，在确保学习有效性的同时，大大降低了训练的时空复杂度，使得训练更大更深的光电神经网络成为可能。DANTE突破了大规模光电神经网络物理建模复杂、参数优化困难等桎梏，网络规模提升一至两个数量级，训练学习速度提升两个数量级。
图1.光学-人工双神经元学习架构（DANTE）
受限于算力瓶颈与显存容量，现有的单神经元学习方法仅能实现百万量级神经元的光电神经网络训练，难以满足ImageNet等复杂大规模数据集的训练需求。课题组在空间光智能计算平台上开展了大量仿真与物理实验验证，将现有百万量级光电神经元网络的训练时间从数十小时级缩短到了分钟级。课题组进一步基于DANTE，首次实现了亿级神经元的大规模光电神经网络训练与推理，在CIFAR-10、ImageNet等多个数据集上实现了与经典人工神经网络VGG-11和VGG-16相当的准确率。值得强调的是，在ImageNet基准上成功训练光电神经网络具有重要意义。这展现了DANTE在支撑大规模光电神经网络训练学习上的巨大潜力，有望推动光电智能计算从基于MNIST基准的原型验证阶段迈入到使用现代ImageNet基准来解决大规模现实问题的全新时代。
图2.DANTE在CIFAR-10和ImageNet数据集上的训练与推理性能评测
研究成果以“光学-人工双神经元架构训练大规模光电神经网络”（Training large-scale optoelectronic neural networks with dual-neuron optical-artificial learning）为题，于11月4日发表于《自然·通讯》（Nature Communications）期刊上。
版权声明：除特殊说明外，本站所有文章均为 字节点击 原创内容，采用 BY-NC-SA 知识共享协议。原文链接：https://byteclicks.com/54163.html 转载时请以链接形式标明本文地址。转载本站内容不得用于任何商业目的。本站转载内容版权归原作者所有，文章内容仅代表作者独立观点，不代表字节点击立场。报道中出现的商标、图像版权及专利和其他版权所有的信息属于其合法持有人，只供传递信息之用，非商务用途。如有侵权，请联系 gavin@byteclicks.com。我们将协调给予处理。
查看全文
作者最近更新
-
2024年，这家国产惯性传感器厂商营收首破百亿大关！不二科技精选
05-02 20:01 -
智慧消防：传感器科技赋能，防患于未“燃”不二科技精选2024-11-25
-
苏州一家初创传感器企业获数千万元融资，将用于多维力传感器研发不二科技精选2024-06-28
评论0条评论