近日，我院于天宝教授带领的微纳光学团队与信息工程学院刘婷婷副教授通力合作，将光计算与人工智能交叉结合，提出基于光电协同计算架构的生成模型——光电生成对抗网络（OE-GAN），实现了复杂生成任务的高效处理，为突破生成式人工智能的算力与能效瓶颈提供了创新解决方案。该成果以“Optoelectronic generative adversarial networks”为题发表在Nature旗下期刊Communications Physics上。
随着人工智能生成内容（AIGC）技术的快速发展，生成模型已广泛应用于图像、文本及视频等多个领域，然而，传统电子计算框架的高能耗问题日益凸显。光计算凭借其光速并行处理与低功耗的天然优势，为构建高效生成模型开辟了新途径。
研究团队创新性地提出了OE-GAN混合计算架构，其核心是将生成器设计为衍射光学网络（DON），通过相位调制实现光速并行计算；判别器则采用电子多层感知机（MLP），通过对抗训练优化生成器性能。训练完成后，仅需光学生成器执行推理，计算过程近乎全光学化。生成器网络由堆叠的衍射计算单元组成，通过相位调制、光电激活与电子中继三阶段，高效实现光-电信号转换。网络通过逐层相位调制对光场进行精确调控，利用光波的衍射传播特性，光信号在传播过程中完成特定计算任务；经多层级联的衍射传输后，输出端的光场分布映射为计算结果，从而实现高速、低功耗的信息处理过程。
图1 光电网络架构示意图
研究团队在三项典型任务中验证了OE-GAN的通用性：
图像生成：可高效合成手写数字、服装等复杂图像；
条件生成：输入类别标签即可生成特定类别图像，恢复质量与无条件生成相当。
图像修复：对遮挡率超50%的破损图像，重建误差（MSE）低至0.018。
图2 网络在三种生成任务的结果
本研究提出的OE-GAN创新性地融合了光学与电子计算的协同优势，在显著提升计算效率的同时有效降低了能耗。实验验证表明，OE-GAN在图像生成、条件生成及图像修复等多个任务中均展现出稳定的性能表现，尤其在迁移学习场景下可大幅降低训练成本。这一成果为高效生成式AI系统的开发提供了新思路，研究团队将持续推进系统优化工作，加速技术实用化进程。
物理与材料学院博士生邱驹敏、卢淦卿为该论文的共同第一作者，信息工程学院刘婷婷副教授、物理与材料学院于天宝教授为共同通讯作者，南昌大学为唯一通讯单位。物理与材料学院张德健讲师、信息工程学院肖书源副研究员对该研究提供了重要支持。该研究工作得到国家自然科学基金、江西省自然科学基金等项目的支持。
论文信息：Qiu, J., Lu, G., Liu, T. et al. Optoelectronic generative adversarial networks. Commun Phys 8, 162 (2025). https://doi.org/10.1038/s42005-025-02081-6
EN
