大模型优化及应用技术研发中心

R&D Center for Large Model Optimization and Application Technology

【项目简介】

本项目旨在通过研发关键技术和高效推理部署方案，解决大型模型（如基于transformer的decoder-only架构模型）在实际应用中面临的高成本问题。大型模型虽然性能强大，但其庞大的参数量和复杂的计算需求导致推理成本高昂，成为技术推广的主要障碍。项目重点在于优化模型的前向推理过程，提升资源利用率和推理速度，同时保持模型效果不变。通过改进并行计算策略、细粒度任务划分、多级流水线并行等技术，以及开发面向推理的高效分布式通讯协议，项目旨在提高模型在分布式集群中的推理效率，降低通讯冗余，并确保推理过程的稳定性。这对于大规模AI模型的实际部署与应用至关重要，有助于推动人工智能技术的广泛应用。

【牵头人/首席科学家简介】

杨仝，主要领域为网络大数据关键算法与系统。负责重大专项分课题、国家自然基金课题等多项，发表一作/通信作者CCF A类论文近60篇，其中SIGCOMM, SIGKDD, SIGMOD共17篇。多篇论文算法已经在工业界得到了部署和应用。担任多个知名会议期刊（SIGKDD、SIGCOMM Poster、INFOCOM、ICNP、Computer Communication等）的技术评审委员会委员。发表了北京大学第一单位首篇SIGCOMM、NSDI、ToN。主持国家自然基金 区域联合、面上、青年各1项，负责国家重点研发计划课题/子课题3项，华为、头条、中兴项目多项，总经费近2000万。研究成果被国家自然基金委网站报道2次，教育部科技发展中心转发1次，研究成果在华为落地5次、头条1次、Redis数据库1次。指导博士生获得6次校长奖学金，本科生获得4次学院十佳本科毕设，1次学术新星，1次北京市优秀本科毕业设计。