本项目旨在通过研发关键技术和高效推理部署方案，解决大型模型（如基于transformer的decoder-only架构模型）在实际应用中面临的高成本问题。大型模型虽然性能强大，但其庞大的参数量和复杂的计算需求导致推理成本高昂，成为技术推广的主要障碍。项目重点在于优化模型的前向推理过程，提升资源利用率和推理速度
微信
微博
地址：上海市浦东新区南汇新城镇海洋二路88弄创新魔坊二期一号楼
邮编：201306
京ICP备05065075号-1 |京公网安备 110402430047 号
版权所有©上海临港北京大学国际科技创新中心
