北京大学学生团队研发“黑科技”服务杭州亚运会

  为服务杭州亚运会，践行“智能”办赛理念，在北京大学黄铁军教授、仉尚航研究员的指导下，北京大学庄棨宁学生团队基于多模态大模型研究，结合视觉、语言、语音等多种模态输入，推出AI多语种解说系统，为观众提供丰富的观赛体验。

  竞赛解说员不仅会在解说中提供关于球队和运动员的相关信息，还能够深入分析比赛，介绍比赛战术和技巧，帮助观众更好地理解比赛。

  北京大学学生团队为帮助应对大赛期间比赛项目多、小语种需求大等问题，面向乒乓球、跆拳道、跳水、体操等赛事，推出AI多语种解说系统。据介绍，该系统可以辅助录播频道调用多模态大模型，理解视频内容，生成中文、英语、阿拉伯语等多语种解说，扩大覆盖人群。

  庄棨宁介绍，这一技术通过高速摄像机的脉冲信号检测场景物体和运动员，能够捕捉体育比赛中的关键时刻，生成高质量的集锦和相关数据，并基于多模态大模型算法和深度学习模型进行分析，根据分析结果提供个性化解说服务。

  此外，该团队在杭州亚运会期间应用具身智能机器人软件服务系统，为视障及有需求的人士提供导航指引等服务。

  “该系统基于感知生成一体化多模态大模型，能够感知与理解场馆内外的视觉场景，生成丰富的语言描述，控制机器人执行服务任务。”庄棨宁说，“很荣幸能将我们的所学、所研转化为可以服务每个人的应用，让AI服务人们的日常生活，助力杭州亚运会。”（记者李春宇、魏梦佳）