為服務(wù)杭州亞運(yùn)會(huì)，踐行“智能”辦賽理念，在北京大學(xué)黃鐵軍教授、仉尚航研究員的指導(dǎo)下，北京大學(xué)莊棨寧學(xué)生團(tuán)隊(duì)基于多模態(tài)大模型研究，結(jié)合視覺、語言、語音等多種模態(tài)輸入，推出AI多語種解說系統(tǒng)，為觀眾提供豐富的觀賽體驗(yàn)。

  競賽解說員不僅會(huì)在解說中提供關(guān)于球隊(duì)和運(yùn)動(dòng)員的相關(guān)信息，還能夠深入分析比賽，介紹比賽戰(zhàn)術(shù)和技巧，幫助觀眾更好地理解比賽。

  北京大學(xué)學(xué)生團(tuán)隊(duì)為幫助應(yīng)對大賽期間比賽項(xiàng)目多、小語種需求大等問題，面向乒乓球、跆拳道、跳水、體操等賽事，推出AI多語種解說系統(tǒng)。據(jù)介紹，該系統(tǒng)可以輔助錄播頻道調(diào)用多模態(tài)大模型，理解視頻內(nèi)容，生成中文、英語、阿拉伯語等多語種解說，擴(kuò)大覆蓋人群。

  莊棨寧介紹，這一技術(shù)通過高速攝像機(jī)的脈沖信號檢測場景物體和運(yùn)動(dòng)員，能夠捕捉體育比賽中的關(guān)鍵時(shí)刻，生成高質(zhì)量的集錦和相關(guān)數(shù)據(jù)，并基于多模態(tài)大模型算法和深度學(xué)習(xí)模型進(jìn)行分析，根據(jù)分析結(jié)果提供個(gè)性化解說服務(wù)。

  此外，該團(tuán)隊(duì)在杭州亞運(yùn)會(huì)期間應(yīng)用具身智能機(jī)器人軟件服務(wù)系統(tǒng)，為視障及有需求的人士提供導(dǎo)航指引等服務(wù)。

  “該系統(tǒng)基于感知生成一體化多模態(tài)大模型，能夠感知與理解場館內(nèi)外的視覺場景，生成豐富的語言描述，控制機(jī)器人執(zhí)行服務(wù)任務(wù)?！鼻f棨寧說，“很榮幸能將我們的所學(xué)、所研轉(zhuǎn)化為可以服務(wù)每個(gè)人的應(yīng)用，讓AI服務(wù)人們的日常生活，助力杭州亞運(yùn)會(huì)。”（記者李春宇、魏夢佳）