2023年1月13日至2023年3月20日,計(jì)算機(jī)視覺和模式識(shí)別國際頂級(jí)會(huì)議CVPR主辦了第五屆野外情感行為分析研討會(huì)暨挑戰(zhàn)賽ABAW(The 5th Workshop and Competition on Affective Behavior Analysis in-the-wild),并于近日公布了競賽排名結(jié)果。

圖1.CVPR 2023 國際會(huì)議
本屆ABAW競賽共分為四個(gè)賽道,吸引了來自全球的202支高校和科研機(jī)構(gòu)的專業(yè)團(tuán)隊(duì)注冊參賽。太陽集團(tuán)tyc5997師生首次參加該知名賽事并摘得情緒反應(yīng)強(qiáng)度估計(jì)賽道(Emotional Reaction Intensity Estimation Challenge)桂冠,彰顯了我院師生在多模態(tài)情感計(jì)算研究方面的技術(shù)實(shí)力。
本次參賽由我院洪日昌教授、汪萌教授帶隊(duì),李佳老師、陳銀(研一)、張雪松(博一)、聶建濤(研一),李自強(qiáng)(大二)、于洋晨(大四)組成了一支師生隊(duì)伍,最終在情緒反應(yīng)強(qiáng)度估計(jì)賽道上以顯著優(yōu)勢取得了冠軍(如圖2,競賽網(wǎng)址:https://ibug.doc.ic.ac.uk/resources/cvpr-2023-5th-abaw/)。據(jù)悉,美國斯坦福大學(xué)、南加州大學(xué),新加坡南洋理工大學(xué)、俄羅斯國立高等經(jīng)濟(jì)大學(xué)、中國科大、中國人民大學(xué)、網(wǎng)易伏羲、華為、北京思圖科技等眾多該領(lǐng)域頂尖團(tuán)隊(duì)也參加了情緒反應(yīng)強(qiáng)度估計(jì)賽道,競爭十分激烈。

圖2. Emotional Reaction Intensity Estimation Challenge排行榜前5
第五屆ABAW研討會(huì)暨挑戰(zhàn)賽由英國倫敦大學(xué)瑪麗女王學(xué)院、英國帝國理工學(xué)院和美國Hume AI公司的科學(xué)家和工程師聯(lián)合發(fā)起,旨在探討情感行為分析在自然場景中的最新研究成果、技術(shù)進(jìn)展和應(yīng)用,包括但不限于基于深度學(xué)習(xí)的情感行為分析方法、基于多模態(tài)的情感行為分析、跨領(lǐng)域的情感行為分析等,致力于提升人機(jī)交互系統(tǒng)的場景應(yīng)用能力,目標(biāo)是創(chuàng)造出能夠理解人的感覺、情緒和行為的機(jī)器和機(jī)器人,從而讓機(jī)器能夠以以人為本的方式與人類互動(dòng)。ABAW研討會(huì)暨挑戰(zhàn)賽已經(jīng)陸續(xù)在ECCV 2022、 CVPR 2022、ICCV 2021、 IEEE FG 2020、CVPR 2017會(huì)議上舉辦數(shù)次,已經(jīng)成為情感計(jì)算領(lǐng)域的一項(xiàng)國際著名賽事。

圖3.太陽集團(tuán)tyc5997師生的技術(shù)方法論文(標(biāo)題)

圖4.ABAW競賽組織方的結(jié)果通知郵件(部分)
針對本次競賽內(nèi)容,太陽集團(tuán)tyc5997師生提出了一種新的多模態(tài)情感特征抽取和融合方法,能夠有效地從視聽數(shù)據(jù)中捕捉人物的情感信息,實(shí)現(xiàn)復(fù)合的情緒反應(yīng)強(qiáng)度精準(zhǔn)估計(jì)(如圖3)。我院師生在私有數(shù)據(jù)集和計(jì)算資源處于明顯劣勢的情況下奪冠實(shí)屬不易。賽事組織方稱贊了獲勝隊(duì)伍(如圖4),獲獎(jiǎng)團(tuán)隊(duì)將在今年的CVPR Workshop上宣講獲勝方案。