報(bào)告題目：Multimodal LLMs as Social Media Analysis Engines
報(bào)告時(shí)間：2025年5月16日（星期五）14:30
報(bào)告地點(diǎn)：翡翠湖校區(qū)科教樓B501報(bào)告廳
報(bào) 告 人：羅杰波 教授
工作單位：美國羅切斯特大學(xué)計(jì)算機(jī)科學(xué)系
舉辦單位：太陽集團(tuán)tyc5997（人工智能學(xué)院）
報(bào)告簡介：
近期研究揭示了多模態(tài)大型模型（MLMMs）在通用視覺和語言任務(wù)中的出色能力。人們越來越關(guān)注MLMMs在特定領(lǐng)域的表現(xiàn)，尤其是社交媒體內(nèi)容。由于社交媒體內(nèi)容本質(zhì)上是多模態(tài)的，包含文本、圖像、視頻和音頻，模型需要理解這些不同溝通方式之間的相互作用及其對信息傳遞的影響。然而，理解社交媒體內(nèi)容對當(dāng)前機(jī)器學(xué)習(xí)框架仍是一個(gè)挑戰(zhàn)。為了評估MLMMs在社交媒體分析中的能力，該研究選擇了五個(gè)關(guān)鍵任務(wù)：情感分析、仇恨言論檢測、虛假新聞識(shí)別、人口推斷和政治意識(shí)形態(tài)檢測。研究團(tuán)隊(duì)首先對每個(gè)任務(wù)使用現(xiàn)有基準(zhǔn)數(shù)據(jù)集進(jìn)行初步定量分析，隨后回顧結(jié)果并選取定性樣本，以展示GPT-4V在理解多模態(tài)社交媒體內(nèi)容中的潛力。GPT-4V在這些任務(wù)中表現(xiàn)出色，展現(xiàn)了其在圖像-文本對聯(lián)合理解、語境和文化意識(shí)以及廣泛常識(shí)知識(shí)方面的優(yōu)勢。然而，盡管有這些優(yōu)勢，GPT-4V仍面臨挑戰(zhàn)，例如“幻覺”問題（生成不準(zhǔn)確或虛構(gòu)內(nèi)容），并且在多語言社交媒體內(nèi)容的理解和適應(yīng)最新社交媒體趨勢方面存在困難，因此進(jìn)一步提出了幾種策略來提升模型在這些任務(wù)中的表現(xiàn)。該研究的發(fā)現(xiàn)為MLMMs的未來發(fā)展提供了希望，強(qiáng)調(diào)了通過多態(tài)信息分析來加深對社交媒體內(nèi)容及其用戶的理解的重要性。
報(bào)告人簡介：
羅杰波教授是羅切斯特大學(xué)計(jì)算機(jī)科學(xué)系教授。他于2011年加入該校，此前在柯達(dá)研究實(shí)驗(yàn)室擁有長達(dá)15年的卓越職業(yè)生涯。他發(fā)表了超過600篇技術(shù)論文，并持有超過90項(xiàng)美國專利。他的研究興趣包括計(jì)算機(jī)視覺、自然語言處理（NLP）、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、計(jì)算社會(huì)科學(xué)和數(shù)字健康等領(lǐng)域。他曾參與眾多技術(shù)會(huì)議的組織工作，包括擔(dān)任ACM Multimedia 2010、IEEE CVPR 2012 和 IEEE ICIP 2017的程序主席，以及ACM Multimedia 2018 和 IEEE ICME 2024 的大會(huì)主席。羅教授還曾擔(dān)任多個(gè)頂級期刊的編委，包括 IEEE TPAMI、IEEE TMM、TCSVT、IEEE TBD、ACM TST 和 PR 等。他是 ACM、AAAI、IEEE、AIMBE、IAPR 和 SPIE 的Fellow，同時(shí)是歐洲科學(xué)院院士和美國國家發(fā)明家學(xué)院院士。他于2021年獲得ACM SIGMM技術(shù)成就獎(jiǎng)，并于2025年榮獲IEEE計(jì)算機(jī)協(xié)會(huì)愛德華·J·麥克盧斯基技術(shù)成就獎(jiǎng)。
TOP
