報(bào)告題目：淺談深度學(xué)習(xí)在圖像復(fù)原與合成中的應(yīng)用
報(bào)告人：張宇倫 博士后研究員
單位：蘇黎世聯(lián)邦理工學(xué)院
報(bào)告時(shí)間：2023年2月7日（周二）上午9:30-11:00
報(bào)告地點(diǎn)：翡翠科教樓A座1106
報(bào)告人簡(jiǎn)介：張宇倫，蘇黎世聯(lián)邦理工學(xué)院計(jì)算機(jī)視覺實(shí)驗(yàn)室博士后研究員。2009-2013年，本科就讀于西安電子科技大學(xué)電子工程學(xué)院智能科學(xué)與技術(shù)專業(yè)。2014-2017年，碩士就讀于清華大學(xué)自動(dòng)化系，碩士期間曾在南洋理工大學(xué)，悉尼大學(xué)及中科院深圳先進(jìn)技術(shù)研究院等機(jī)構(gòu)從事訪問研究。2017-2021年，博士就讀于美國(guó)東北大學(xué)電子與計(jì)算機(jī)工程系。博士期間，先后在Adobe與哈佛大學(xué)從事實(shí)習(xí)和訪問研究。主要研究方向是圖像/視頻復(fù)原與合成，生物醫(yī)學(xué)圖像分析，模型壓縮，計(jì)算成像等。目前在計(jì)算機(jī)視覺，機(jī)器學(xué)習(xí)，多媒體等領(lǐng)域的國(guó)際期刊（如TPAMI）和會(huì)議（如CVPR, ICCV, ECCV, ICLR, NeurIPS）上發(fā)表學(xué)術(shù)論文50余篇。目前，谷歌學(xué)術(shù)引用10313余次，單篇一作論文引用2997余次。獲得6項(xiàng)中國(guó)授權(quán)專利和3項(xiàng)美國(guó)授權(quán)專利，專利技術(shù)被應(yīng)用到Adobe Photoshop軟件。獲得2015年IEEE VCIP最佳學(xué)生論文獎(jiǎng)，2019年IEEE ICCV RLQ Workshop最佳論文獎(jiǎng)。擔(dān)任CVPR 2023, ICCV 2023領(lǐng)域主席(AC)，IJCAI 2021-2022, AAAI 2023資深程序委員(SPC)，TPAMI, IJCV, ICCV, ECCV, ICLR, NeurIPS, ICML等期刊和會(huì)議審稿人。
內(nèi)容摘要：基于深度學(xué)習(xí)的圖像復(fù)原與合成，在當(dāng)今計(jì)算機(jī)視覺領(lǐng)域扮演著基礎(chǔ)而重要的角色。相關(guān)技術(shù)被廣泛應(yīng)用到移動(dòng)設(shè)備（比如，手機(jī)）或者催生一批高估值創(chuàng)業(yè)公司。然而，如何設(shè)計(jì)高效的深度卷積神經(jīng)網(wǎng)絡(luò)，以此來提取更高質(zhì)量的特征，進(jìn)行更好的圖像復(fù)原與合成，仍然頗具挑戰(zhàn)性。此次報(bào)告，將介紹近期在通道與空間維度上增強(qiáng)深度特征的一些工作。對(duì)于圖像復(fù)原，先簡(jiǎn)述提出殘差密集網(wǎng)絡(luò)，然后介紹residual in residual (RIR)結(jié)構(gòu)來訓(xùn)練非常深的圖像超分辨率網(wǎng)絡(luò)。這種RIR結(jié)構(gòu)使得網(wǎng)絡(luò)能學(xué)習(xí)到更多高頻信息，這種信息對(duì)重構(gòu)高質(zhì)量輸出至關(guān)重要。之后，將探索注意力機(jī)制（比如，通道和空間注意力，Transformer等）在圖像復(fù)原任務(wù)中的應(yīng)用。對(duì)于圖像合成，將介紹基于圖割的多峰風(fēng)格變換。將高維深度特征進(jìn)行降維并且可視化，以此發(fā)現(xiàn)了風(fēng)格深度特征的多峰分布現(xiàn)象。進(jìn)而將風(fēng)格匹配問題歸結(jié)為能量最小化問題并用圖割的方法來求解該問題。因此，圖像匹配中變換后的特征包含了更多空間語義信息，能提供更多視覺效果更好的風(fēng)格化效果。此外，還探索了高放大倍數(shù)下，關(guān)于紋理遷移的圖像合成問題。最后，將結(jié)合近期的一些相關(guān)工作（比如，生物醫(yī)學(xué)圖像分析，模型壓縮），給出一些個(gè)人的淺見和展望。
TOP
