揭秘“挑戰杯”數字人的“前世今生”
發布日期：2023-03-22 供稿：《中國科學報》 攝影：校園網
編輯：吳楠 審核：藺偉 閱讀次數：【編者按】3月19日，第十三屆“挑戰杯”中國大學生創業計劃競賽圓滿收官，北京理工大學以7金1銀金獎總數第一、總分第一的優異成績捧得最高榮譽“挑戰杯”！作為本次大賽的承辦方，北理工充分發揮科技優勢，創新數字辦賽，打造了001號數字參賽者“靈”，受到了社會廣泛關注，《中國科學報》等多家媒體報道了數字人誕生背后的故事。
《數字少年》MV中，“靈”（左）迎接參賽選手。
“主持人好！大家好！我是本屆‘挑戰杯’的001號參賽選手，我叫‘靈’。”一個扎著高馬尾辮，穿著白襯衫、灰裙的“女孩”，在藍色大屏幕中向全國觀眾打招呼。
3月17日是“靈”正式“上崗”的第一天。此前，她出現在第十三屆“挑戰杯”中國大學生創業計劃競賽（以下簡稱“挑戰杯”）主題曲《數字少年》當中。作為“挑戰杯”數字化參賽的引導者，她站在石灰色的大門前，輕擺著右臂，接引著“挑戰杯”參賽選手入場，身后晨光熹微。
3月17日至19日，第十三屆“挑戰杯”中國大學生創業計劃競賽在北京理工大學舉行。與往屆比賽不同，這屆“挑戰杯”大賽是元宇宙在中國高校第一次大規模運用，“靈”也是“挑戰杯”辦賽史上第一位數字人。隔著屏幕，不少大學生驚呼“太酷了！”
“靈”是怎么誕生的？帶著這份好奇，讓我們一起走進光電學院教授翁冬冬的實驗室。
能換裝、換發型的數字人
采集數字人表情的“大球”
走進一個光線幽暗的實驗室，一旁的攝像頭星羅棋布包裹成一個“大球”，仿佛來到了一個星際空間。這里就是數字人的誕生地。
“大球”里共有80個三角面，42個頂點和120條邊，邊的中點和頂點上安裝光源，實際光源數量為156個。球形燈光舞臺圍繞其中心均勻排布36臺佳能850D相機，用來采集各個視角下的人臉圖像、極限表情和人臉材質。
演員坐在球的正中央，在快門頻繁開合、后臺算法的運算下，最終制作團隊重建高精度人臉三維模型、高精度多通道人臉材質。在“大球”中，生成的數字人有數字明星李星瀾、手語主持人千言等。
與以往的數字人誕生有所不同，此次團隊開發的“靈”，完全由數字生成，并沒有真人原型。她由800多根骨骼協同控制其面部表情，同時由82個材質參數的變化進行面部材質的動態調整，成為一個栩栩如生的數字人。
“挑戰杯”開幕上“靈”的登場
“作為‘挑戰杯’數字化辦賽的形象大使，‘靈’的登場將開啟數字技術基礎上的辦賽辦會新模式。”校團委書記劉淵說。
據介紹，“靈”是本屆“挑戰杯”數字化參賽的引導者。與“靈”搭檔的，還有一名數字人“境”，作為本屆“挑戰杯”元宇宙世界的引導者。“靈”與“境”共同組成“靈境”一詞，是錢學森對“Virtual Reality”（虛擬現實）的中譯。
早期的數字人多基于二維體系構建而成，由于解耦程度比較低，換衣服、換發型、換光線等效果都難以實現。
如今，技術已發展到在三維體系中制作數字人，“二維與三維最大的區別，有點像電影與游戲的區別——電影拍完不能改，而游戲是由玩家控制。三維下的數字人，表情、服裝、頭發甚至動作都可實時變換，而二維體系下的數字人很難做到。”翁冬冬說。
比如，“靈”可以換裝，在剛出場時穿著生活裝，而到了正式場合就換成了禮服；而臉部光線也會隨著白天、黑夜有所變化，讓表情更加靈動自然。此外，隨著話語內容的不同，“靈”還可以做出豐富多樣的播報動作。
捏臉的有意思之處
在元宇宙中，數字人是不可或缺的角色。
7年前，北京理工大學與其他高校合作成立北京市未來影像高精尖中心，當時翁冬冬接到的任務是做“沉浸式敘事”，簡單來說，就是要在虛擬現實空間中把故事重新呈現出來。研究之初，翁冬冬便發現了一個重要問題——沒有“演員”。為此，他們決定做高逼真數字人。
在做超寫實數字人之前，也有人問過翁冬冬，“95后”Z時代喜歡二次元，為什么不考慮做二次元？
事實上，二次元是小眾文化，真人參演的影視劇遠比二次元人物多得多。那么，是真人，就一定要像一個人。
把表情做的生動是第一步。“數字人的表情應該非常豐富，能夠根據控制需要，準確的做出喜、怒、哀、樂各種表情。同時數字人的表情還應該具有個性化，使得每個數字人看起來都與眾不同。” 團隊中負責表情驅動的博士生包儀華解釋道。
提高“靈”面部模型數據的精度
第二步是精確采集人的表情。為此，系統需要非常靈敏，即使演員做出了一個非常微小的表情動作，系統也能夠立刻準確的將其捕捉到。“如今毫米級的采集已可以做到，但對于人臉僅僅是精確還不夠，還要保證采集能夠在一個很高的速度下完成。”翁冬冬說。
做人臉之所以困難，是因為我們對人臉太熟悉，但同時又存在太多不同的語言體系來對其進行描述。包儀華表示，“最害怕”的是和藝術學老師在一起討論數字人，“他們常說數字人缺少神韻”。
“神韻是啥？能否說具體一點？”
“我已經說得很具體了，就是沒神。”
之前，翁冬冬團隊在做“數字梅蘭芳”項目時，就經常出現這樣的“尬聊”，“我們拿著尺子去量，你看臉、鼻子的距離一樣，但拼合在一起，藝術學老師就是覺得不一樣，這就是人臉的有意思之處。”
讓數字人去打一場比賽
測試中的“靈”
美國傳播學家艾伯特·梅拉比安對于溝通提出一個公式：溝通時信息的全部表達="7%語調+38%聲音+55%肢體語言。
看到這個比例，你也許會很吃驚，原來信息大部分是通過肢體語言和表情來傳達。但是語言、表情和動作等通道之間的不協調，卻會使得數字人產生錯誤的表達。比如，一個人嘴上說著“很有道理”，眼睛里卻流露出輕蔑的表情，你會相信他這句話是真的嗎？
翁冬冬介紹，相比較從前只有聲音、沒有形象的人工智能，有形象的智能數字人在是否“像人”方面，被用戶寄予了更高的期望和要求。一個簡單的“不當行為”就可能暴露出數字人的“虛假本質”。比如，銀行入口站著一個“接待員”，有顧客經過時，真人的目光會跟隨、會跟顧客打招呼，而數字人可能無動于衷。
翁冬冬一直在想“要不要給數字人賦予需求，因為有了需求的智能體才會像人一樣去主動探索世界”。比如讓數字人會餓，會有社交焦慮等。
他把這一想法放在“靈”身上實現，便是給予她參賽選手的身份，讓她有“競爭”的需求。站在元宇宙的舞臺中央，“靈”作為北理工“老智星”團隊的參賽選手，落落大方地為臺下“觀眾”介紹這款專為老年人設計的，專門對抗老年人智力流失的VR游戲。他們還引入了由清華大學團隊開發的、類似ChatGPT功能的聆心智能。
“你們所需要的啟動資金是多少？”
“我的啟動資金是20萬元，我希望以轉讓股權的方式吸引到一位投資人加入，以促進我們公司更好更快地發展。”流利地給出答案同時，“靈”目光流轉，很自然地做出了一個歡迎的手勢。
有意思的是，考慮再三，翁冬冬最終還是決定把“靈”的賽場形象做得“假一點”。“真是擔心選手們把‘她’與真人混淆起來。”翁冬冬笑道。
