【編者按】

商業(yè)廣告的根本目的是要促進產(chǎn)品銷售或提升品牌認知。通常而言，衡量廣告?zhèn)鞑バЧ年P(guān)鍵指標包括銷售與轉(zhuǎn)化效果、投資回報率、觸達率、點擊率、品牌感知度和受眾反應(yīng)等，其中，又以受眾反應(yīng)為最根本指標。倘若受眾對一則廣告無感甚至反感，那么這次廣告?zhèn)鞑ゾ褪鞘〉模瑹o論是促進銷售，還是品牌建設(shè)，都無從談起。

受眾反應(yīng)是指消費者對廣告的情感和行為反應(yīng)。受眾在觀看廣告視頻時，對于素材元素的認知程度、情緒高低、眼睛注視程度高低都是人的主觀感受，不同性別、年齡、職業(yè)、身份、興趣偏好的人群都會有所不同。通過了解受眾對廣告的反應(yīng)，廣告主或者代理商可以評估廣告內(nèi)容的吸引力和說服力，進而優(yōu)化廣告策略。

然而，相較于觸達率、轉(zhuǎn)化率、投資回報率等客觀的硬指標，受眾反應(yīng)又是一個偏主觀的指標，正所謂“一千個觀眾心中有一千個哈姆雷特”。因而，需要采用統(tǒng)計調(diào)研手段，在不同的受眾當中，測試對同一則廣告的反應(yīng)。比如，在廣告正式出街前，廣告公司會邀請具有代表性的目標受眾，小范圍地觀看廣告樣片樣稿，然后再根據(jù)他們的反饋，對廣告的內(nèi)容和創(chuàng)意進行相應(yīng)的調(diào)整。這種廣告前測調(diào)研也是傳統(tǒng)廣告營銷時代里的常規(guī)操作。

進入大數(shù)據(jù)加持下的數(shù)字廣告營銷時代，廣告受眾被無限細分，打上了各種各樣的個性化標簽，與此同時，廣告?zhèn)鞑ヒ竽軌驖M足個性化內(nèi)容分發(fā)的海量素材且快速觸達，因此傳統(tǒng)的廣告前測手段在指導(dǎo)廣告創(chuàng)作時，在金錢成本和時間成本上的短板就顯得尤為突出。要把針對每一類細分受眾的所有廣告素材都測試一遍甚至多遍，不僅在金錢成本上難以負擔，而且在時間成本上也無法滿足速度快、周期短的數(shù)字化廣告?zhèn)鞑バ枰?。因此，?shù)字廣告時代對受眾反應(yīng)的測試，更多依賴于廣告投放之后對點擊率、轉(zhuǎn)化率以及社交輿情的監(jiān)測。但如此一來，不僅品牌形象安全難以保障，也在某種程度上造成了媒介資源浪費。

好消息是隨著以ChatGPT為代表的生成式AI的出現(xiàn)，傳統(tǒng)數(shù)字廣告營銷正在逐漸轉(zhuǎn)向以AIGC為主導(dǎo)的生成式營銷。既然在創(chuàng)作廣告時，AI可以通過深度學習，以人力所難以達到的效率進行大規(guī)模生產(chǎn)，實現(xiàn)降本增效，那么，假如AI能夠模擬不同人群觀看廣告視頻時的不同主觀感受，對廣告視頻的內(nèi)容、創(chuàng)意等進行有效測試，甚至是多次數(shù)地做測試，就可以更好地以終為始去指導(dǎo)廣告成片過程，節(jié)省廣告測試成本，縮短廣告出街時間，保障品牌形象安全。簡而言之，就是用AI代替人類參加廣告前測，給出原先只有人類才能給出的受眾反應(yīng)。真正實現(xiàn)從創(chuàng)作到測試再到個性化投放的完全AIGC自動化。

在這方面，作為中國企業(yè)級數(shù)據(jù)智能應(yīng)用軟件的提供者，明略科技集團拿出了最新的國際級研究成果。一個月前，在澳大利亞舉行的ACM Multimedia（ACMMM）2024會議上，明略科技的多模態(tài)團隊與北京大學共同完成的最新研究成果《Hypergraph Multi-modal Large Language Model: Exploiting EEG and Eye-tracking Modalities to Evaluate Heterogeneous Responses for Video Understanding》（超圖多模態(tài)大語言模型：應(yīng)用腦電和眼動模態(tài)來評估異質(zhì)人群觀看視頻時的響應(yīng)），在眾多論文中脫穎而出，榮獲最佳論文提名（Best paper nomination）。

該項研究提出了一個全新的多模態(tài)大語言模型范式，在機器理解和模擬人類主觀感受的研究方向，邁出了重要一步。針對當前AI領(lǐng)域在視頻內(nèi)容理解方面主要聚焦于客觀層面，缺少主觀層面的測量標準，以及機器模擬人類主觀感受的有效手段的發(fā)展情況，該項研究成果通過整合腦電和眼動信號，構(gòu)建了超圖多模態(tài)大語言模型（以下簡稱HMLLM），顯著提升機器對視頻內(nèi)容的主觀理解能力。這一創(chuàng)新為廣告視頻的理解和制作提供了全新方法，標志著機器從客觀到主觀維度理解的轉(zhuǎn)變，為品牌主帶來更精準的內(nèi)容創(chuàng)作指導(dǎo)。

明略科技深耕企業(yè)服務(wù)領(lǐng)域18年，并于2019年入選科技部“營銷智能”國家新一代人工智能開放創(chuàng)新平臺。明略科技通過充分挖掘數(shù)據(jù)價值，幫助組織在智能化轉(zhuǎn)型中挖掘營銷和營運場景的商業(yè)價值。明略科技借助自身在社交媒體輿情監(jiān)測、媒介投放數(shù)據(jù)優(yōu)化等方面積累的數(shù)據(jù)優(yōu)勢和經(jīng)驗，加大力度研發(fā)行業(yè)大模型，已推出AI工具“小明助理”，旨在幫助企業(yè)成倍提升大模型使用能力。目前該工具已經(jīng)在明略科技內(nèi)部及客戶方進行了普及，在輔助寫作、知識問答、語言翻譯、文檔歸納總結(jié)等方面被廣泛應(yīng)用。

 

注：ACMMM會議是由國際計算機學會（ACM）主辦的多媒體領(lǐng)域的頂級國際學術(shù)會議，同時也是中國計算機學會推薦的A類國際學術(shù)會議（CCF-A）。自1993年舉辦以來，今年是第32屆。會議議題涵蓋多媒體計算的各個方面，如多媒體內(nèi)容分析、多媒體檢索、多媒體安全、人機交互、計算機視覺等。

 

11月27日，中國商務(wù)廣告協(xié)會邀請明略科技集團創(chuàng)始人、董事長兼CEO吳明輝，向會員單位分享明略科技的這一最新研究成果，講解HMLLM的基本原理，展示其應(yīng)用案例，并就拓展其應(yīng)用場景進行了交流。

吳明輝，明略科技創(chuàng)始人、董事長兼首席執(zhí)行
 

吳明輝，明略科技創(chuàng)始人、董事長兼首席執(zhí)行官。連續(xù)創(chuàng)業(yè)者，擁有20年企業(yè)級服務(wù)領(lǐng)域創(chuàng)業(yè)和管理經(jīng)驗，25年軟件工程開發(fā)和算法研究經(jīng)驗，擁有130余項國內(nèi)外發(fā)明專利。于2006年創(chuàng)立中國最大的互聯(lián)網(wǎng)用戶行為和營銷數(shù)據(jù)分析平臺秒針系統(tǒng)；于2014年，創(chuàng)立明略數(shù)據(jù)，不僅將業(yè)務(wù)范圍從線上商業(yè)領(lǐng)域拓展至政府服務(wù)和線下商業(yè)的數(shù)字化轉(zhuǎn)型，還將技術(shù)能力從大數(shù)據(jù)延伸到了人工智能領(lǐng)域。2019年，成立明略科技集團。

 

一、HMLLM的基本概念和工作原理

對視頻創(chuàng)意和內(nèi)容的理解往往因人而異，不同年齡、職業(yè)和性別的人的關(guān)注點和認知水平也存在差異。目前，業(yè)內(nèi)缺乏這方面的研究，沒有可以進行評測的基礎(chǔ)，大多數(shù)現(xiàn)有的基準都存在兩個主要缺點：一是模態(tài)數(shù)量有限，題目多為選擇題，難以測量邏輯推理過程；二是視頻中的內(nèi)容和場景過于單調(diào)，僅涉及到對視頻內(nèi)容的客觀描述。為此，依托新的評測標準，明略科技創(chuàng)新研發(fā)了超圖多模態(tài)大語言模型（HMLLM），探索不同人口統(tǒng)計、視頻元素、腦電圖和眼動追蹤指標之間的關(guān)聯(lián)。

 

超圖（Hypergraph）簡單來說，是數(shù)學圖論中的一個概念。超圖在包括計算機科學、生物學、社會網(wǎng)絡(luò)分析等在內(nèi)的許多領(lǐng)域都有廣泛應(yīng)用，比如，在社交網(wǎng)絡(luò)分析中，超圖可以用于表示多人同屬一個興趣小組等復(fù)雜關(guān)系。

在生成式人工智能領(lǐng)域，超圖有著非常重要的意義。其中之一便是超圖能夠自然地表示復(fù)雜的關(guān)系和層次結(jié)構(gòu)。例如，在生成文本、圖像或音樂時，模型需要理解并生成各種元素之間的關(guān)系。超圖可以幫助模型更好地捕捉和推理這些關(guān)系。進而，通過超圖表示復(fù)雜的關(guān)系和結(jié)構(gòu)，生成式人工智能模型能夠更準確地捕捉和理解輸入數(shù)據(jù)的本質(zhì)特征，從而生成更高質(zhì)量的內(nèi)容。

多模態(tài)（Multi-modal）是指多種感官，如聽覺、視覺、觸覺等。一種感官就是一個模態(tài)。生成式人工智能通常涉及多種模態(tài)的數(shù)據(jù)，如文本、圖像、聲音等。超圖可以用于表示這些數(shù)據(jù)之間的復(fù)雜關(guān)系，實現(xiàn)多模態(tài)數(shù)據(jù)的融合與理解。例如，在生成跨模態(tài)內(nèi)容（如根據(jù)文字生成圖像）時，超圖可以幫助模型更好地理解不同模態(tài)數(shù)據(jù)之間的內(nèi)在聯(lián)系。

在HMLLM中，明略科技引入大規(guī)模的視頻主觀多模態(tài)評估數(shù)據(jù)集Video-SME這一新基準。通過收集不同人群在觀看相同視頻內(nèi)容時腦電圖（EEG）和眼動追蹤區(qū)域的真實變化，設(shè)立了新的任務(wù)和協(xié)議，分析和評估不同受試者對相同視頻內(nèi)容的認知理解程度。HMLLM可以彌合豐富模態(tài)之間的語義差距，并集成視頻畫面幀與幀之間的信息以執(zhí)行邏輯推理。明略科技在Video-SME和其他基于視頻的生成性能基準上設(shè)計了實驗，大量實驗評估證明了該方法的有效性。
 

二、HMLLM在廣告視頻測試上的應(yīng)用

了解一則廣告的受眾反應(yīng)，是廣告人做消費者洞察時的重要功課。在生成式AI的加持下，廣告人可以降本增效地針對不同的人群產(chǎn)出不同的創(chuàng)意內(nèi)容。讓不同的消費者看到不同的內(nèi)容。但是，只有從消費者主觀視角出發(fā)，把握不同的消費者看到廣告時的主觀感受差異，廣告的效用才能被最大化釋放出來。

隨著大語言模型的迭代升級，生成式AI正變得越來越強大，成本逐漸降低，推理能力不斷提升。一個重大的變化是從單一模態(tài)逐漸進入到多模態(tài)，對語音、圖像與視頻的識別、理解和生成也越來越強。借助HMLLM，通過對廣告內(nèi)容和創(chuàng)意表現(xiàn)做更為深入的測試分析，基于每一類受眾、每一個品牌不同的視角，對內(nèi)容和創(chuàng)意進行理解、解碼，可以更有針對性、精準化的實現(xiàn)內(nèi)容生成。

 

以好萊塢動作明星尚格云頓為沃爾沃卡車拍攝的經(jīng)典廣告為例，應(yīng)用HMLLM可以在視頻廣告播出的同時，屏幕上顯示出機器模擬真實消費者看到視頻后的情緒變化，并且主要在三個維度上進行測算：消費者是否理解視頻內(nèi)容，消費者看到視頻后的情緒是正面還是負面的，消費者的注意力是否被視頻吸引。除此之外，HMLLM還可以對不同的人群進一步分解，對比不同人群觀看視頻后的反應(yīng)差異。

更為重要的是，HMLLM還可以對機器模擬人類對收看視頻后所產(chǎn)生的主觀反應(yīng)進行詳細的歸因敘述，也就是不僅可以了解視頻中的哪些內(nèi)容讓人產(chǎn)生了不同的反應(yīng)，而且還可以說明之所以產(chǎn)生這些反應(yīng)的原因，從而能夠為更高質(zhì)量地生產(chǎn)更高效用的廣告內(nèi)容提供更多的啟發(fā)與指導(dǎo)。

三、HMLLM對AI領(lǐng)域和廣告營銷行業(yè)的價值

HMLLM作為一種全新的范式，能夠為廣告營銷領(lǐng)域研究人員解決非標準模態(tài)問題，提供寶貴經(jīng)驗與啟示，從而促進大模型領(lǐng)域向人機協(xié)同的美好未來邁進。此外，根據(jù)明略科技的研判，讓機器學習、理解和模擬人類的主觀感受，可能是賦予機器主觀意識的開端。明略科技提出的新基準Video-SME有望成為該領(lǐng)域的新起點，標志著機器對視頻的理解從客觀維度向主觀維度的轉(zhuǎn)變。

首先，HMLLM為人工智能領(lǐng)域貢獻了Video-SME這一獨特且開源的數(shù)據(jù)集。這個數(shù)據(jù)集目前包含了500個經(jīng)典廣告案例，并且記錄了不同人群在觀看這些廣告時的腦電和眼動數(shù)據(jù)。通過公開這一數(shù)據(jù)集，明略科技為所有AI研究者提供了一個寶貴的資源，使他們能夠基于此數(shù)據(jù)進行模型訓練和預(yù)測準確性的比對和精調(diào)。這一貢獻不僅豐富了AI領(lǐng)域的數(shù)據(jù)資源，還促進了模型評估與比較的標準化。

 

其次，HMLLM創(chuàng)新性地提出了數(shù)據(jù)集的采集與整合方法。在構(gòu)建這個數(shù)據(jù)集的過程中，明略科技面臨了多模態(tài)數(shù)據(jù)融合的挑戰(zhàn)。部分視頻包含腦電數(shù)據(jù)，部分則只有文字描述，還有些視頻既無腦電數(shù)據(jù)也無文字描述。為了克服這些難題，明略科技開發(fā)了一套復(fù)雜的數(shù)據(jù)整合流程，并結(jié)合專家評審來確保數(shù)據(jù)的質(zhì)量和準確性。此外，明略科技還特別設(shè)計了模態(tài)缺失的場景，以挑戰(zhàn)和提升算法在多模態(tài)處理中的魯棒性。在貢獻數(shù)據(jù)集的同時，HMLLM也注重了數(shù)據(jù)集的統(tǒng)計學特性，確保樣本具有廣泛的代表性。這一貢獻不僅為AI研究提供了更為真實和復(fù)雜的數(shù)據(jù)環(huán)境，還推動了多模態(tài)數(shù)據(jù)處理技術(shù)的發(fā)展。

其三，針對廣告營銷行業(yè)，HMLLM不僅可以協(xié)助廣告內(nèi)容的生成，還可以大幅降低廣告前測的成本與泄密風險，特別是能夠在助力中國品牌出海方面大有可為。當前，中國品牌出海方興未艾，了解、尊重和遵守出海目標市場的風土人情、文化習俗、法律法規(guī)也是確保出海成功的一項必修課，因此，具有一定樣本規(guī)模的廣告前測必不可少。然而，一來廣告前測的成本較高。據(jù)了解，在國外一個市場上對一支廣告片進行前測的費用至少是一萬美元起步，這對于出海的中小企業(yè)而言，是一筆不小的開支。二來廣告前測時有發(fā)生內(nèi)容提前泄露的風險。那么，在大幅降低前測成本、有效規(guī)避泄密風險方面，HMLLM可以成為出海品牌的得力助手。

下一步，明略科技將在提高HMLLM能力和拓展HMLLM服務(wù)范圍兩方面下功夫。在提升模型能力方面，明略科技將利用在社交媒體輿情監(jiān)測與分析方面積累的成果注入HMLLM當中，極大擴充機器所模擬的人類角色數(shù)量到170個以上。在拓展服務(wù)范圍方面，明略科技將建立AI驅(qū)動的全球化創(chuàng)意測試及優(yōu)化平臺，首期將來自全球五大洲的5萬個廣告案例收集入數(shù)據(jù)庫，了解不同文化背景的人群在觀看這些廣告時所產(chǎn)生的情緒與情感變化數(shù)據(jù)。為了實現(xiàn)這一目標，明略科技將把之前展示的產(chǎn)品以SAAS（軟件即服務(wù)）的形式直接推向海外市場。這意味著，無論是中國品牌出海，還是進入其他國家和地區(qū)的市場，明略科技都能提供一種高效且成本相對較低的方法，幫助企業(yè)在當?shù)乜焖贉y試廣告片的文化反饋。

四、交流環(huán)節(jié)

在講座的最后，李西沙會長與吳明輝就本次講座的內(nèi)容進行了深入交流，進一步探討了HMLLM這項最新的研究成果在廣告營銷領(lǐng)域的應(yīng)用場景，特別是對于當下流行的微短劇、短視頻以及直播帶貨等新興營銷形式的適用性。

李西沙會長指出，科技在推動營銷領(lǐng)域變革中發(fā)揮著重要作用，明略科技的這項研究具有很強的學術(shù)前沿性。接下來，要充分應(yīng)用研究成果，精準洞察消費者，更深入地了解不同受眾的真實反應(yīng)。不僅能為制定更高效的廣告策略提供科學依據(jù)，還可以為政府治理微短劇和直播帶貨領(lǐng)域內(nèi)存在的問題發(fā)揮效用。

吳明輝表示，目前已有客戶在使用HMLLM進行廣告前測，并且這種測試不僅限于腦電和眼動數(shù)據(jù)，還可以整合點擊率、轉(zhuǎn)化率等多種指標進行預(yù)測。然而，他更看重的是情緒和情感維度的測試，認為這有助于廣告回歸其本質(zhì)價值——為消費者帶來美好。

對于微短劇和短視頻領(lǐng)域，吳明輝表示HMLLM完全能夠監(jiān)測和分析這些內(nèi)容。他還特別提到了短劇出海和廣告植入兩個應(yīng)用場景，認為HMLLM可以幫助創(chuàng)作者更好地理解和滿足目標受眾的情感需求，提高內(nèi)容的吸引力和廣告植入的效果。

針對西沙會長提出的對直播帶貨進行測試建議，吳明輝表示接下來將嘗試將HMLLM應(yīng)用于直播帶貨領(lǐng)域，以揭示消費者在這一新興購物模式下的真實反應(yīng)和偏好。