本發(fā)明涉及多模態(tài)表示學(xué)習(xí)，尤其是一種多模態(tài)數(shù)據(jù)交互信息提取方法、裝置、設(shè)備，一種計算機程序產(chǎn)品以及一種交互信息提取網(wǎng)絡(luò)訓(xùn)練方法。
背景技術(shù)：
1、多模態(tài)表示學(xué)習(xí)通過集成來自不同模態(tài)數(shù)據(jù)（如文本數(shù)據(jù)、圖像數(shù)據(jù)、音頻數(shù)據(jù)等）到一個統(tǒng)一的潛在空間，利用對比損失來對齊不同模態(tài)數(shù)據(jù)的特征。在多模態(tài)表示學(xué)習(xí)中，多模態(tài)數(shù)據(jù)之間的協(xié)同交互不僅提供互補信息，還通過特定的交互模式創(chuàng)造出單一模態(tài)數(shù)據(jù)無法實現(xiàn)的獨特效果。
2、多模態(tài)表示學(xué)習(xí)涉及到學(xué)習(xí)多模態(tài)數(shù)據(jù)在三個方面的信息：冗余信息、獨立信息和協(xié)同信息。冗余指的是因為存在重疊的共享信息，一個模態(tài)數(shù)據(jù)可以獨立執(zhí)行任務(wù)。獨特性描述了只有一個模態(tài)擁有完成任務(wù)所需的所有信息。協(xié)同性是三者中最重要但又最難以捉摸的，各模態(tài)數(shù)據(jù)間提供互補信息，必須融合方能達成目標。這些交互類型不是靜態(tài)的，它們的主導(dǎo)地位取決于具體的目標任務(wù)，這為多模態(tài)表示學(xué)習(xí)增加了一定的復(fù)雜度。例如，例如：某任務(wù)在特定場景下高度依賴冗余信息，而另一任務(wù)則需協(xié)同整合多模態(tài)方能成功。因此，與任務(wù)無關(guān)的多模態(tài)表示必須涵蓋超越信息冗余的完整交互譜系。
3、現(xiàn)有方法可能難以有效捕獲協(xié)同信息的全譜，從而在協(xié)同交互至關(guān)重要的任務(wù)中表現(xiàn)不佳。例如clip和align在視覺語言任務(wù)中的應(yīng)用，這些模型證明了通過對齊多模態(tài)特征來捕獲多模態(tài)數(shù)據(jù)源之間共享模式的效果，從而實現(xiàn)了多樣化的下游應(yīng)用。然而，當前方法通常依賴于限制性多視圖冗余假設(shè)，該假設(shè)認為一個模態(tài)數(shù)據(jù)足以預(yù)測下游任務(wù)并包含相同的任務(wù)相關(guān)信息。這一假設(shè)源自多視圖學(xué)習(xí)，并在現(xiàn)實世界的多模態(tài)設(shè)置中受到限制，因為許多多模態(tài)任務(wù)涉及極少的共享信息。
技術(shù)實現(xiàn)思路
1、本發(fā)明的發(fā)明目的在于：針對上述存在的全部或部分問題，提供一種多模態(tài)數(shù)據(jù)交互信息提取方法、裝置、設(shè)備、產(chǎn)品和網(wǎng)絡(luò)訓(xùn)練方法，以有效提取多模態(tài)數(shù)據(jù)的協(xié)同交互信息。
2、本發(fā)明采用的技術(shù)方案如下：
3、一種多模態(tài)數(shù)據(jù)交互信息提取方法，所述交互信息包括冗余信息、協(xié)同信息和獨立信息；該方法包括：
4、利用多模態(tài)數(shù)據(jù)樣本訓(xùn)練交互信息提取網(wǎng)絡(luò)；利用訓(xùn)練后的交互信息提取網(wǎng)絡(luò)從針對目標任務(wù)的多模態(tài)數(shù)據(jù)中至少提取出協(xié)同信息；其中，所述交互信息提取網(wǎng)絡(luò)被配置為：
5、對輸入的各模態(tài)數(shù)據(jù)進行數(shù)據(jù)增強；
6、利用模態(tài)編碼器分別編碼各模態(tài)數(shù)據(jù)，得到對應(yīng)的模態(tài)特征；
7、通過融合每個模態(tài)特征得到冗余信息，通過融合每個經(jīng)隨機遮罩后的模態(tài)特征得到協(xié)同信息，通過分別對各模態(tài)特征進行特征增強得到獨立信息。
8、進一步的，所述利用多模態(tài)數(shù)據(jù)樣本訓(xùn)練交互信息提取網(wǎng)絡(luò)，包括：
9、將所述多模態(tài)數(shù)據(jù)樣本輸入所述交互信息提取網(wǎng)絡(luò)，以得到對應(yīng)的交互信息；
10、以最小化總訓(xùn)練損失為目標對交互信息提取網(wǎng)絡(luò)進行訓(xùn)練，其中，所述總訓(xùn)練損失包括交互信息中冗余信息內(nèi)部的對比損失、冗余信息與獨立信息間的對比損失和冗余信息與協(xié)同信息間的對比損失。
11、進一步的，所述以最小化總訓(xùn)練損失為目標對交互信息提取網(wǎng)絡(luò)進行訓(xùn)練，包括：
12、通過最小化冗余信息與協(xié)同信息間的對比損失，來最小化總訓(xùn)練損失；其中，冗余信息與系統(tǒng)信息間的對比損失通過計算協(xié)同信息和冗余信息間的互信息量得到。
13、進一步的，計算協(xié)同信息和冗余信息間的互信息量的方法包括：
14、對每個模態(tài)特征進行多輪隨機遮罩，分別融合每一輪經(jīng)隨機遮罩后的每個模態(tài)特征得到該輪的協(xié)同信息；
15、計算冗余信息與每一輪的協(xié)同信息的互信息量的均值。
16、進一步的，計算協(xié)同信息和冗余信息間的互信息量的方法包括：
17、通過計算協(xié)同信息和冗余信息間的互信息量的下界，來得到協(xié)同信息和冗余信息間的互信息量。
18、進一步的，對輸入的各模態(tài)數(shù)據(jù)進行數(shù)據(jù)增強，包括：
19、對輸入的各模態(tài)數(shù)據(jù)至少進行兩輪數(shù)據(jù)增強，以得到至少兩組經(jīng)數(shù)據(jù)增強的多模態(tài)數(shù)據(jù)。
20、本發(fā)明還提供了一種交互信息提取網(wǎng)絡(luò)訓(xùn)練方法，以訓(xùn)練出用于從針對目標任務(wù)的多模態(tài)數(shù)據(jù)中提取交互信息的交互信息提取網(wǎng)絡(luò)；所述交互信息包括冗余信息、協(xié)同信息和獨立信息；
21、所述交互信息提取網(wǎng)絡(luò)被配置為：
22、對輸入的各模態(tài)數(shù)據(jù)進行數(shù)據(jù)增強；
23、利用模態(tài)編碼器分別編碼各模態(tài)數(shù)據(jù)，得到對應(yīng)的模態(tài)特征；
24、通過融合每個模態(tài)特征得到冗余信息，通過融合每個經(jīng)隨機遮罩后的模態(tài)特征得到協(xié)同信息，通過分別對各模態(tài)特征進行特征增強得到獨立信息；
25、訓(xùn)練方法包括：
26、將多模態(tài)數(shù)據(jù)樣本輸入所述交互信息提取網(wǎng)絡(luò)，以得到對應(yīng)的交互信息；
27、以最小化總訓(xùn)練損失為目標對交互信息提取網(wǎng)絡(luò)進行訓(xùn)練，其中，所述總訓(xùn)練損失包括交互信息中冗余信息內(nèi)部的對比損失、冗余信息與獨立信息間的對比損失和冗余信息與協(xié)同信息間的對比損失。
28、本發(fā)明還提供了一種多模態(tài)數(shù)據(jù)交互信息提取裝置，所述交互信息包括冗余信息、協(xié)同信息和獨立信息；該裝置包括：
29、網(wǎng)絡(luò)訓(xùn)練模塊，用于利用多模態(tài)數(shù)據(jù)樣本訓(xùn)練交互信息提取網(wǎng)絡(luò)；
30、網(wǎng)絡(luò)推理模塊，用于利用訓(xùn)練后的交互信息提取網(wǎng)絡(luò)從針對目標任務(wù)的多模態(tài)數(shù)據(jù)中至少提取出協(xié)同信息；
31、所述交互信息提取網(wǎng)絡(luò)被配置為：
32、對輸入的各模態(tài)數(shù)據(jù)進行數(shù)據(jù)增強；
33、利用模態(tài)編碼器分別編碼各模態(tài)數(shù)據(jù)，得到對應(yīng)的模態(tài)特征；
34、通過融合每個模態(tài)特征得到冗余信息，通過融合每個經(jīng)隨機遮罩后的模態(tài)特征得到協(xié)同信息，通過分別對各模態(tài)特征進行特征增強得到獨立信息。
35、本發(fā)明還提供了一種多模態(tài)數(shù)據(jù)交互信息提取設(shè)備，包括處理器和存儲介質(zhì)，所述存儲介質(zhì)存儲有計算機指令，所述處理器在運行所述計算機指令時，可執(zhí)行上述的多模態(tài)數(shù)據(jù)交互信息提取方法。
36、本發(fā)明還提供了一種計算機程序產(chǎn)品，包括計算機程序，所述計算機程序被處理器運行時，可執(zhí)行上述的多模態(tài)數(shù)據(jù)交互信息提取方法。
37、綜上所述，由于采用了上述技術(shù)方案，本發(fā)明的有益效果是：
38、本發(fā)明在融合多模態(tài)特征過程中隨機遮擋每個模態(tài)特征的相當一部分特征。這種遮罩僅保留部分特征信息，從而創(chuàng)建具有不同協(xié)同模式的融合表示。隨后，通過最大化互信息將未遮擋的融合表示與這些遮擋的表示對齊，以編碼全面的協(xié)同信息。本發(fā)明進行了大量輪次的特征遮罩，無限遮罩策略使本發(fā)明能夠通過在訓(xùn)練期間，使網(wǎng)絡(luò)暴露于多樣的部分模態(tài)信息組合來捕獲更豐富的協(xié)同交互信息。在此基礎(chǔ)上，本發(fā)明通過計算互信息的下界來近似網(wǎng)絡(luò)損失，解決了互信息難以估計的問題。
1.一種多模態(tài)數(shù)據(jù)交互信息提取方法，所述交互信息包括冗余信息、協(xié)同信息和獨立信息；其特征在于，方法包括：
2.如權(quán)利要求1所述的多模態(tài)數(shù)據(jù)交互信息提取方法，其特征在于，所述利用多模態(tài)數(shù)據(jù)樣本訓(xùn)練交互信息提取網(wǎng)絡(luò)，包括：
3.如權(quán)利要求2所述的多模態(tài)數(shù)據(jù)交互信息提取方法，其特征在于，所述以最小化總訓(xùn)練損失為目標對交互信息提取網(wǎng)絡(luò)進行訓(xùn)練，包括：
4.如權(quán)利要求3所述的多模態(tài)數(shù)據(jù)交互信息提取方法，其特征在于，計算協(xié)同信息和冗余信息間的互信息量的方法包括：
5.如權(quán)利要求3所述的多模態(tài)數(shù)據(jù)交互信息提取方法，其特征在于，計算協(xié)同信息和冗余信息間的互信息量的方法包括：
6.如權(quán)利要求1所述的多模態(tài)數(shù)據(jù)交互信息提取方法，其特征在于，對輸入的各模態(tài)數(shù)據(jù)進行數(shù)據(jù)增強，包括：
7.一種交互信息提取網(wǎng)絡(luò)訓(xùn)練方法，以訓(xùn)練出用于從針對目標任務(wù)的多模態(tài)數(shù)據(jù)中提取交互信息的交互信息提取網(wǎng)絡(luò)；所述交互信息包括冗余信息、協(xié)同信息和獨立信息；其特征在于，
8.一種多模態(tài)數(shù)據(jù)交互信息提取裝置，所述交互信息包括冗余信息、協(xié)同信息和獨立信息；其特征在于，裝置包括：
9.一種多模態(tài)數(shù)據(jù)交互信息提取設(shè)備，包括處理器和存儲介質(zhì)，其特征在于，所述存儲介質(zhì)存儲有計算機指令，所述處理器在運行所述計算機指令時，可執(zhí)行如權(quán)利要求1-6任一所述的多模態(tài)數(shù)據(jù)交互信息提取方法。
10.一種計算機程序產(chǎn)品，包括計算機程序，其特征在于，所述計算機程序被處理器運行時，可執(zhí)行如權(quán)利要求1-6任一所述的多模態(tài)數(shù)據(jù)交互信息提取方法。