本技術(shù)涉及數(shù)據(jù)處理，特別是涉及一種基于隱表示的非完整多模態(tài)深度聚類方法、裝置和計(jì)算機(jī)設(shè)備。

背景技術(shù)：

1、隨著電子設(shè)備與信息技術(shù)的飛速發(fā)展，多模態(tài)數(shù)據(jù)在現(xiàn)實(shí)應(yīng)用中變得日益普遍。多模態(tài)數(shù)據(jù)涵蓋了同一批事物在多個(gè)維度的信息，如互聯(lián)網(wǎng)廣告推薦場(chǎng)景中用戶的生活習(xí)慣、購(gòu)物記錄等多模態(tài)信息，以及阿爾茲海默癥診斷里病人的血液化驗(yàn)、影像檢測(cè)等多模態(tài)數(shù)據(jù)?；诖?，多模態(tài)聚類技術(shù)應(yīng)運(yùn)而生，它無(wú)需標(biāo)簽信息，就能對(duì)多個(gè)模態(tài)的數(shù)據(jù)進(jìn)行融合分析并劃分類別，成為備受關(guān)注的研究熱點(diǎn)。

2、目前，現(xiàn)有的多模態(tài)聚類方法大多由單模態(tài)聚類改造而來(lái)，主要分為多核聚類、多模態(tài)子空間聚類等五類。其中，多模態(tài)深度聚類憑借神經(jīng)網(wǎng)絡(luò)強(qiáng)大的學(xué)習(xí)能力，在聚類性能上表現(xiàn)突出，其通常利用編碼器將各模態(tài)數(shù)據(jù)映射為獨(dú)立隱表示，再進(jìn)行融合聚類，且這兩個(gè)過(guò)程相互影響輔助。為進(jìn)一步提升性能，部分方法還采用卷積神經(jīng)網(wǎng)絡(luò)、transformer?等更強(qiáng)的神經(jīng)網(wǎng)絡(luò)。當(dāng)面對(duì)現(xiàn)實(shí)中因傳感器損壞或環(huán)境限制導(dǎo)致的模態(tài)缺失問(wèn)題時(shí)，非完整多模態(tài)深度聚類方法被提出，這類方法同樣先將可見(jiàn)模態(tài)數(shù)據(jù)映射為隱表示，再進(jìn)行融合聚類，同時(shí)引入損失函數(shù)和約束項(xiàng)優(yōu)化聚類結(jié)果。

3、然而，現(xiàn)有的非完整多模態(tài)深度聚類方法存在明顯不足，阻礙了聚類性能的進(jìn)一步提升。其一，忽略了數(shù)據(jù)隱表示在各個(gè)模態(tài)下的唯一性，將不同模態(tài)數(shù)據(jù)對(duì)應(yīng)的隱表示獨(dú)立處理，未意識(shí)到其潛在表示應(yīng)具有唯一性；其二，忽視了樣本在缺失模態(tài)中兩兩之間的相似度，僅融合已有模態(tài)數(shù)據(jù)對(duì)應(yīng)的隱表示，未將缺失數(shù)據(jù)納入考慮。

技術(shù)實(shí)現(xiàn)思路

1、基于此，有必要針對(duì)上述技術(shù)問(wèn)題，提供一種基于隱表示的非完整多模態(tài)深度聚類方法、裝置和計(jì)算機(jī)設(shè)備。

2、一種基于隱表示的非完整多模態(tài)深度聚類方法，所述方法包括：

3、獲取多模態(tài)數(shù)據(jù)、模態(tài)缺失指示向量以及劃分類別數(shù)；所述多模態(tài)數(shù)據(jù)包括 n個(gè)樣本的 v個(gè)模態(tài)數(shù)據(jù)；所述模態(tài)缺失指示向量用于指示樣本的第 v模態(tài)缺失或可見(jiàn)；

4、初始化 n個(gè)樣本的隱表示，利用 v個(gè)神經(jīng)網(wǎng)絡(luò)分別將各樣本的隱表示映射到對(duì)應(yīng)模態(tài)的特征空間，得到樣本各模態(tài)的重構(gòu)數(shù)據(jù)表示，根據(jù)模態(tài)缺失指示向量獲取各樣本的缺失模態(tài)，利用缺失模態(tài)的重構(gòu)數(shù)據(jù)表示對(duì)缺失模態(tài)數(shù)據(jù)進(jìn)行補(bǔ)全，根據(jù)各樣本的可見(jiàn)模態(tài)數(shù)據(jù)和補(bǔ)全后的缺失模態(tài)數(shù)據(jù)得到完整多模態(tài)數(shù)據(jù)；

5、對(duì)完整多模態(tài)數(shù)據(jù)中各模態(tài)數(shù)據(jù)和各樣本隱表示的線性核矩陣進(jìn)行核對(duì)齊，對(duì)各模態(tài)的核對(duì)齊損失進(jìn)行加權(quán)融合得到數(shù)據(jù)對(duì)齊損失；

6、根據(jù)各重構(gòu)數(shù)據(jù)表示和對(duì)應(yīng)模態(tài)數(shù)據(jù)間的距離構(gòu)建數(shù)據(jù)重構(gòu)損失，根據(jù)所述數(shù)據(jù)重構(gòu)損失和所述數(shù)據(jù)對(duì)齊損失得到總損失函數(shù)；

7、對(duì)所述總損失函數(shù)進(jìn)行優(yōu)化，利用優(yōu)化后的各樣本的隱表示進(jìn)行聚類，得到各劃分類別的數(shù)據(jù)標(biāo)簽。

8、在其中一個(gè)實(shí)施例中，還包括：根據(jù)各重構(gòu)數(shù)據(jù)表示和對(duì)應(yīng)模態(tài)數(shù)據(jù)間的距離構(gòu)建數(shù)據(jù)重構(gòu)損失為：

9、

10、其中，為數(shù)據(jù)重構(gòu)損失，為樣本個(gè)數(shù)，為模態(tài)數(shù)量，為第個(gè)樣本的可見(jiàn)模態(tài)數(shù)量，為模態(tài)缺失指示向量，為第個(gè)樣本的第模態(tài)數(shù)據(jù)的重構(gòu)數(shù)據(jù)表示，為第個(gè)樣本的第模態(tài)數(shù)據(jù)，為歐幾里得距離。

11、在其中一個(gè)實(shí)施例中，還包括：計(jì)算完整多模態(tài)數(shù)據(jù)中各樣本隱表示的線性核矩陣，得到隱表示核矩陣；計(jì)算完整多模態(tài)數(shù)據(jù)中各模態(tài)的線性核矩陣，得到各模態(tài)對(duì)應(yīng)的模態(tài)核矩陣；通過(guò)最大化隱表示核矩陣與各模態(tài)核矩陣的相似度進(jìn)行核矩陣對(duì)齊。

12、在其中一個(gè)實(shí)施例中，還包括：對(duì)各模態(tài)的核對(duì)齊損失進(jìn)行加權(quán)融合得到數(shù)據(jù)對(duì)齊損失為：

13、；

14、其中，為數(shù)據(jù)對(duì)齊損失，為第個(gè)模態(tài)的權(quán)重，為第個(gè)模態(tài)的核齊損失。

15、在其中一個(gè)實(shí)施例中，還包括：對(duì)數(shù)據(jù)重構(gòu)損失和數(shù)據(jù)對(duì)齊損失進(jìn)行優(yōu)化，得到優(yōu)化后的神經(jīng)網(wǎng)絡(luò)參數(shù)、各樣本的隱表示和各模態(tài)的權(quán)重參數(shù)。

16、在其中一個(gè)實(shí)施例中，所述重構(gòu)數(shù)據(jù)表示為：

17、；

18、其中，為第個(gè)樣本第模態(tài)的重構(gòu)數(shù)據(jù)表示，為第個(gè)樣本的隱表示，表示第個(gè)神經(jīng)網(wǎng)絡(luò)的參數(shù)。

19、在其中一個(gè)實(shí)施例中，所述總損失函數(shù)為：

20、

21、其中，為總損失函數(shù)，為數(shù)據(jù)重構(gòu)損失，為數(shù)據(jù)對(duì)齊損失，為超參數(shù)。

22、一種基于隱表示的非完整多模態(tài)深度聚類裝置，所述裝置包括：

23、數(shù)據(jù)獲取模塊，用于獲取多模態(tài)數(shù)據(jù)、模態(tài)缺失指示向量以及劃分類別數(shù)；所述多模態(tài)數(shù)據(jù)包括 n個(gè)樣本的 v個(gè)模態(tài)數(shù)據(jù)；所述模態(tài)缺失指示向量用于指示樣本的第 v模態(tài)缺失或可見(jiàn)；

24、數(shù)據(jù)重構(gòu)模塊，用于初始化 n個(gè)樣本的隱表示，利用 v個(gè)神經(jīng)網(wǎng)絡(luò)分別將各樣本的隱表示映射到對(duì)應(yīng)模態(tài)的特征空間，得到樣本各模態(tài)的重構(gòu)數(shù)據(jù)表示，根據(jù)模態(tài)缺失指示向量獲取各樣本的缺失模態(tài)，利用缺失模態(tài)的重構(gòu)數(shù)據(jù)表示對(duì)缺失模態(tài)數(shù)據(jù)進(jìn)行補(bǔ)全，根據(jù)各樣本的可見(jiàn)模態(tài)數(shù)據(jù)和補(bǔ)全后的缺失模態(tài)數(shù)據(jù)得到完整多模態(tài)數(shù)據(jù)；

25、數(shù)據(jù)對(duì)齊模塊，用于對(duì)完整多模態(tài)數(shù)據(jù)中各模態(tài)數(shù)據(jù)和各樣本隱表示的線性核矩陣進(jìn)行核對(duì)齊，對(duì)各模態(tài)的核對(duì)齊損失進(jìn)行加權(quán)融合得到數(shù)據(jù)對(duì)齊損失；

26、損失構(gòu)建模塊，用于根據(jù)各重構(gòu)數(shù)據(jù)表示和對(duì)應(yīng)模態(tài)數(shù)據(jù)間的距離構(gòu)建數(shù)據(jù)重構(gòu)損失，根據(jù)所述數(shù)據(jù)重構(gòu)損失和所述數(shù)據(jù)對(duì)齊損失得到總損失函數(shù)；

27、結(jié)果輸出模塊，用于對(duì)所述總損失函數(shù)進(jìn)行優(yōu)化，利用優(yōu)化后的各樣本的隱表示進(jìn)行聚類，得到各劃分類別的數(shù)據(jù)標(biāo)簽。

28、一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)以下步驟：

29、獲取多模態(tài)數(shù)據(jù)、模態(tài)缺失指示向量以及劃分類別數(shù)；所述多模態(tài)數(shù)據(jù)包括 n個(gè)樣本的 v個(gè)模態(tài)數(shù)據(jù)；所述模態(tài)缺失指示向量用于指示樣本的第 v模態(tài)缺失或可見(jiàn)；

30、初始化 n個(gè)樣本的隱表示，利用 v個(gè)神經(jīng)網(wǎng)絡(luò)分別將各樣本的隱表示映射到對(duì)應(yīng)模態(tài)的特征空間，得到樣本各模態(tài)的重構(gòu)數(shù)據(jù)表示，根據(jù)模態(tài)缺失指示向量獲取各樣本的缺失模態(tài)，利用缺失模態(tài)的重構(gòu)數(shù)據(jù)表示對(duì)缺失模態(tài)數(shù)據(jù)進(jìn)行補(bǔ)全，根據(jù)各樣本的可見(jiàn)模態(tài)數(shù)據(jù)和補(bǔ)全后的缺失模態(tài)數(shù)據(jù)得到完整多模態(tài)數(shù)據(jù)；

31、對(duì)完整多模態(tài)數(shù)據(jù)中各模態(tài)數(shù)據(jù)和各樣本隱表示的線性核矩陣進(jìn)行核對(duì)齊，對(duì)各模態(tài)的核對(duì)齊損失進(jìn)行加權(quán)融合得到數(shù)據(jù)對(duì)齊損失；

32、根據(jù)各重構(gòu)數(shù)據(jù)表示和對(duì)應(yīng)模態(tài)數(shù)據(jù)間的距離構(gòu)建數(shù)據(jù)重構(gòu)損失，根據(jù)所述數(shù)據(jù)重構(gòu)損失和所述數(shù)據(jù)對(duì)齊損失得到總損失函數(shù)；

33、對(duì)所述總損失函數(shù)進(jìn)行優(yōu)化，利用優(yōu)化后的各樣本的隱表示進(jìn)行聚類，得到各劃分類別的數(shù)據(jù)標(biāo)簽。

34、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)以下步驟：

35、獲取多模態(tài)數(shù)據(jù)、模態(tài)缺失指示向量以及劃分類別數(shù)；所述多模態(tài)數(shù)據(jù)包括 n個(gè)樣本的 v個(gè)模態(tài)數(shù)據(jù)；所述模態(tài)缺失指示向量用于指示樣本的第 v模態(tài)缺失或可見(jiàn)；

36、初始化 n個(gè)樣本的隱表示，利用 v個(gè)神經(jīng)網(wǎng)絡(luò)分別將各樣本的隱表示映射到對(duì)應(yīng)模態(tài)的特征空間，得到樣本各模態(tài)的重構(gòu)數(shù)據(jù)表示，根據(jù)模態(tài)缺失指示向量獲取各樣本的缺失模態(tài)，利用缺失模態(tài)的重構(gòu)數(shù)據(jù)表示對(duì)缺失模態(tài)數(shù)據(jù)進(jìn)行補(bǔ)全，根據(jù)各樣本的可見(jiàn)模態(tài)數(shù)據(jù)和補(bǔ)全后的缺失模態(tài)數(shù)據(jù)得到完整多模態(tài)數(shù)據(jù)；

37、對(duì)完整多模態(tài)數(shù)據(jù)中各模態(tài)數(shù)據(jù)和各樣本隱表示的線性核矩陣進(jìn)行核對(duì)齊，對(duì)各模態(tài)的核對(duì)齊損失進(jìn)行加權(quán)融合得到數(shù)據(jù)對(duì)齊損失；

38、根據(jù)各重構(gòu)數(shù)據(jù)表示和對(duì)應(yīng)模態(tài)數(shù)據(jù)間的距離構(gòu)建數(shù)據(jù)重構(gòu)損失，根據(jù)所述數(shù)據(jù)重構(gòu)損失和所述數(shù)據(jù)對(duì)齊損失得到總損失函數(shù)；

39、對(duì)所述總損失函數(shù)進(jìn)行優(yōu)化，利用優(yōu)化后的各樣本的隱表示進(jìn)行聚類，得到各劃分類別的數(shù)據(jù)標(biāo)簽。

40、上述基于隱表示的非完整多模態(tài)深度聚類方法、裝置和計(jì)算機(jī)設(shè)備，通過(guò)將多模態(tài)數(shù)據(jù)映射至統(tǒng)一隱空間并精準(zhǔn)重構(gòu)可見(jiàn)模態(tài)數(shù)據(jù)，能夠?yàn)槿笔B(tài)數(shù)據(jù)的補(bǔ)全提供可靠基礎(chǔ)，通過(guò)對(duì)缺失模態(tài)數(shù)據(jù)進(jìn)行智能補(bǔ)全，可以得到完整的多模態(tài)數(shù)據(jù)，有效解決了非完整多模態(tài)數(shù)據(jù)聚類中因數(shù)據(jù)缺失導(dǎo)致的信息不充分問(wèn)題，通過(guò)對(duì)各模態(tài)數(shù)據(jù)和隱表示的線性核矩陣進(jìn)行核對(duì)齊，并采用加權(quán)融合的方式構(gòu)建對(duì)齊損失，能夠確保不同模態(tài)數(shù)據(jù)在隱空間中的相似度一致性，避免了模態(tài)間語(yǔ)義沖突對(duì)聚類結(jié)果的影響，通過(guò)將數(shù)據(jù)重構(gòu)損失與數(shù)據(jù)對(duì)齊損失整合為總損失函數(shù)并進(jìn)行優(yōu)化，可以使模型同時(shí)學(xué)習(xí)到數(shù)據(jù)的重構(gòu)能力與跨模態(tài)對(duì)齊能力，提升了聚類的準(zhǔn)確性與魯棒性。通過(guò)優(yōu)化后的隱表示進(jìn)行聚類，最終能夠得到更符合數(shù)據(jù)內(nèi)在結(jié)構(gòu)的分類結(jié)果，本發(fā)明實(shí)施例，能夠提高非完整多模態(tài)深度聚類的效率與準(zhǔn)確性。