本發(fā)明屬于傳感器目標(biāo)跟蹤，尤其涉及一種基于時(shí)空協(xié)同與神經(jīng)網(wǎng)絡(luò)的多傳感器目標(biāo)軌跡融合建模方法、融合方法、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、現(xiàn)有基于圖像的多目標(biāo)跟蹤算法通常采用如下技術(shù)路徑：首先通過目標(biāo)檢測(cè)算法在像素坐標(biāo)系中獲取目標(biāo)位置，繼而實(shí)施多目標(biāo)跟蹤，最后將跟蹤結(jié)果轉(zhuǎn)換至球面坐標(biāo)系。這種方案在常規(guī)相機(jī)應(yīng)用場(chǎng)景中基本滿足需求，但在應(yīng)對(duì)大型云臺(tái)相機(jī)焦距動(dòng)態(tài)調(diào)整范圍廣、轉(zhuǎn)動(dòng)角度劇烈變化等復(fù)雜工況時(shí)，無法高效處理相機(jī)轉(zhuǎn)動(dòng)和焦距變化，存在目標(biāo)丟失后難以重關(guān)聯(lián)、跟蹤正確率顯著下降的突出問題。

2、對(duì)于無人機(jī)跟蹤，航跡關(guān)聯(lián)是多傳感器信息融合中尤為重要的一步，其目的是在來自不同傳感器的信息中找到同一目標(biāo)的航跡集合。由于傳感器在采集目標(biāo)信息的過程中受到設(shè)備誤差、噪聲、障礙物等多種因素的影響，探測(cè)值與目標(biāo)真實(shí)值之間存在一定差異，導(dǎo)致目標(biāo)跟蹤精確度降低。通過航跡關(guān)聯(lián)技術(shù)，可以綜合多傳感器的數(shù)據(jù)，找出同一目標(biāo)的多個(gè)觀測(cè)值，進(jìn)而確定傳感器探測(cè)值與目標(biāo)真實(shí)值的關(guān)系，因此航跡關(guān)聯(lián)是航跡融合的重要前提條件。

3、目前已有的航跡關(guān)聯(lián)方法主要分為兩大類：一類是基于統(tǒng)計(jì)的方法，另一類是基于模糊數(shù)學(xué)的方法。在基于統(tǒng)計(jì)的方法方面，通常采用加權(quán)統(tǒng)計(jì)距離檢驗(yàn)法、修正的加權(quán)統(tǒng)計(jì)距離檢驗(yàn)法、最近鄰域法等來處理航跡關(guān)聯(lián)問題；在基于模糊數(shù)學(xué)的方法方面，通常包括模糊雙門限算法、模糊綜合函數(shù)算法以及模糊綜合決策算法等。這些航跡關(guān)聯(lián)方法仍存在一些問d題：

4、其一，依賴人工預(yù)設(shè)的統(tǒng)計(jì)距離檢驗(yàn)規(guī)則或模糊數(shù)學(xué)隸屬度函數(shù)，其特征工程設(shè)計(jì)與閾值設(shè)定需基于先驗(yàn)經(jīng)驗(yàn)，難以自適應(yīng)動(dòng)態(tài)場(chǎng)景的關(guān)聯(lián)需求；

5、其二，當(dāng)目標(biāo)密集分布或航跡交叉、分叉時(shí)，基于瞬時(shí)狀態(tài)或局部片段的關(guān)聯(lián)邏輯缺乏對(duì)歷史時(shí)序信息的全局建模能力，導(dǎo)致連續(xù)運(yùn)動(dòng)模式捕捉失效，效果明顯下降；

6、其三，異步航跡處理需依賴時(shí)間配準(zhǔn)操作，不僅增加計(jì)算復(fù)雜度，更因插值或外推過程引入額外誤差，降低關(guān)聯(lián)可靠性；

7、其四，算法對(duì)傳感器系統(tǒng)性偏差、高密度目標(biāo)運(yùn)動(dòng)沖突等非線性干擾的魯棒性不足，且統(tǒng)計(jì)假設(shè)（如噪聲分布）的偏離易引發(fā)誤關(guān)聯(lián)，而提升精度所需的復(fù)雜優(yōu)化策略往往伴隨計(jì)算量激增，難以平衡實(shí)時(shí)性與準(zhǔn)確性需求。

8、航跡融合通過對(duì)同一目標(biāo)多源航跡的一系列綜合，以獲得比任一單傳感器更加準(zhǔn)確可靠的全局性估計(jì)結(jié)果，可以對(duì)目標(biāo)實(shí)現(xiàn)更高精度的跟蹤和測(cè)量，為無人機(jī)跟蹤提供技術(shù)基礎(chǔ)。

9、現(xiàn)在航跡融合算法主要包括三類：基于加權(quán)融合的融合算法、基于卡爾曼濾波器的融合算法和數(shù)據(jù)驅(qū)動(dòng)的融合算法?；诩訖?quán)的航跡融合算法，對(duì)不同的局部航跡設(shè)置不同的權(quán)重，利用加權(quán)求和生成融合航跡。權(quán)重的計(jì)算方式有很多種，例如方差加權(quán)則是使用傳感器的量測(cè)誤差方差生成局部航跡的權(quán)重，當(dāng)方差估計(jì)準(zhǔn)確時(shí)，方差加權(quán)融合精度達(dá)到加權(quán)融合類算法的上限。雖然通過方差分配權(quán)重提升了精度，但其性能高度依賴傳感器量測(cè)誤差方差的先驗(yàn)準(zhǔn)確性，靜態(tài)權(quán)重機(jī)制無法適應(yīng)目標(biāo)動(dòng)態(tài)運(yùn)動(dòng)或傳感器特性突變場(chǎng)景，導(dǎo)致融合結(jié)果參數(shù)敏感性強(qiáng)、魯棒性弱。

10、基于卡爾曼濾波器的融合算法，利用卡爾曼濾波器強(qiáng)大的狀態(tài)估計(jì)能力，將融合航跡作為狀態(tài)變量進(jìn)行估計(jì)，從而實(shí)現(xiàn)航跡融合?；诳柭鼮V波器的融合算法主要包括兩種：（1）通過合并多傳感器數(shù)據(jù)，增加卡爾曼濾波器的觀測(cè)矩陣維數(shù)，從而實(shí)現(xiàn)多傳感器航跡的融合；（2）首先基于最小均方誤差準(zhǔn)則融合多源量測(cè)數(shù)據(jù)，然后使用這個(gè)融合的量測(cè)來估計(jì)狀態(tài)向量，觀測(cè)矩陣的維數(shù)保持不變。但是，通過卡爾曼濾波器實(shí)現(xiàn)航跡融合時(shí)，需精確定義目標(biāo)運(yùn)動(dòng)模型、系統(tǒng)噪聲協(xié)方差和量測(cè)噪聲協(xié)方差等參數(shù)，否則會(huì)極大地影響算法的性能；實(shí)際應(yīng)用中模型失配（如非高斯噪聲、非線性運(yùn)動(dòng)）易引發(fā)狀態(tài)估計(jì)偏差累積甚至發(fā)散問題，多傳感器觀測(cè)矩陣維度擴(kuò)展或量測(cè)預(yù)融合策略更會(huì)加劇計(jì)算復(fù)雜度與誤差傳遞風(fēng)險(xiǎn)。

11、數(shù)據(jù)驅(qū)動(dòng)的航跡融合主要利用深度學(xué)習(xí)方法來實(shí)現(xiàn)。近年來深度學(xué)習(xí)在圖像處理、語音識(shí)別、文本處理和濾波器優(yōu)化設(shè)計(jì)等領(lǐng)域得到了深入研究和應(yīng)用，在部分應(yīng)用場(chǎng)景基本超越了傳統(tǒng)算法，但是在航跡關(guān)聯(lián)、融合方面應(yīng)用較少，并且常規(guī)的基于卷積的特征提取網(wǎng)絡(luò)受限于線性假設(shè)與局部最優(yōu)準(zhǔn)則，缺乏對(duì)航跡長(zhǎng)程時(shí)序關(guān)聯(lián)、非線性噪聲干擾及多源異構(gòu)數(shù)據(jù)深層耦合關(guān)系的建模能力，尤其在密集目標(biāo)交叉、航跡片段缺失或異步異構(gòu)傳感器協(xié)同場(chǎng)景下，難以通過人工規(guī)則實(shí)現(xiàn)全局最優(yōu)估計(jì)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種多傳感器目標(biāo)軌跡融合建模方法、融合方法、設(shè)備及存儲(chǔ)介質(zhì)，以解決復(fù)雜環(huán)境下單一傳感器數(shù)據(jù)維度缺失導(dǎo)致軌跡精度不足、抗干擾能力弱的問題，以及傳統(tǒng)軌跡關(guān)聯(lián)和融合算法依賴最新的目標(biāo)軌跡狀態(tài)，且需對(duì)目標(biāo)運(yùn)動(dòng)模型、系統(tǒng)噪聲和量測(cè)噪聲協(xié)方差進(jìn)行準(zhǔn)確估計(jì)，在復(fù)雜場(chǎng)景的泛化性較差的問題。

2、本發(fā)明是通過如下的技術(shù)方案來解決上述技術(shù)問題的：一種多傳感器目標(biāo)軌跡融合建模方法，包括：

3、獲取多個(gè)軌跡對(duì)以及與每個(gè)軌跡對(duì)對(duì)應(yīng)的目標(biāo)真實(shí)軌跡；其中，每個(gè)所述軌跡對(duì)包括關(guān)聯(lián)成功的一條雷達(dá)目標(biāo)軌跡和一條光電目標(biāo)軌跡；

4、對(duì)每個(gè)所述軌跡對(duì)的雷達(dá)目標(biāo)軌跡、光電目標(biāo)軌跡分別進(jìn)行角度展開；

5、構(gòu)建軌跡融合模型；其中，所述軌跡融合模型包括第一自注意力機(jī)制編碼器、第二自注意力機(jī)制編碼器、自適應(yīng)加權(quán)融合模塊和自注意力機(jī)制解碼器；所述第一自注意力機(jī)制編碼器，用于對(duì)角度展開后的雷達(dá)目標(biāo)軌跡進(jìn)行特征提取，得到雷達(dá)目標(biāo)高維軌跡特征；所述第二自注意力機(jī)制編碼器，用于對(duì)角度展開后的光電目標(biāo)軌跡進(jìn)行特征提取，得到光電目標(biāo)高維軌跡特征；所述自適應(yīng)加權(quán)融合模塊，用于對(duì)所述雷達(dá)目標(biāo)高維軌跡特征和所述光電目標(biāo)高維軌跡特征進(jìn)行自適應(yīng)加權(quán)融合，得到加權(quán)融合特征；所述自注意力機(jī)制解碼器，用于對(duì)所述加權(quán)融合特征進(jìn)行解碼，得到預(yù)測(cè)融合軌跡；

6、以所述軌跡對(duì)作為輸入，以對(duì)應(yīng)的目標(biāo)真實(shí)軌跡作為標(biāo)簽，對(duì)所述軌跡融合模型進(jìn)行訓(xùn)練和驗(yàn)證，得到目標(biāo)融合模型；在訓(xùn)練過程中，根據(jù)軌跡融合模型輸出的預(yù)測(cè)融合軌跡和目標(biāo)真實(shí)軌跡計(jì)算多階差分加權(quán)損失，根據(jù)多階差分加權(quán)損失調(diào)整所述軌跡融合模型的參數(shù)。

7、進(jìn)一步地，所述獲取多個(gè)軌跡對(duì)的具體過程包括：

8、獲取雷達(dá)目標(biāo)軌跡和光電目標(biāo)軌跡；

9、對(duì)所述雷達(dá)目標(biāo)軌跡和光電目標(biāo)軌跡分別進(jìn)行預(yù)處理；

10、利用參數(shù)共享的第一自注意力機(jī)制主干網(wǎng)絡(luò)和第二自注意力機(jī)制主干網(wǎng)絡(luò)分別對(duì)預(yù)處理后的雷達(dá)目標(biāo)軌跡和光電目標(biāo)軌跡進(jìn)行特征提取，得到雷達(dá)目標(biāo)特征向量和光電目標(biāo)特征向量；

11、計(jì)算雷達(dá)目標(biāo)特征向量和光電目標(biāo)特征向量的相似度，得到相似度矩陣；

12、根據(jù)相似度矩陣確定軌跡對(duì)。

13、進(jìn)一步地，所述雷達(dá)目標(biāo)軌跡的具體獲取過程為：

14、獲取雷達(dá)目標(biāo)點(diǎn)數(shù)據(jù)，所述雷達(dá)目標(biāo)點(diǎn)數(shù)據(jù)包括雷達(dá)目標(biāo)點(diǎn)的方位角、俯仰角、距離和速度；

15、對(duì)所述雷達(dá)目標(biāo)點(diǎn)數(shù)據(jù)進(jìn)行預(yù)處理和濾波，并將球面坐標(biāo)系下的雷達(dá)目標(biāo)點(diǎn)數(shù)據(jù)轉(zhuǎn)換到笛卡爾坐標(biāo)系；

16、根據(jù)笛卡爾坐標(biāo)系下的雷達(dá)目標(biāo)點(diǎn)數(shù)據(jù)生成當(dāng)前狀態(tài)向量；其中，所述當(dāng)前狀態(tài)向量包括雷達(dá)目標(biāo)點(diǎn)位置和速度；

17、設(shè)計(jì)卡爾曼濾波器；其中，所述卡爾曼濾波器的狀態(tài)轉(zhuǎn)移模型采用勻速運(yùn)動(dòng)模型，觀測(cè)模型用于觀測(cè)雷達(dá)目標(biāo)點(diǎn)位置；

18、以當(dāng)前狀態(tài)向量作為卡爾曼濾波器的輸入，利用卡爾曼濾波器進(jìn)行狀態(tài)估計(jì)，得到雷達(dá)目標(biāo)點(diǎn)估計(jì)位置；

19、將所述雷達(dá)目標(biāo)點(diǎn)估計(jì)位置轉(zhuǎn)換到球面坐標(biāo)系下，得到下一時(shí)刻雷達(dá)目標(biāo)點(diǎn)的方位角、俯仰角和距離，進(jìn)而得到雷達(dá)目標(biāo)軌跡。

20、進(jìn)一步地，所述光電目標(biāo)軌跡的具體獲取過程為：

21、獲取光電目標(biāo)點(diǎn)檢測(cè)框；

22、將像素坐標(biāo)系下的光電目標(biāo)點(diǎn)檢測(cè)框轉(zhuǎn)換到球面坐標(biāo)系下，得到光電目標(biāo)點(diǎn)的角度信息；其中，所述光電目標(biāo)點(diǎn)的角度信息包括光電目標(biāo)點(diǎn)在球面坐標(biāo)系下的方位角和俯仰角；

23、以光電目標(biāo)點(diǎn)的方位角、俯仰角、方位角速度和俯仰角速度作為光電目標(biāo)點(diǎn)跟蹤算法的輸入，以角度距離作為光電目標(biāo)點(diǎn)跟蹤算法的距離度量，利用光電目標(biāo)點(diǎn)跟蹤算法得到下一時(shí)刻光電目標(biāo)點(diǎn)在球面坐標(biāo)系下的方位角和俯仰角，進(jìn)而得到光電目標(biāo)軌跡。

24、進(jìn)一步地，所述角度距離的具體計(jì)算公式為：

25、；

26、其中，表示第i個(gè)光電目標(biāo)點(diǎn)與第j個(gè)光電目標(biāo)點(diǎn)之間的角度距離，；和分別表示第i個(gè)光電目標(biāo)點(diǎn)的方位角和俯仰角；和分別表示第j個(gè)光電目標(biāo)點(diǎn)的方位角和俯仰角。

27、進(jìn)一步地，對(duì)所述雷達(dá)目標(biāo)軌跡和光電目標(biāo)軌跡分別進(jìn)行預(yù)處理，具體包括：

28、將雷達(dá)目標(biāo)軌跡中的方位角和俯仰角分別轉(zhuǎn)換為弧度，然后分別計(jì)算每個(gè)弧度的正弦和余弦，由每個(gè)弧度的正弦和余弦構(gòu)成雷達(dá)目標(biāo)輸入特征；

29、將光電目標(biāo)軌跡中的方位角和俯仰角分別轉(zhuǎn)換為弧度，然后分別計(jì)算每個(gè)弧度的正弦和余弦，由每個(gè)弧度的正弦和余弦構(gòu)成光電目標(biāo)輸入特征。

30、進(jìn)一步地，所述多階差分加權(quán)損失的具體計(jì)算公式為：

31、；

32、；

33、，，；

34、，，；

35、其中，表示多階差分加權(quán)損失；分別表示位置損失、一階差分損失、二階差分損失的權(quán)重系數(shù)；n表示預(yù)測(cè)融合軌跡或目標(biāo)真實(shí)軌跡的目標(biāo)點(diǎn)數(shù)量；表示預(yù)測(cè)融合軌跡的第k個(gè)角度信息；表示目標(biāo)真實(shí)軌跡的第k個(gè)角度信息；表示預(yù)測(cè)融合軌跡的第k個(gè)角度信息與目標(biāo)真實(shí)軌跡的第k個(gè)角度信息之間的角度距離；表示預(yù)測(cè)融合軌跡的第k+1個(gè)角度信息與第k個(gè)角度信息的差分結(jié)果，即預(yù)測(cè)融合軌跡的第k個(gè)一階差分結(jié)果；表示目標(biāo)真實(shí)軌跡的第k+1個(gè)角度信息與第k個(gè)角度信息的差分結(jié)果，即目標(biāo)真實(shí)軌跡的第k個(gè)一階差分結(jié)果；表示預(yù)測(cè)融合軌跡的第k個(gè)一階差分結(jié)果與目標(biāo)真實(shí)軌跡的第k個(gè)一階差分結(jié)果之間的角度距離；表示預(yù)測(cè)融合軌跡的第k+1個(gè)一階差分結(jié)果與第k個(gè)一階差分結(jié)果之間的差分結(jié)果，即預(yù)測(cè)融合軌跡的第k個(gè)二階差分結(jié)果；表示目標(biāo)真實(shí)軌跡的第k+1個(gè)一階差分結(jié)果與第k個(gè)一階差分結(jié)果之間的差分結(jié)果，即目標(biāo)真實(shí)軌跡的第k個(gè)二階差分結(jié)果；表示預(yù)測(cè)融合軌跡的第k個(gè)二階差分結(jié)果與目標(biāo)真實(shí)軌跡的第k個(gè)二階差分結(jié)果之間的角度距離。

36、基于同一構(gòu)思，本發(fā)明還提供一種多傳感器目標(biāo)軌跡融合方法，包括：

37、獲取待融合的軌跡對(duì)；其中，待融合的軌跡對(duì)包括一條雷達(dá)目標(biāo)軌跡和一條光電目標(biāo)軌跡；

38、調(diào)用目標(biāo)融合模型；其中，所述目標(biāo)融合模型采用如上所述的多傳感器目標(biāo)軌跡融合建模方法構(gòu)建；

39、利用所述目標(biāo)融合模型對(duì)待融合的軌跡對(duì)進(jìn)行融合處理，得到融合后的軌跡。

40、基于同一構(gòu)思，本發(fā)明還提供一種電子設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在存儲(chǔ)器上的計(jì)算機(jī)程序/指令，所述處理器執(zhí)行所述計(jì)算機(jī)程序/指令以實(shí)現(xiàn)如上所述的多傳感器目標(biāo)軌跡融合建模方法或多傳感器目標(biāo)軌跡融合方法。

41、基于同一構(gòu)思，本發(fā)明還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序/指令，該計(jì)算機(jī)程序/指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的多傳感器目標(biāo)軌跡融合建模方法或多傳感器目標(biāo)軌跡融合方法。

42、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于：

43、本發(fā)明對(duì)雷達(dá)目標(biāo)軌跡和光電目標(biāo)軌跡進(jìn)行關(guān)聯(lián)和融合，解決了復(fù)雜環(huán)境下單一傳感器數(shù)據(jù)維度缺失導(dǎo)致的軌跡精度不足、抗干擾能力弱等問題；

44、本發(fā)明構(gòu)建基于自注意力機(jī)制的軌跡融合模型，直接建模任意距離的長(zhǎng)距離依賴，相比卷積方式更有效；對(duì)軌跡對(duì)中的雷達(dá)目標(biāo)軌跡與光電目標(biāo)軌跡進(jìn)行全局特征提取，即使雷達(dá)目標(biāo)軌跡與光電目標(biāo)軌跡不是嚴(yán)格的時(shí)間對(duì)齊，仍可以通過全局特征進(jìn)行時(shí)空融合；

45、本發(fā)明采用多階差分加權(quán)損失來調(diào)整模型的參數(shù)，通過多階差分約束使模型輸出的軌跡更符合目標(biāo)運(yùn)動(dòng)特性，避免不合理的突變軌跡，同時(shí)能夠更快地響應(yīng)動(dòng)態(tài)變化；多階差分加權(quán)損失還可以很好地抑制低頻噪聲和短期波動(dòng)，使損失函數(shù)更關(guān)注有意義的運(yùn)動(dòng)趨勢(shì)，而非局部抖動(dòng)。

46、本發(fā)明通過深度學(xué)習(xí)的智能化架構(gòu)顯著克服了傳統(tǒng)融合算法的固有瓶頸，有效消除了人工先驗(yàn)知識(shí)準(zhǔn)確性的影響，同時(shí)具備優(yōu)異的泛化能力；在多目標(biāo)復(fù)雜場(chǎng)景下，本發(fā)明可顯著提升軌跡跟蹤的正確率與精確度，通過多傳感器協(xié)同機(jī)制有效抵御了環(huán)境對(duì)單傳感器的干擾，特別適用于低空無人機(jī)監(jiān)控及安防管理領(lǐng)域的技術(shù)需求。