本發(fā)明屬于計(jì)算機(jī)視覺(jué)與三維數(shù)據(jù)處理，具體涉及一種多尺度動(dòng)態(tài)連接的三維點(diǎn)云配準(zhǔn)方法。

背景技術(shù)：

1、點(diǎn)云配準(zhǔn)是三維計(jì)算機(jī)視覺(jué)領(lǐng)域的一項(xiàng)基礎(chǔ)性關(guān)鍵技術(shù)，其核心目標(biāo)是將不同坐標(biāo)系下的點(diǎn)云數(shù)據(jù)通過(guò)空間變換實(shí)現(xiàn)精確對(duì)齊。隨著三維傳感技術(shù)的快速發(fā)展，點(diǎn)云配準(zhǔn)在自動(dòng)駕駛環(huán)境感知、工業(yè)三維檢測(cè)、數(shù)字孿生建模等領(lǐng)域發(fā)揮著越來(lái)越重要的作用。

2、傳統(tǒng)點(diǎn)云配準(zhǔn)方法主要分為兩大類(lèi)：基于迭代優(yōu)化的方法和基于特征匹配的方法。迭代最近點(diǎn)（icp）算法作為最具代表性的迭代方法，通過(guò)交替進(jìn)行最近點(diǎn)搜索和最小二乘優(yōu)化來(lái)實(shí)現(xiàn)配準(zhǔn)，但其性能?chē)?yán)重依賴初始位姿估計(jì)，且容易陷入局部最優(yōu)解。為解決這一問(wèn)題，研究者先后提出了多種改進(jìn)算法，如基于特征加權(quán)的icp變體、基于分支定界的go-icp等，但在處理大規(guī)模點(diǎn)云時(shí)仍面臨計(jì)算效率低下的問(wèn)題。基于特征匹配的方法（如fpfh、shot等）通過(guò)提取手工設(shè)計(jì)的局部特征描述子建立點(diǎn)對(duì)應(yīng)關(guān)系，這類(lèi)方法在特征豐富的區(qū)域表現(xiàn)良好，但在平坦區(qū)域或噪聲干擾下性能急劇下降。近年來(lái)，深度學(xué)習(xí)方法為點(diǎn)云配準(zhǔn)帶來(lái)了革命性進(jìn)展。pointnet首次實(shí)現(xiàn)了端到端的點(diǎn)云特征學(xué)習(xí)，但其全局特征提取方式忽略了局部幾何結(jié)構(gòu)。后續(xù)的pointnet++通過(guò)尺度化特征提取改進(jìn)了局部特征表示能力。dcp、rpmnet等工作進(jìn)一步將注意力機(jī)制引入點(diǎn)云配準(zhǔn)，提升了特征匹配的準(zhǔn)確性。然而，現(xiàn)有深度學(xué)習(xí)方法仍存在三個(gè)主要局限：一是特征提取網(wǎng)絡(luò)對(duì)點(diǎn)云局部幾何關(guān)系的建模不夠充分；二是點(diǎn)云間特征交互機(jī)制的設(shè)計(jì)較為簡(jiǎn)單；三是對(duì)噪聲和部分重疊場(chǎng)景的魯棒性有待提升。這些技術(shù)瓶頸限制了現(xiàn)有方法在復(fù)雜實(shí)際場(chǎng)景中的應(yīng)用效果。

3、當(dāng)前，隨著自動(dòng)駕駛和工業(yè)4.0等應(yīng)用場(chǎng)景對(duì)三維感知精度的要求不斷提高，開(kāi)發(fā)具有更強(qiáng)特征表達(dá)能力和更高魯棒性的點(diǎn)云配準(zhǔn)算法已成為學(xué)術(shù)界和工業(yè)界共同關(guān)注的重點(diǎn)研究方向。特別是在處理大規(guī)模、高噪聲、低重疊率的實(shí)際場(chǎng)景點(diǎn)云數(shù)據(jù)時(shí)，現(xiàn)有方法仍需在算法精度和計(jì)算效率之間尋求更好的平衡。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是提供一種多尺度動(dòng)態(tài)連接的三維點(diǎn)云配準(zhǔn)方法，采用多尺度特征聯(lián)合提取策略，通過(guò)局部特征、區(qū)域特征和全局特征的協(xié)同融合，顯著提升點(diǎn)云配準(zhǔn)在復(fù)雜場(chǎng)景下的精度。同時(shí)采用循環(huán)注意力優(yōu)化機(jī)制，通過(guò)多輪特征交互的方式增強(qiáng)點(diǎn)云間的特征匹配能力，避免傳統(tǒng)方法在部分重疊或噪聲干擾下的性能退化，再通過(guò)動(dòng)態(tài)權(quán)重調(diào)整機(jī)制實(shí)現(xiàn)配準(zhǔn)參數(shù)的精確求解，提高點(diǎn)云配準(zhǔn)的準(zhǔn)確性以及算法魯棒性。

2、本發(fā)明通過(guò)下述方法實(shí)現(xiàn)：一種多尺度動(dòng)態(tài)連接的三維點(diǎn)云配準(zhǔn)方法，其步驟為：

3、1）導(dǎo)入點(diǎn)云數(shù)據(jù)集：點(diǎn)云是由大量三維點(diǎn)構(gòu)成的集合，每個(gè)點(diǎn)包含三維坐標(biāo)（x,y,?z），組成點(diǎn)云數(shù)據(jù)集。

4、modelnet40數(shù)據(jù)集導(dǎo)入到模型中，modelnet40數(shù)據(jù)集由多個(gè)txt文件組成，每個(gè)文件代表一個(gè)完整的點(diǎn)云，點(diǎn)云是由三維點(diǎn)構(gòu)成的集合。

5、2）劃分點(diǎn)云數(shù)據(jù)集：將點(diǎn)云數(shù)據(jù)集70%作為訓(xùn)練數(shù)據(jù)集，10%作為測(cè)試數(shù)據(jù)集，20%作為驗(yàn)證數(shù)據(jù)集。

6、3）對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行預(yù)處理：將1）點(diǎn)云數(shù)據(jù)集中的點(diǎn)云記為，為源點(diǎn)云；對(duì)進(jìn)行剛性變換記為，為參考點(diǎn)云；對(duì)點(diǎn)云進(jìn)行旋轉(zhuǎn)和平移操作，隨機(jī)繪制一個(gè)剛性變換；沿著每個(gè)軸的旋轉(zhuǎn)在[0,45°]內(nèi)均勻采樣，平移在[-0.5,0.5]內(nèi)采樣。剛性變換用一個(gè)4×4的齊次變換矩陣表示，該矩陣能同時(shí)描述旋轉(zhuǎn)和平移操作，為真實(shí)變換矩陣；源點(diǎn)云，參考點(diǎn)云作為模型的輸入。

7、4）構(gòu)建基于深度學(xué)習(xí)的多尺度動(dòng)態(tài)連接的點(diǎn)云配準(zhǔn)模型：模型輸入為2）得到的點(diǎn)云、，輸出為經(jīng)過(guò)模型訓(xùn)練后的得出的變換矩陣；多尺度動(dòng)態(tài)連接通過(guò)連接不同尺度的特征，融合不同尺度的局部特征和全局特征，提取有效特征，提取特征后，將特征輸入到循環(huán)注意力模塊中，交互兩個(gè)點(diǎn)云的特征，使特征既有點(diǎn)云內(nèi)的獨(dú)特特征，又有點(diǎn)云間的共同特征；反復(fù)交互得到最終特征，最后將最終特征通過(guò)svd算法計(jì)算得到變換矩陣rt；將模型預(yù)測(cè)的變換矩陣與真實(shí)變換矩陣進(jìn)行比較，使用adam優(yōu)化算法反向傳播更新權(quán)重矩陣，更新模型，縮小兩個(gè)矩陣間的誤差，得到最終的變換矩陣。

8、4.1使用多尺度動(dòng)態(tài)連接提取不同尺度特征

9、對(duì)于點(diǎn)云中的任意點(diǎn),通過(guò)k-近鄰算法選取個(gè)臨近點(diǎn)構(gòu)成的鄰域，表示臨近點(diǎn)坐標(biāo)減去中心點(diǎn)的坐標(biāo)，得到局部區(qū)域內(nèi)的臨近點(diǎn)坐標(biāo)，表示為法線特征，描述中心點(diǎn)與臨近點(diǎn)之間的角度信息，和表示為和的法線信息；

10、；

11、；

12、；

13、為與第個(gè)臨近點(diǎn)連接成的一個(gè)10維特征向量；

14、；

15、特征表示為每一個(gè)點(diǎn)的特征信息；

16、；

17、得到初始特征后，經(jīng)過(guò)多層感知機(jī)mlp進(jìn)行升維得到局部特征，將局部特征和初始特征進(jìn)行連接作為輸入特征進(jìn)入到下一層mlp中，對(duì)于點(diǎn)云每一次mlp通過(guò)改變的大小用于調(diào)整初始特征的范圍，多次mlp進(jìn)而得到不同尺度的局部特征，最后將每一尺度的特征拼接通過(guò)最后一層mlp得到最終的全局特征，參考點(diǎn)云做相同操作；

18、4.2?使用循環(huán)注意力提取混合特征

19、經(jīng)過(guò)卷積網(wǎng)絡(luò)進(jìn)行特征提取，單個(gè)點(diǎn)云的特征信息被充分學(xué)習(xí)，但兩個(gè)點(diǎn)云間的交叉融合特征并未被學(xué)習(xí)，將提取出的特征輸入到循環(huán)注意力模塊中提取交叉融合特征，增強(qiáng)點(diǎn)云的交叉融合特征，循環(huán)注意力由用于學(xué)習(xí)點(diǎn)云內(nèi)部特征的自注意力模塊和用于提取點(diǎn)云間混合特征的交叉融合注意力模塊組成，兩個(gè)模塊相互交叉循環(huán)n次，最后提取出混合特征和；

20、4.2.1?自注意力模塊

21、自注意力模塊用來(lái)學(xué)習(xí)每個(gè)點(diǎn)云內(nèi)部點(diǎn)之間的相關(guān)特征，對(duì)于點(diǎn)云，給定輸入特征矩陣,輸出特征矩陣是所有投影輸入特征的加權(quán)和，通過(guò)學(xué)習(xí)點(diǎn)云內(nèi)的特征關(guān)系來(lái)增強(qiáng)點(diǎn)的特征，其中為點(diǎn)的數(shù)量，為特征維度，參考點(diǎn)云的計(jì)算方法相同；

22、；

23、權(quán)重系數(shù)是通過(guò)對(duì)注意力評(píng)分逐行softmax得出的，的計(jì)算結(jié)果為：

24、；

25、分別表示查詢、鍵、值，為矩陣轉(zhuǎn)置；

26、4.2.2?交叉融合注意力模塊

27、基于特征的交叉融合注意力模塊，用于將兩個(gè)點(diǎn)云特征進(jìn)行融合，提取兩個(gè)點(diǎn)云特征中的共同信息，根據(jù)計(jì)算出自注意力特征矩陣,計(jì)算的交叉融合注意力特征矩陣?；點(diǎn)云的交叉融合特征計(jì)算的方法與相同；

28、；

29、；

30、自注意力特征模塊為每個(gè)點(diǎn)云進(jìn)一步提取相關(guān)特征，交叉融合注意力特征模塊為兩個(gè)點(diǎn)云之間提取混合特征，在此之上進(jìn)行多次交替循環(huán)，將和相加得到最終特征；點(diǎn)云同理；

31、；

32、4.3?svd求解

33、根據(jù)源點(diǎn)云和參考點(diǎn)云，兩點(diǎn)云對(duì)應(yīng)關(guān)系為：

34、；

35、其中r為旋轉(zhuǎn)矩陣，t為平移向量，ni為實(shí)驗(yàn)符合實(shí)際所添加的噪聲向量；求解步驟為分別求2個(gè)點(diǎn)云的質(zhì)心，然后求各點(diǎn)相對(duì)于質(zhì)心的位移向量，利用質(zhì)心位移向量得到的矩陣進(jìn)行svd分解，并基于分解結(jié)果求得變換矩陣；

36、將和的質(zhì)心定義為：

37、；

38、；

39、互協(xié)方差矩陣為：

40、；

41、通過(guò)不斷對(duì)初始點(diǎn)云進(jìn)行優(yōu)化特征得到最終的變換矩陣后，將其輸入到奇異值分解svd模塊中分解得出變換矩陣rt；

42、；

43、因?yàn)樽儞Q矩陣，包含旋轉(zhuǎn)方向與平移方向的信息，將變換矩陣分解為旋轉(zhuǎn)矩陣r和平移向量t，具體方法為：取變換矩陣的前三行前三列元素為旋轉(zhuǎn)矩陣r，取第四列前三個(gè)元素為平移向量t；r、t為最終的輸出。

44、5）將點(diǎn)云數(shù)據(jù)集輸入4）中的點(diǎn)云配準(zhǔn)模型，進(jìn)行訓(xùn)練和測(cè)試，并保存效果最好的模型。

45、采用adam優(yōu)化算法訓(xùn)練模型權(quán)重矩陣，損失函數(shù)為：

46、；

47、為真實(shí)旋轉(zhuǎn)和平移情況，和為模型輸出的旋轉(zhuǎn)和平移參數(shù)；通過(guò)評(píng)價(jià)真實(shí)旋轉(zhuǎn)與預(yù)測(cè)旋轉(zhuǎn)的誤差情況和真實(shí)平移與預(yù)測(cè)平移的誤差情況來(lái)評(píng)估模型，衡量模型的性能，降低評(píng)估函數(shù)的復(fù)雜性。

48、6）將待檢測(cè)的點(diǎn)云數(shù)據(jù)輸入到訓(xùn)練好的配準(zhǔn)模型中，進(jìn)行點(diǎn)云配準(zhǔn)，并保存配準(zhǔn)的結(jié)果。

49、在訓(xùn)練過(guò)程中計(jì)算測(cè)試結(jié)果的損失，使用均方誤差?mse、均方根誤差rmse)和平均絕對(duì)誤差?mae來(lái)測(cè)量真實(shí)值和預(yù)測(cè)值之間的誤差；?mse(r)?為旋轉(zhuǎn)矩陣的均方誤差，而mse(t)?為平移矩陣均分誤差；如果剛性對(duì)齊符合標(biāo)準(zhǔn)，則這些誤差指標(biāo)為零，公式如下：

50、；

51、；

52、；

53、其中，為真實(shí)值，為擬合值,為點(diǎn)的數(shù)量。

54、本發(fā)明創(chuàng)造的有益效果為：

55、1、通過(guò)多尺度動(dòng)態(tài)連接機(jī)制融合不同尺度的局部與全局特征，有效提升了特征表達(dá)的豐富性與有效性，使模型能夠更精準(zhǔn)地捕捉點(diǎn)云數(shù)據(jù)中多層次的空間結(jié)構(gòu)信息，進(jìn)而大幅提升點(diǎn)云配準(zhǔn)精度，相比傳統(tǒng)方法可顯著降低配準(zhǔn)誤差。

56、2、循環(huán)注意力模塊的引入，實(shí)現(xiàn)了雙點(diǎn)云特征的深度交互，既保留了點(diǎn)云內(nèi)的獨(dú)特特征，又強(qiáng)化了點(diǎn)云間的共同特征，顯著增強(qiáng)了模型對(duì)復(fù)雜場(chǎng)景（如噪聲干擾、部分遮擋等）的適應(yīng)能力，提升了配準(zhǔn)結(jié)果的魯棒性。

57、3、結(jié)合adam優(yōu)化算法的高效反向傳播機(jī)制，模型參數(shù)更新更具針對(duì)性，在保證配準(zhǔn)精度的同時(shí)大幅縮短了訓(xùn)練周期，提高了點(diǎn)云配準(zhǔn)的整體效率，尤其適用于大規(guī)模點(diǎn)云數(shù)據(jù)的實(shí)時(shí)處理場(chǎng)景。本發(fā)明為自動(dòng)駕駛、三維重建、機(jī)器人導(dǎo)航等領(lǐng)域提供了更精準(zhǔn)、高效且魯棒的點(diǎn)云配準(zhǔn)解決方案，有力推動(dòng)了相關(guān)技術(shù)在實(shí)際應(yīng)用中的落地與發(fā)展。