本發(fā)明涉及圖像超分辨率，尤其涉及一種基于生成對抗網(wǎng)絡(luò)的oct圖像超分辨率重建方法及系統(tǒng)。

背景技術(shù)：

1、光學(xué)相干斷層掃描（optical?coherence?tomography,?oct）是一種非侵入、高分辨率的實時成像技術(shù)，廣泛應(yīng)用于心血管、眼科等醫(yī)學(xué)影像領(lǐng)域。?oct通過干涉原理能夠獲取組織內(nèi)部結(jié)構(gòu)的斷層圖像，成為臨床診斷的重要工具。然而受限于硬件系統(tǒng)的性能限制，現(xiàn)有的oct圖像在實際應(yīng)用中往往存在分辨率不足的問題，低分辨率的oct圖像通常存在邊緣模糊、細節(jié)缺失等問題，不利于組織結(jié)構(gòu)的準確識別與醫(yī)學(xué)診斷。改進硬件，如提升oct系統(tǒng)本身的分辨率通常需要更高性能的光學(xué)器件，這不僅增加了成本還會帶來更高的系統(tǒng)復(fù)雜性。

2、近年來，隨著深度學(xué)習(xí)的發(fā)展，圖像超分辨率技術(shù)已在自然圖像領(lǐng)域取得顯著進展，并逐漸應(yīng)用于oct圖像領(lǐng)域中，用于從低分辨率oct圖像中重建高分辨率oct圖像。模型學(xué)習(xí)低分辨率與高分辨率圖像之間的映射關(guān)系，實現(xiàn)圖像質(zhì)量的增強，其中，充分利用輸入圖像即低分辨率圖像的信息非常重要。讓模型充分利用輸入圖像的特征能更好的重建圖像，提高oct圖像的感知質(zhì)量也同樣關(guān)鍵。

3、現(xiàn)有超分辨率模型大都提升圖像的重建精度，會導(dǎo)致輸出結(jié)果過度平滑，具體地，存在以下問題：1）感知質(zhì)量不足：多數(shù)方法采用最小化像素級誤差（如均方誤差）為損失函數(shù)進行訓(xùn)練，均方誤差會使網(wǎng)絡(luò)生成平均化的圖像結(jié)果，這些方法通常以犧牲視覺質(zhì)量為代價來提升重建精度，這會導(dǎo)致網(wǎng)絡(luò)的輸出圖像在視覺上呈現(xiàn)過度平滑和模糊的現(xiàn)象，缺乏清晰的結(jié)構(gòu)細節(jié)和邊緣紋理；2）提取特征方式單一：當(dāng)前oct圖像超分辨率模型在特征提取方面存在結(jié)構(gòu)單一的問題，卷積神經(jīng)網(wǎng)絡(luò)（cnn）主要提取局部特征，能夠高效提取邊緣、紋理等細節(jié)特征，但受到卷積核感受野的限制，它很難提取全局特征；基于transformer的方法具備全局建模能力，能夠捕獲圖像中像素之間的遠程依賴，但其局部特征捕獲能力不如cnn，且基于transformer的結(jié)構(gòu)通常計算復(fù)雜，需要大量的計算資源；3）特征冗余：使用卷積對圖像的特征進行提取，提取到的特征包含大量冗余、無關(guān)的信息，缺乏對圖像中關(guān)鍵區(qū)域或顯著結(jié)構(gòu)的建模能力，這可能導(dǎo)致網(wǎng)絡(luò)在資源分配上平均化，無法突出對圖像中對診斷更具價值的信息。

技術(shù)實現(xiàn)思路

1、為了解決上述技術(shù)問題，本發(fā)明提供了一種基于生成對抗網(wǎng)絡(luò)的oct圖像超分辨率重建方法及系統(tǒng)。

2、根據(jù)本發(fā)明的一方面，提出一種基于生成對抗網(wǎng)絡(luò)的oct圖像超分辨率重建方法，該方法包括：

3、獲取oct圖像數(shù)據(jù)集，所述oct圖像數(shù)據(jù)包括低分辨率oct圖像和對應(yīng)的高分辨率oct圖像；

4、構(gòu)建基于生成對抗網(wǎng)絡(luò)的圖像超分辨率重建模型，并將所述oct圖像數(shù)據(jù)集輸入所述圖像超分辨率重建模型中進行訓(xùn)練，獲取訓(xùn)練好的圖像超分辨率重建模型；其中，基于生成對抗網(wǎng)絡(luò)的圖像超分辨率重建模型包括生成器和判別器，所述生成器包括淺層特征提取模塊、深層特征提取模塊、多級特征融合模塊、圖像重建模塊；所述淺層特征提取模塊用于對輸入的低分辨率oct圖像提取淺層特征；所述深層特征提取模塊用于對提取的淺層特征，進一步提取圖像的多個深層特征；所述多級特征融合模塊用于對所述多個深層特征進行融合，獲取全局融合特征；所述圖像重建模塊用于基于所述全局融合特征進行圖像重建；

5、利用訓(xùn)練好的圖像超分辨率重建模型對待重建的低分辨率oct圖像進行重建，獲取對應(yīng)的超分辨率oct圖像。

6、進一步地，所述深層特征提取模塊包括多個串聯(lián)的局部-全局特征提取器，每一個局部-全局特征提取器的輸出連接下一個局部-全局特征提取器的輸入和所述多級特征融合模塊的輸入；所述局部-全局特征提取器包括局部特征提取器、全局特征提取器和一個卷積層；所述局部-全局特征提取器的運行機制為：通過所述局部特征提取器提取局部特征，隨后通過所述全局特征提取器提取全局特征，隨后通過一個卷積層進行進一步學(xué)習(xí)，隨后通過殘差連接將卷積層輸出與所述局部特征提取器的輸入相加。

7、進一步地，所述局部特征提取器的運行機制為：輸入特征經(jīng)過多個順序堆疊的殘差單元，在每個殘差單元中，輸入特征依次經(jīng)過一個3×3卷積層、relu激活函數(shù)、一個3×3卷積層、坐標注意力機制，并將經(jīng)過坐標注意力機制優(yōu)化后的局部特征與每個殘差單元的輸入特征進行殘差連接，得到局部特征。

8、進一步地，所述全局特征提取器的運行機制為：輸入的局部特征依次經(jīng)過兩個階段，在每個階段中，輸入特征首先經(jīng)過層歸一化、基于窗口的多頭自注意力機制，并將基于窗口的多頭自注意力機制的輸出與層歸一化之前的輸入進行殘差連接，得到優(yōu)化特征；隨后，優(yōu)化特征經(jīng)過層歸一化、全連接層，并將全連接層的輸出與所述優(yōu)化特征進行殘差連接，得到輸出特征。

9、進一步地，將所述全局特征提取器的第二個階段中基于窗口的多頭自注意力機制替換為移動窗口多頭自注意力機制。

10、進一步地，所述多級特征融合模塊對多個深層特征進行融合，獲取全局融合特征的過程包括：將每個局部-全局特征提取器輸出的特征進行拼接；隨后，將拼接后的特征輸入空間自適應(yīng)特征調(diào)制子模塊進一步細化特征；隨后，將空間自適應(yīng)特征調(diào)制子模塊輸出的細化特征與最后一個局部-全局特征提取器的輸出特征再次進行拼接；隨后，經(jīng)過一個卷積層，得到全局融合特征。

11、進一步地，所述空間自適應(yīng)特征調(diào)制子模塊包括多條并行子通道，其中一條子通道由深度可分離卷積組成，其余子通道由深度可分離卷積、自適應(yīng)最大池化和上采樣構(gòu)成，且不同子通道采用不同的池化尺度；將多個子通道處理后的輸出特征進行拼接，隨后經(jīng)過卷積和gelu激活函數(shù)，得到特征權(quán)重；隨后將特征權(quán)重與所述空間自適應(yīng)特征調(diào)制子模塊的輸入特征相乘，得到細化特征。

12、進一步地，所述淺層特征提取模塊包括一個卷積層和leakyrelu激活函數(shù)。

13、進一步地，所述圖像重建模塊基于全局融合特征進行圖像重建的過程包括：將所述全局融合特征依次經(jīng)過卷積、像素重排、leakyrelu激活函數(shù)進行上采樣，再經(jīng)過卷積、leakyrelu激活函數(shù)、卷積來重建出圖像；隨后將重建圖像與經(jīng)過上采樣的低分辨率oct圖像相加，獲得重建后的超分辨率oct圖像。

14、根據(jù)本發(fā)明的另一方面，提出一種基于生成對抗網(wǎng)絡(luò)的oct圖像超分辨率重建系統(tǒng)，該系統(tǒng)包括：

15、圖像獲取單元，其配置成獲取oct圖像數(shù)據(jù)集，所述oct圖像數(shù)據(jù)包括低分辨率oct圖像和對應(yīng)的高分辨率oct圖像；

16、模型訓(xùn)練單元，其配置成構(gòu)建基于生成對抗網(wǎng)絡(luò)的圖像超分辨率重建模型，并將所述oct圖像數(shù)據(jù)集輸入所述圖像超分辨率重建模型中進行訓(xùn)練，獲取訓(xùn)練好的圖像超分辨率重建模型；其中，基于生成對抗網(wǎng)絡(luò)的圖像超分辨率重建模型包括生成器和判別器，所述生成器包括淺層特征提取模塊、深層特征提取模塊、多級特征融合模塊、圖像重建模塊；所述淺層特征提取模塊用于對輸入的低分辨率oct圖像提取淺層特征；所述深層特征提取模塊用于對提取的淺層特征，進一步提取圖像的多個深層特征；所述多級特征融合模塊用于對所述多個深層特征進行融合，獲取全局融合特征；所述圖像重建模塊用于基于所述全局融合特征進行圖像重建；

17、超分辨率重建單元，其配置成利用訓(xùn)練好的圖像超分辨率重建模型對待重建的低分辨率oct圖像進行重建，獲取對應(yīng)的超分辨率oct圖像。

18、本發(fā)明具有以下技術(shù)效果：

19、本發(fā)明提出一種基于生成對抗網(wǎng)絡(luò)的oct圖像超分辨率重建方法及系統(tǒng)，構(gòu)建了一個基于生成對抗網(wǎng)絡(luò)的圖像超分辨率重建模型，該模型包括生成器和判別器，生成器包括淺層特征提取模塊、深層特征提取模塊、多級特征融合模塊、圖像重建模塊；其中，深層特征提取模塊包括多個串聯(lián)的局部-全局特征提取器，其包括局部特征提取器、全局特征提取器和一個卷積層；1）局部特征提取器用來提取圖像的局部特征，注重圖像的邊緣紋理和細節(jié)，帶有殘差的結(jié)構(gòu)可以加速網(wǎng)絡(luò)收斂速度，同時避免網(wǎng)絡(luò)退化；同時在卷積中加入注意力機制能夠增強模型對感興趣區(qū)域的表示，忽略次要特征；2）全局特征提取器用來提取圖像的全局特征，建模特征之間的遠程依賴關(guān)系；局部特征提取器和全局特征提取器混合使用充分利用圖像的信息，實現(xiàn)了對圖像細節(jié)與結(jié)構(gòu)的整體建模；3）多級特征融合模塊通過融合多個局部-全局特征提取器的輸出，使模型能夠綜合利用不同層級的特征信息，從而更全面的表征圖像的結(jié)構(gòu)細節(jié)與全局語義，其中的空間自適應(yīng)特征調(diào)制子模塊通過對不同層級的特征進行不同尺度的處理來細化特征，有利于提升圖像的準確性。