本發(fā)明屬于醫(yī)學圖像處理機人工智能,特別是涉及到一種基于改進yolov8n-seg模型的腦腫瘤分割方法。
背景技術(shù):
1、腦腫瘤作為一種嚴重威脅人類生命健康的重大疾病,其早期、精準的檢測對提升臨床診斷的準確性及治療效果具有重要意義。目前,磁共振成像(mri)作為腦腫瘤檢測的主要成像手段,廣泛應(yīng)用于臨床。然而,傳統(tǒng)mri圖像的分析主要依賴醫(yī)生的人工評估,受限于腦腫瘤在不同患者之間在大小、形狀及種類等方面的高度異質(zhì)性,該過程往往需要大量人工干預(yù),不僅加重了醫(yī)務(wù)人員的工作負擔,也可能因主觀判斷造成誤診或漏診。近年來,深度學習技術(shù),尤其是卷積神經(jīng)網(wǎng)絡(luò)(cnn)在醫(yī)學圖像處理領(lǐng)域取得了顯著進展。特別是基于yolo(you?only?look?once)架構(gòu)的模型,憑借其高效的目標檢測和實例分割能力,在醫(yī)學圖像分割任務(wù)中逐漸受到關(guān)注。然而,現(xiàn)有基于yolo架構(gòu)的模型在處理腦腫瘤mri圖像時仍存在一些局限性,例如模型結(jié)構(gòu)復(fù)雜、計算資源需求高,以及在面對復(fù)雜背景和邊界模糊的病灶時分割精度有限。
2、例如,bonagiri?dinesh?kumar?reddy?等人提出了一種基于yolov8的深度學習模型,應(yīng)用于mri圖像中腦腫瘤的檢測與分類。他們的研究表明,yolov8在目標檢測任務(wù)中表現(xiàn)優(yōu)異,其變體yolov8n-seg也在圖像分割方面展現(xiàn)出一定潛力,但仍存在模型重量大、對細粒度結(jié)構(gòu)分割能力不足等問題。此外,ming?kang?等人提出的?asf-yolo?模型針對細胞實例分割任務(wù)進行了結(jié)構(gòu)性優(yōu)化,引入了注意力尺度序列融合(ssff)模塊、三重特征編碼(tfe)模塊以及通道與位置注意機制(cpam),顯著提升了小目標分割的性能。這些結(jié)構(gòu)性改進對腦腫瘤mri圖像的分割任務(wù)亦具有一定的參考價值。在另一項研究中,maram?fahaadalmufareh?等人提出了一種基于yolo架構(gòu)的腦腫瘤分割方法,專注于腦膜瘤、膠質(zhì)瘤和垂體瘤三類腫瘤的檢測。其方法結(jié)合了yolov5與yolov7,分別處理邊界框檢測和掩碼分割任務(wù),并融合了先進的圖像預(yù)處理策略以提升檢測精度。pankaj?kasar?等人則基于經(jīng)典的u-net?和?segnet?架構(gòu),提出了兩種適用于mri圖像腦腫瘤自動分割的卷積神經(jīng)網(wǎng)絡(luò)方法。其中,u-net?以其對稱的編碼-解碼結(jié)構(gòu)與跳躍連接機制,在高分辨率圖像處理上表現(xiàn)出色;而?segnet?則以較高的計算效率為優(yōu)勢,但在分割精度上相對遜色。s.?karthikeyan等人利用?roboflow?進行數(shù)據(jù)標注和模型訓練,采用?yolov8?實現(xiàn)mri圖像中腦腫瘤的自動檢測與分割,其研究進一步驗證了yolov8在醫(yī)學圖像分割中的可行性與應(yīng)用潛力。此外,nur?iriawan?等人提出了一種結(jié)合?yolo?和?u-net?的混合架構(gòu)——yolo-unet。該方法利用yolo實現(xiàn)快速而準確的腫瘤區(qū)域定位,并通過?u-net?對腫瘤邊界進行精細分割,從而提升模型在處理形態(tài)多變、邊緣模糊等復(fù)雜病灶時的魯棒性和精確性。
3、現(xiàn)有基于yolo架構(gòu)的醫(yī)學圖像分割方法在應(yīng)用于腦腫瘤mri圖像時仍存在一定局限性,主要體現(xiàn)在:對多尺度腫瘤區(qū)域特征的提取能力不足,易造成關(guān)鍵信息丟失,影響分割精度;模型結(jié)構(gòu)復(fù)雜、計算資源消耗大,難以部署于資源受限的醫(yī)療環(huán)境中;同時在應(yīng)對腫瘤形態(tài)、大小和種類多樣性時,模型的適應(yīng)性和魯棒性仍顯不足。
4、綜上所述,盡管現(xiàn)有多種基于yolo及其他經(jīng)典架構(gòu)的分割方法已在腦腫瘤檢測中取得一定成效,但仍存在模型復(fù)雜度高、邊緣細節(jié)分割不夠精確、以及難以適應(yīng)多尺度特征等問題。因此,迫切需要一種結(jié)構(gòu)更為輕量、同時具備多尺度感知能力并能有效提升分割精度的改進方案,以更好地服務(wù)于實際臨床應(yīng)用。
技術(shù)實現(xiàn)思路
1、本發(fā)明所要解決的技術(shù)問題是:提供一種基于改進yolov8n-seg的多尺度輕量化腦腫瘤分割方法,通過引入結(jié)構(gòu)優(yōu)化與特征增強機制,本發(fā)明在有效降低模型計算復(fù)雜度的同時,增強了對小目標區(qū)域的感知能力,并提升了模型在多尺度腫瘤識別中的魯棒性和泛化能力,從而更適用于臨床實踐中對腦腫瘤自動分割的實際需求。
2、一種基于改進yolov8n-seg的多尺度輕量化腦腫瘤分割方法,包括以下步驟,且以下步驟順次進行:
3、步驟一:輸入待分析的腦腫瘤mri圖像,通過圖像預(yù)處理操作進行圖像質(zhì)量優(yōu)化;模型的主干網(wǎng)絡(luò)采用flrdown模塊作為高效的下采樣結(jié)構(gòu),并融合c2f模塊與sppf模塊以實現(xiàn)多尺度特征提取,分別生成淺層特征圖p3/8、中層特征圖p4/16和深層特征圖p5/32,用于捕捉不同層級的圖像語義與細節(jié)信息;
4、步驟二:將步驟一提取的特征圖輸入至頸部網(wǎng)絡(luò)中,所述頸部網(wǎng)絡(luò)基于特征金字塔結(jié)構(gòu)fpn和路徑聚合網(wǎng)絡(luò)pan構(gòu)建,融合了上采樣層upsample、連接層concat、卷積層conv、c2f層、以及adasimam注意力模塊,進行不同尺度特征之間的深度信息融合;頸部網(wǎng)絡(luò)輸出的多尺度特征圖p3-s、p4-m及p5-l,顯著增強了對目標區(qū)域結(jié)構(gòu)細節(jié)的建模能力;
5、步驟三:經(jīng)步驟二深度信息融合后的特征圖被傳遞至經(jīng)過改進的lcsdsh分割頭部網(wǎng)絡(luò)中,lcsdsh結(jié)合精確的邊界框檢測與掩碼生成機制,實現(xiàn)腦腫瘤區(qū)域的精準定位與分割,輸出包含空間位置信息和區(qū)域邊界的完整分割結(jié)果。
6、步驟一所述的flrdown模塊,替代yolov8n-seg主干網(wǎng)絡(luò)中的標準卷積,首先,輸入特征圖?x沿通道維度被拆分為兩部分:x1和x2;其中,x1通過低秩卷積進行降采樣處理,先進行1×3的橫向卷積,再進行?3×1?的縱向卷積,生成降采樣后的特征圖y1;同時,x2被送入頻域處理流程,x2?先經(jīng)過二維離散傅里葉變換2d-dft轉(zhuǎn)換到頻域,并在頻域中裁剪出低頻成分以保留全局信息;隨后,通過逆二維離散傅里葉變換2d-idft將裁剪后的低頻成分還原至空間域,生成特征圖?y2;需要通過1×1頻域卷積cv_freq和雙線性插值bilinearinterpolate對y2進行調(diào)整,使其尺寸與低秩卷積輸出的?y1對齊;最后,將處理后的?y1和?y2在通道維度上進行拼接,并通過特征融合操作生成最終的下采樣特征圖y。
7、步驟二所述adasimam注意力模塊工作流程為:經(jīng)過頸部網(wǎng)絡(luò)的多尺度特征融合后輸出的三個層次的特征圖分別輸入到adasimam注意力模塊中,利用平均池化對輸入各個特征圖進行平滑處理;采用局部窗口的平均池化方式提取局部區(qū)域的統(tǒng)計特征;將平滑后的特征圖與其局部均值之間的差異作為核心信息,計算每個空間位置的注意力響應(yīng),通過歸一化方式獲得相對重要性,生成通道級別的注意力權(quán)重圖;根據(jù)輸入特征圖在空間維度上的標準差,動態(tài)地調(diào)整超參數(shù);將計算得到的注意力權(quán)重與原始輸入特征圖進行逐元素相乘,得到加權(quán)后的輸出特征圖p3-s、p4-m和p5-l。
8、所述超參數(shù)的計算公式為:
9、
10、式中:為縮放因子,經(jīng)驗上取較小的常數(shù)值,例如0.01;
11、為輸入特征圖,在空間維度上的標準差;
12、
13、式中:為通道c上位置(i,j)的像素值,h,w分別表示空間維度上的高和寬,為通道c的均值;
14、。
15、步驟三所述改進的lcsdsh分割頭部網(wǎng)絡(luò)工作流程包括三個階段:
16、第一階段為特征增強,加權(quán)后的輸出特征圖p3-s、p4-m、p5-l分別經(jīng)過?1×1?輕量卷積模塊conv_gn進行通道壓縮后,統(tǒng)一輸入至共享卷積模塊,由兩層串聯(lián)的?3×3?卷積conv_gn完成特征增強;
17、第二階段為目標檢測,增強后的特征在每個尺度上分別通過獨立的回歸頭conv_reg和分類頭conv_cls輸出邊界框偏移量和類別概率并計算邊界框回歸損失bbox.loss和分類損失cls.loss,回歸結(jié)果經(jīng)由尺度調(diào)節(jié)模塊scale縮放處理后,通過?dfl解碼得到最終邊界框坐標與分類結(jié)果同時計算分布式焦點損失dfl.loss;
18、第三階段為實例分割處理,其中最淺層特征圖p3-s用于原型掩碼生成模塊proto,提取一組全圖共享的原型掩碼;同時,各尺度特征圖經(jīng)過輕量級的掩碼分支1×1?和?3×3conv_gn生成對應(yīng)的掩碼系數(shù);最終通過將掩碼系數(shù)與原型掩碼線性組合,恢復(fù)出每個目標的高質(zhì)量實例分割掩碼生成最后的實例分割結(jié)果并計算分割掩碼損失seg.loss。
19、所述尺度調(diào)節(jié)模塊scale的處理公式及原理為:
20、
21、式中:為回歸頭輸出的原始預(yù)測(即每個像素點的邊界框偏移預(yù)測)。
22、是一個可學習的標量參數(shù),初始化為?1.0,在訓練過程中通過梯度下降優(yōu)化。為縮放后的預(yù)測結(jié)果,作為距離分布的輸入送入?dfl?解碼。
23、所述邊界框回歸損失bbox.loss計算公式為:
24、
25、式中:為真實邊界框的坐標,為預(yù)測邊界框的坐標;
26、所述分類損失cls.loss的計算公式為:
27、
28、式中:為一個指示器,如果樣本o屬于類別c,則為1,反之為0;
29、為模型預(yù)測樣本o屬于類別c的概率;l為類別數(shù)。
30、所述分布式焦點損失dfl.loss的計算公式為:
31、
32、式中:為預(yù)測的概率分布;為真實分布;reg_max為控制離散化回歸的粒度,決定分布預(yù)測的范圍大?。?/p>
33、所述分割掩碼損失seg.loss采用二元交叉熵損失bce和骰子損失dice.loss結(jié)合計算:
34、
35、
36、
37、式中,為像素點個數(shù);為第i個像素點真實掩碼像素值;為i個像素點預(yù)測像素值為平滑項常數(shù);為像素點矩陣預(yù)測掩碼像素值;為像素點矩陣真實掩碼像素值。
38、通過上述設(shè)計方案,本發(fā)明可以帶來如下有益效果:
39、1、新型下采樣模塊flrdown:本發(fā)明設(shè)計并引入了一種融合低秩卷積與傅里葉變換的新型下采樣模塊flrdown,替代yolov8n-seg主干網(wǎng)絡(luò)中的標準卷積操作。該模塊在有效降低空間分辨率的同時,能夠更充分地保留圖像的低頻全局信息,顯著提升模型的感受野與特征表達能力,同時降低整體計算復(fù)雜度,為醫(yī)學圖像中小目標的識別提供更強支持。
40、2、自適應(yīng)簡單無參注意力模塊adasimam:本發(fā)明在?simam?注意力機制的基礎(chǔ)上進行了進一步改進,提出了一種新型的注意力模塊——adasimam。該模塊通過有效削弱高頻噪聲對特征表達的干擾,增強局部區(qū)域的特征響應(yīng),并引入自適應(yīng)參數(shù)調(diào)整機制,使模型能夠更好地適應(yīng)目標檢測、語義分割等視覺任務(wù)中對多尺度特征的敏感性需求。adasimam在保持結(jié)構(gòu)簡潔、無需額外可學習參數(shù)的前提下,提升了特征表示的質(zhì)量與模型的整體性能。
41、3、輕量化分割頭部網(wǎng)絡(luò)lcsdsh:針對原yolov8n-seg模型的分割頭參數(shù)量大、資源消耗高的問題,本發(fā)明改進了原分割頭,設(shè)計出lcsdsh分割頭部網(wǎng)絡(luò),優(yōu)化了頭部網(wǎng)絡(luò)結(jié)構(gòu)并減少了冗余參數(shù)。lcsdsh使模型在保持高精度輸出的同時,顯著降低了模型的計算負載,提升了其在資源受限環(huán)境下的部署能力。