本發(fā)明涉及數(shù)據(jù)處理,尤其涉及融合多源異構(gòu)數(shù)據(jù)的計(jì)算機(jī)特征提取處理系統(tǒng)與方法。
背景技術(shù):
1、數(shù)據(jù)處理技術(shù)領(lǐng)域涉及對(duì)大規(guī)模數(shù)據(jù)進(jìn)行分析、存儲(chǔ)、提取和處理的各種技術(shù)方法,其核心事項(xiàng)包括數(shù)據(jù)的預(yù)處理、特征提取、數(shù)據(jù)挖掘、數(shù)據(jù)分析、模型訓(xùn)練與評(píng)估等,廣泛應(yīng)用于人工智能、機(jī)器學(xué)習(xí)、大數(shù)據(jù)處理、信號(hào)處理等領(lǐng)域,在此領(lǐng)域中,特征提取技術(shù)是對(duì)數(shù)據(jù)中的重要信息進(jìn)行篩選與轉(zhuǎn)換的關(guān)鍵步驟,能夠幫助系統(tǒng)從復(fù)雜的數(shù)據(jù)中提取有效特征,進(jìn)而提升模型的準(zhǔn)確性和效率。
2、其中,傳統(tǒng)計(jì)算機(jī)特征提取處理系統(tǒng)是指利用計(jì)算機(jī)對(duì)輸入數(shù)據(jù)進(jìn)行分析、轉(zhuǎn)換與處理,從中提取出對(duì)后續(xù)分析有意義的特征數(shù)據(jù),系統(tǒng)依賴于數(shù)據(jù)預(yù)處理、特征選擇、降維、數(shù)據(jù)映射等手段,進(jìn)行輸入數(shù)據(jù)的轉(zhuǎn)化處理,傳統(tǒng)方案一般采用基于規(guī)則的手工設(shè)計(jì)特征提取方法,或利用經(jīng)典的機(jī)器學(xué)習(xí)算法如決策樹、支持向量機(jī)等進(jìn)行特征提取,現(xiàn)有方法依賴人工經(jīng)驗(yàn),并且在數(shù)據(jù)量較大時(shí)難以處理復(fù)雜的數(shù)據(jù)模式,存在處理效率低、精度不足等問題。
3、現(xiàn)有技術(shù)依賴人工經(jīng)驗(yàn),特征提取過程繁瑣且不夠靈活,通過手工設(shè)計(jì)規(guī)則或經(jīng)典機(jī)器學(xué)習(xí)算法來進(jìn)行特征篩選和轉(zhuǎn)換,這使得在處理大規(guī)模數(shù)據(jù)時(shí),系統(tǒng)容易受到數(shù)據(jù)復(fù)雜性和多樣性的制約,導(dǎo)致計(jì)算效率低,難以捕捉到數(shù)據(jù)中的深層次關(guān)聯(lián)。尤其在面對(duì)時(shí)序數(shù)據(jù)或者復(fù)雜數(shù)據(jù)模式時(shí),傳統(tǒng)方法難以根據(jù)數(shù)據(jù)的變化趨勢(shì)靈活調(diào)整特征提取策略,進(jìn)而影響模型的精度與適應(yīng)性。再者,現(xiàn)有技術(shù)對(duì)數(shù)據(jù)的動(dòng)態(tài)變化識(shí)別能力較弱,容易錯(cuò)過關(guān)鍵的突變點(diǎn)和潛在的風(fēng)險(xiǎn)信號(hào),這使得傳統(tǒng)方案在面對(duì)快速變化的復(fù)雜環(huán)境時(shí),難以提供實(shí)時(shí)有效的預(yù)警和分析支持。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明的目的是解決現(xiàn)有技術(shù)中存在的缺點(diǎn),而提出的融合多源異構(gòu)數(shù)據(jù)的計(jì)算機(jī)特征提取處理系統(tǒng)與方法。
2、為了實(shí)現(xiàn)上述目的,本發(fā)明采用了如下技術(shù)方案:融合多源異構(gòu)數(shù)據(jù)的計(jì)算機(jī)特征提取處理系統(tǒng)包括:
3、結(jié)構(gòu)關(guān)聯(lián)映射模塊基于輸入數(shù)據(jù)的多維分布圖與局部特征差異圖,按時(shí)間序列排列數(shù)據(jù)點(diǎn)屬性權(quán)重,分析權(quán)重變化趨勢(shì),篩選連續(xù)波動(dòng)幅度超過數(shù)據(jù)演變基準(zhǔn)閾值的區(qū)域節(jié)點(diǎn),定位跨域數(shù)據(jù)中的潛在關(guān)聯(lián)區(qū),生成數(shù)據(jù)關(guān)聯(lián)集中區(qū)位圖;
4、密度突變識(shí)別模塊調(diào)用所述數(shù)據(jù)關(guān)聯(lián)集中區(qū)位圖,比較前后時(shí)間點(diǎn)的屬性權(quán)重變化,識(shí)別權(quán)重方向逆轉(zhuǎn)且變化幅度超結(jié)構(gòu)演變閾值的關(guān)鍵網(wǎng)格點(diǎn),并記錄位置,生成結(jié)構(gòu)突變網(wǎng)格坐標(biāo)集;
5、擾動(dòng)路徑分析模塊根據(jù)所述結(jié)構(gòu)突變網(wǎng)格坐標(biāo)集對(duì)應(yīng)的數(shù)據(jù)域編號(hào),提取多個(gè)時(shí)間點(diǎn)的邏輯路徑與關(guān)聯(lián)路徑,定位權(quán)重突變點(diǎn),并歸集路徑中的關(guān)鍵擾動(dòng)信息,生成數(shù)據(jù)域擾動(dòng)拐點(diǎn)序列;
6、路徑邏輯匹配模塊調(diào)用所述數(shù)據(jù)域擾動(dòng)拐點(diǎn)序列,提取高頻擾動(dòng)區(qū)段與時(shí)間間隔聚類,分析聚類中心軌跡的拐點(diǎn)時(shí)序與分布形態(tài),比較目標(biāo)路徑與拐點(diǎn)對(duì)齊率及軌跡形狀一致性,得到計(jì)算機(jī)特征擾動(dòng)行為模式列表。
7、作為本發(fā)明的進(jìn)一步方案,所述數(shù)據(jù)關(guān)聯(lián)集中區(qū)位圖包括關(guān)聯(lián)異常聚集區(qū)、權(quán)重波動(dòng)異常區(qū)、結(jié)構(gòu)重合高頻區(qū),所述結(jié)構(gòu)突變網(wǎng)格坐標(biāo)集包括權(quán)重逆轉(zhuǎn)點(diǎn)、局部強(qiáng)變異點(diǎn)、異常對(duì)比邊緣點(diǎn),所述數(shù)據(jù)域擾動(dòng)拐點(diǎn)序列包括權(quán)重突變時(shí)間點(diǎn)、擾動(dòng)強(qiáng)度標(biāo)志點(diǎn)、邏輯與關(guān)聯(lián)拐點(diǎn)路徑,所述計(jì)算機(jī)特征擾動(dòng)行為模式列表包括拐點(diǎn)聚類序列、軌跡形態(tài)類別、擾動(dòng)區(qū)段頻率特征。
8、作為本發(fā)明的進(jìn)一步方案,所述結(jié)構(gòu)關(guān)聯(lián)映射模塊包括:
9、數(shù)據(jù)權(quán)重計(jì)算子模塊基于輸入數(shù)據(jù)的多維分布圖與局部特征差異圖,按時(shí)間序列排列數(shù)據(jù)點(diǎn)屬性權(quán)重值,識(shí)別相鄰時(shí)序權(quán)重比并構(gòu)成比值序列,逐項(xiàng)對(duì)比權(quán)重差幅與數(shù)據(jù)演變基準(zhǔn)閾值,定位差幅數(shù)據(jù)點(diǎn)位置,生成權(quán)重變化趨勢(shì)值;
10、關(guān)聯(lián)偏移區(qū)篩選子模塊基于所述權(quán)重變化趨勢(shì)值,篩選差幅超出數(shù)據(jù)演變基準(zhǔn)閾值的數(shù)據(jù)點(diǎn)集合,提取數(shù)據(jù)點(diǎn)集合的空間坐標(biāo)和特征差異圖進(jìn)行匹配,識(shí)別并劃定空間重合區(qū)域的連通范圍,獲取關(guān)聯(lián)偏移區(qū)域區(qū)間;
11、潛變區(qū)定位子模塊根據(jù)所述關(guān)聯(lián)偏移區(qū)域區(qū)間與結(jié)構(gòu)分布圖進(jìn)行空間重疊,選取重疊數(shù)據(jù)點(diǎn)中結(jié)構(gòu)值與密集度均處于排序前列的區(qū)域,標(biāo)定對(duì)應(yīng)位置于跨域數(shù)據(jù)邊緣區(qū)域,生成數(shù)據(jù)關(guān)聯(lián)集中區(qū)位圖。
12、作為本發(fā)明的進(jìn)一步方案,所述密度突變識(shí)別模塊包括:
13、局部權(quán)重提取子模塊調(diào)用所述數(shù)據(jù)關(guān)聯(lián)集中區(qū)位圖,劃分網(wǎng)格區(qū)域,提取局部權(quán)重極值與平均值,記錄每個(gè)時(shí)點(diǎn)權(quán)重分布,生成權(quán)重分布數(shù)據(jù)集;
14、權(quán)重方向判斷子模塊基于所述權(quán)重分布數(shù)據(jù)集,對(duì)比網(wǎng)格前后時(shí)間點(diǎn)權(quán)重均值,識(shí)別權(quán)重方向的逆轉(zhuǎn)趨勢(shì),記錄對(duì)應(yīng)網(wǎng)格索引,生成權(quán)重方向變化類型集;
15、結(jié)構(gòu)變化篩選子模塊根據(jù)所述權(quán)重方向變化類型集,提取方向逆轉(zhuǎn)網(wǎng)格的權(quán)重變幅值與鄰域權(quán)重方差,結(jié)合方向角度差與權(quán)重均值差,計(jì)算結(jié)構(gòu)變幅度量值,篩選變幅超結(jié)構(gòu)演變閾值的網(wǎng)格位置,識(shí)別區(qū)位圖中對(duì)應(yīng)坐標(biāo),生成結(jié)構(gòu)突變網(wǎng)格坐標(biāo)集。
16、作為本發(fā)明的進(jìn)一步方案,所述擾動(dòng)路徑分析模塊包括:
17、數(shù)據(jù)域編號(hào)提取子模塊根據(jù)所述結(jié)構(gòu)突變網(wǎng)格坐標(biāo)集,匹配數(shù)據(jù)域圖譜對(duì)應(yīng)區(qū)域,提取數(shù)據(jù)域編號(hào)并整合,進(jìn)行網(wǎng)格與數(shù)據(jù)域映射,得到數(shù)據(jù)域標(biāo)識(shí)編碼值;
18、邏輯關(guān)聯(lián)路徑計(jì)算子模塊調(diào)用所述數(shù)據(jù)域標(biāo)識(shí)編碼值,采集時(shí)間點(diǎn)數(shù)據(jù)域的邏輯與關(guān)聯(lián)值,分析時(shí)間序列并計(jì)算單位時(shí)間權(quán)重速率,識(shí)別邏輯與關(guān)聯(lián)速率序列,并進(jìn)行融合,得到邏輯關(guān)聯(lián)速率序列;
19、擾動(dòng)拐點(diǎn)定位子模塊根據(jù)所述邏輯關(guān)聯(lián)速率序列,識(shí)別數(shù)據(jù)域邏輯與關(guān)聯(lián)速率差值的絕對(duì)峰值,提取擾動(dòng)敏感性數(shù)組,分析突變區(qū)間,計(jì)算監(jiān)測(cè)周期內(nèi)的權(quán)重?cái)_動(dòng)系數(shù),選取極值對(duì)應(yīng)時(shí)點(diǎn)與數(shù)據(jù)域進(jìn)行對(duì)應(yīng),生成數(shù)據(jù)域擾動(dòng)拐點(diǎn)序列。
20、作為本發(fā)明的進(jìn)一步方案,所述路徑邏輯匹配模塊包括:
21、擾動(dòng)區(qū)段提取子模塊調(diào)用所述數(shù)據(jù)域擾動(dòng)拐點(diǎn)序列,篩選擾動(dòng)幅度超過擾動(dòng)幅度基準(zhǔn)值的區(qū)段,識(shí)別擾動(dòng)頻率及時(shí)間間隔,聚類時(shí)間間隔低于時(shí)間間隔閾值的區(qū)段,得到高頻擾動(dòng)區(qū)段集;
22、拐點(diǎn)軌跡分析子模塊基于所述高頻擾動(dòng)區(qū)段集,提取聚類中心軌跡拐點(diǎn),采集拐點(diǎn)時(shí)間序列及空間坐標(biāo),識(shí)別時(shí)間序列方差及分布密度,計(jì)算拐點(diǎn)軌跡離散度值,根據(jù)離散度判定軌跡拐點(diǎn)分布特性,獲取拐點(diǎn)軌跡分布特性集;
23、路徑對(duì)齊一致性比較子模塊根據(jù)所述拐點(diǎn)軌跡分布特性集,提取目標(biāo)路徑拐點(diǎn)數(shù)據(jù),分析匹配拐點(diǎn)數(shù)量比與軌跡形狀一致性比率,篩選符合對(duì)齊率及一致性要求的路徑,得到計(jì)算機(jī)特征擾動(dòng)行為模式列表。
24、作為本發(fā)明的進(jìn)一步方案,系統(tǒng)還包括風(fēng)險(xiǎn)邏輯輸出模塊:
25、風(fēng)險(xiǎn)邏輯輸出模塊根據(jù)所述計(jì)算機(jī)特征擾動(dòng)行為模式列表中路徑與風(fēng)險(xiǎn)中心軌跡的匹配程度,提取所在數(shù)據(jù)域編號(hào)與時(shí)間段,標(biāo)記擾動(dòng)趨勢(shì)同步區(qū)間,歸類并定位數(shù)據(jù)域演變過程中的關(guān)鍵預(yù)警事件,得到數(shù)據(jù)演變風(fēng)險(xiǎn)信號(hào)集;
26、所述數(shù)據(jù)演變風(fēng)險(xiǎn)信號(hào)集包括風(fēng)險(xiǎn)數(shù)據(jù)域編號(hào)、潛在風(fēng)險(xiǎn)時(shí)段、趨勢(shì)同步特征標(biāo)識(shí)。
27、作為本發(fā)明的進(jìn)一步方案,所述風(fēng)險(xiǎn)邏輯輸出模塊包括:
28、路徑篩取子模塊根據(jù)所述計(jì)算機(jī)特征擾動(dòng)行為模式列表中路徑與用戶數(shù)據(jù)域風(fēng)險(xiǎn)中心軌跡的時(shí)空接近度,篩選滿足擾動(dòng)接近閾值的路徑,提取路徑所在數(shù)據(jù)域編號(hào)與對(duì)應(yīng)時(shí)間段,生成數(shù)據(jù)域風(fēng)險(xiǎn)路徑區(qū)間值集;
29、同步標(biāo)記子模塊調(diào)用所述數(shù)據(jù)域風(fēng)險(xiǎn)路徑區(qū)間值集中的數(shù)據(jù)域編號(hào)與時(shí)間段,依據(jù)路徑時(shí)序排列中數(shù)據(jù)域擾動(dòng)趨勢(shì)變化的一致性,標(biāo)記擾動(dòng)同步的時(shí)間區(qū)段,獲取數(shù)據(jù)域擾動(dòng)趨勢(shì)同步區(qū)間段值;
30、關(guān)鍵事件定位子模塊根據(jù)所述數(shù)據(jù)域擾動(dòng)趨勢(shì)同步區(qū)間段值中數(shù)據(jù)域編號(hào)與時(shí)間段,提取擾動(dòng)幅度變化率與持續(xù)時(shí)間比值,并篩選超過演變突變閾值的數(shù)據(jù)域序列,定位對(duì)應(yīng)時(shí)間點(diǎn)及數(shù)據(jù)域編號(hào),得到數(shù)據(jù)演變風(fēng)險(xiǎn)信號(hào)集。
31、所述融合多源異構(gòu)數(shù)據(jù)的計(jì)算機(jī)特征提取處理方法基于上述融合多源異構(gòu)數(shù)據(jù)的計(jì)算機(jī)特征提取處理系統(tǒng)執(zhí)行,包括以下步驟:
32、s1:基于輸入數(shù)據(jù)的多維分布圖與局部特征差異圖,按時(shí)間順序排列數(shù)據(jù)點(diǎn)屬性權(quán)重比值,提取連續(xù)權(quán)重差值,篩選差值大于數(shù)據(jù)演變閾值的數(shù)據(jù)點(diǎn),并疊加結(jié)構(gòu)分布圖進(jìn)行區(qū)域篩選,得到關(guān)聯(lián)潛變交匯區(qū)域圖;
33、s2:基于所述關(guān)聯(lián)潛變交匯區(qū)域圖,識(shí)別網(wǎng)格內(nèi)的局部權(quán)重范圍與前后時(shí)間點(diǎn)權(quán)重差,篩選權(quán)重方向逆轉(zhuǎn)且變幅超過結(jié)構(gòu)演變閾值的網(wǎng)格坐標(biāo),得到結(jié)構(gòu)突變標(biāo)記集;
34、s3:基于所述結(jié)構(gòu)突變標(biāo)記集對(duì)應(yīng)的數(shù)據(jù)域編號(hào),提取多時(shí)間點(diǎn)的邏輯路徑與關(guān)聯(lián)路徑,對(duì)路徑權(quán)重變化值進(jìn)行序列比對(duì),定位權(quán)重波動(dòng)突變點(diǎn),建立數(shù)據(jù)域邏輯關(guān)聯(lián)擾動(dòng)序列圖;
35、s4:基于所述數(shù)據(jù)域邏輯關(guān)聯(lián)擾動(dòng)序列圖,提取高頻擾動(dòng)區(qū)段與對(duì)應(yīng)擾動(dòng)時(shí)間段,聚類擾動(dòng)軌跡節(jié)點(diǎn),分析軌跡轉(zhuǎn)折順序與分布一致性,篩選擾動(dòng)行為集中區(qū),獲取數(shù)據(jù)演變行為聚類圖譜;
36、s5:基于所述數(shù)據(jù)演變行為聚類圖譜中擾動(dòng)軌跡與風(fēng)險(xiǎn)演化軌跡庫(kù)的比對(duì)結(jié)果,篩選軌跡重合的數(shù)據(jù)域與時(shí)間段,標(biāo)注擾動(dòng)與風(fēng)險(xiǎn)同步區(qū)間,得到數(shù)據(jù)演變風(fēng)險(xiǎn)信號(hào)集。
37、與現(xiàn)有技術(shù)相比,本發(fā)明的優(yōu)點(diǎn)和積極效果在于:
38、本發(fā)明中,通過優(yōu)化數(shù)據(jù)處理方式,能夠精確識(shí)別數(shù)據(jù)中的重要特征,減少手工干預(yù)和經(jīng)驗(yàn)依賴,實(shí)現(xiàn)對(duì)大規(guī)模數(shù)據(jù)的高效分析和處理,提升數(shù)據(jù)模型的準(zhǔn)確性和效率,通過對(duì)數(shù)據(jù)波動(dòng)幅度和變化趨勢(shì)的深入分析,能夠精準(zhǔn)定位數(shù)據(jù)中的潛在關(guān)聯(lián)區(qū)域和突變網(wǎng)格,從而有效識(shí)別出關(guān)鍵擾動(dòng)信息,避免了傳統(tǒng)方法中因數(shù)據(jù)量龐大而難以處理復(fù)雜模式的困境。通過路徑邏輯匹配,能夠清晰地揭示出數(shù)據(jù)演變過程中存在的風(fēng)險(xiǎn)行為模式,及時(shí)標(biāo)記出潛在的預(yù)警事件,確保模型對(duì)復(fù)雜數(shù)據(jù)模式的處理能力與高效性,尤其在面對(duì)大規(guī)模數(shù)據(jù)時(shí),避免傳統(tǒng)方案中的低效和精度不足問題。