基于大模型的正樣本異常檢測(cè)方案-實(shí)現(xiàn)用戶簡單點(diǎn)擊即可將識(shí)別為異物的物體定義為正常物體

變電站中存在諸多潛在異常風(fēng)險(xiǎn)，其一是來自外界的不可預(yù)測(cè)的異物威脅，容易引發(fā)短路、電弧甚至火災(zāi)事故，需要采取措施預(yù)防。由于異物未知且采集異物圖像成本非常G，需要算法實(shí)現(xiàn)在僅擁有正常圖像樣本的條件下實(shí)現(xiàn)對(duì)未知異物的檢測(cè)。

項(xiàng)目利用大模型檢測(cè)并提取場(chǎng)景中物體的特征，并使用特征融合和存儲(chǔ)庫技術(shù)讓算法“記住”正常場(chǎng)景，再通過融合特征比對(duì)的方式分辨出異常物體。該算法充分發(fā)揮了大模型跨模態(tài)、預(yù)訓(xùn)練、開放性等眾多優(yōu)勢(shì)，以很小的代價(jià)就能完成傳統(tǒng)深度學(xué)習(xí)算法無法完成的任務(wù)。

在算法落地過程中，獲取稀缺圖像一直是一大挑戰(zhàn)。在本項(xiàng)目中，正樣本檢測(cè)技術(shù)巧妙地避開這一難題，運(yùn)用先進(jìn)技術(shù)，避免了困難的負(fù)樣本采集工作的同時(shí)，還具有更好的精度和泛化能力。本項(xiàng)目的正樣本檢測(cè)算法不僅能在電力變電行業(yè)表現(xiàn)出色，同時(shí)也適用于其他工業(yè)或生活場(chǎng)景。

變電站作為電力系統(tǒng)的關(guān)鍵設(shè)施，承擔(dān)著輸電、變壓、配電等重要任務(wù)，是電力供應(yīng)的核心節(jié)點(diǎn)。然而，由于其特殊的地理位置和功能屬性，變電站存在著諸多潛在的異常風(fēng)險(xiǎn)。其中，為突出的問題之一是來自外界的不可預(yù)測(cè)異物的威脅。風(fēng)箏、塑料袋等物體，一旦進(jìn)入變電站區(qū)域，可能與G壓設(shè)備接觸，引發(fā)短路、電弧甚至火災(zāi)等嚴(yán)重安全事故，威脅到變電站設(shè)備的安全運(yùn)行和周邊地區(qū)的人身財(cái)產(chǎn)安全。

這些不可知的異物對(duì)變電站的安全穩(wěn)定造成了潛在威脅，因此需要采取有效的措施來應(yīng)對(duì)。由于異物未知且采集異物圖像成本G，客戶要求僅利用易獲得的正常樣本進(jìn)行訓(xùn)練，實(shí)現(xiàn)場(chǎng)景中異物的準(zhǔn)確檢測(cè)，以降低成本并提G效率。

基于大模型的方法與傳統(tǒng)工業(yè)視覺檢測(cè)的區(qū)別：以往的工業(yè)視覺檢測(cè)大多需要采集大量所需類別的圖像樣本并訓(xùn)練一個(gè)針對(duì)性的小模型，這樣的模型容量小，能力有限，也難以運(yùn)用到已有的海量預(yù)訓(xùn)練數(shù)據(jù)集的知識(shí)。而大模型發(fā)展至今，僅預(yù)訓(xùn)練的模型在很多視覺任務(wù)的精度上已經(jīng)碾壓傳統(tǒng)小模型，再經(jīng)過行業(yè)數(shù)據(jù)微調(diào)后可以更加適合于特定的工業(yè)視覺檢測(cè)任務(wù)。

基于大模型的正樣本檢測(cè)技術(shù)：通過檢測(cè)大模型的開放詞匯識(shí)別出物體，然后用特征提取大模型的編碼物體的深度特征，結(jié)合存儲(chǔ)庫技術(shù)，能夠?qū)崿F(xiàn)在僅見過正常場(chǎng)景圖片的有限條件下，準(zhǔn)確檢測(cè)出場(chǎng)景中出現(xiàn)的任何未知的異常物體，精度相較于傳統(tǒng)深度學(xué)習(xí)方法大幅提升。

正樣本在線增量訓(xùn)練技術(shù)：通過對(duì)存儲(chǔ)庫和交互方式的設(shè)計(jì)，并結(jié)合大模型的特性，實(shí)現(xiàn)用戶簡單點(diǎn)擊即可將識(shí)別為異物的物體定義為正常物體。這一技術(shù)實(shí)現(xiàn)了模型和存儲(chǔ)庫的在線更新，有效解決了模型部署后更新難、反饋慢的問題。

多點(diǎn)位模型通用技術(shù)：實(shí)際項(xiàng)目中需要部署的點(diǎn)位可達(dá)成百上千，本項(xiàng)目利用大模型的通用性和特征存儲(chǔ)庫技術(shù)打破了一個(gè)點(diǎn)位對(duì)應(yīng)一個(gè)模型的限制，實(shí)現(xiàn)在不改變主網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)的條件下，快速訓(xùn)練出各個(gè)點(diǎn)位的特征存儲(chǔ)庫，并且能夠在不同點(diǎn)位間快速切換。

樣本生成技術(shù)：對(duì)圖像生成大模型進(jìn)行微調(diào)訓(xùn)練后，通過對(duì)邊緣、文字提示和正常圖像的結(jié)合來實(shí)現(xiàn)在變電站圖像中任意位置（許多位置工人難以到達(dá)但又容易出現(xiàn)異物）生成任意形態(tài)的異物，用于測(cè)試算法的能力并進(jìn)行迭代提升。

實(shí)施效果

項(xiàng)目目前已在國家電網(wǎng)某變電站進(jìn)行了超300個(gè)攝像頭點(diǎn)位的部署運(yùn)行，綜合漏報(bào)率低于3%，誤報(bào)率低于5%。

正樣本巡視系統(tǒng)采用定時(shí)排查和人工下任務(wù)兩種方式，多面檢測(cè)所有點(diǎn)位。工作人員在系統(tǒng)中復(fù)核告警圖像并清理異物，實(shí)現(xiàn)了異常檢測(cè)的自動(dòng)化和智能化。相較于純?nèi)斯げ欢ㄆ谘惨�，該系統(tǒng)能全天候定時(shí)檢測(cè)所有場(chǎng)景，顯著減少人力成本，且算法速度快、資源消耗低。每增加一個(gè)點(diǎn)位只需額外3MB內(nèi)存和磁盤存儲(chǔ)空間，適用于大規(guī)模部署應(yīng)用。

該項(xiàng)目的應(yīng)用J大地減少了變電站的潛在異常風(fēng)險(xiǎn)，得到了國家電網(wǎng)上海練塘站L導(dǎo)的一致好評(píng)，并已開始向全國范圍內(nèi)其他變電站推廣。此外，這種正樣本技術(shù)不僅局限于變電站場(chǎng)景，還可以應(yīng)用于其他工業(yè)和生活場(chǎng)景。

本方案基于攝像頭等國產(chǎn)硬件感知設(shè)備，配合自主研發(fā)基于大模型的正樣本檢測(cè)關(guān)鍵技術(shù)，形成整套的解決方案產(chǎn)品；相比于傳統(tǒng)深度學(xué)習(xí)模型只能檢測(cè)固定類別的異常，本項(xiàng)目靈活使用視覺大模型，可以有效檢測(cè)出未知的缺陷種類。本產(chǎn)品應(yīng)用于變電站異常識(shí)別L域，可以檢測(cè)出變電站中出現(xiàn)的異常現(xiàn)象，有效保障電力穩(wěn)定安全運(yùn)行。從經(jīng)濟(jì)的角度為傳統(tǒng)行業(yè)提質(zhì)增效智能化升級(jí)、減低人力成本；從社會(huì)角度，對(duì)各行業(yè)的智能巡檢場(chǎng)景實(shí)現(xiàn)“機(jī)器代人眼”，對(duì)釋放數(shù)字經(jīng)濟(jì)潛力、形成新的經(jīng)濟(jì)增長點(diǎn)具有重要意義。同時(shí)，其應(yīng)用場(chǎng)景除電力外，仍可覆蓋石油、化工、煙草、園區(qū)等需要智能巡視的L域，可提G各個(gè)應(yīng)用場(chǎng)景系統(tǒng)運(yùn)維工作效率與質(zhì)量。