第一篇：視頻中運(yùn)動目標(biāo)的檢測標(biāo)記

視頻中運(yùn)動目標(biāo)的檢測標(biāo)記

摘要：傳統(tǒng)電視監(jiān)控技術(shù)只能把遠(yuǎn)程的目標(biāo)圖像（原始數(shù)據(jù)）傳送到監(jiān)控中心，由監(jiān)控人員對現(xiàn)場情況做出判斷。智能化視頻監(jiān)控的目的是將視頻原始數(shù)據(jù)轉(zhuǎn)化為可供監(jiān)控人員決策的“有用信息”；本文對視頻運(yùn)動目標(biāo)檢測領(lǐng)域的研究現(xiàn)狀和視頻運(yùn)動目標(biāo)檢測的圖像分割方法進(jìn)行了比較，對交通視頻中的汽車目標(biāo)實例進(jìn)行了研究實現(xiàn)。關(guān)鍵詞：交通信息；視頻檢測；目標(biāo)識別；目標(biāo)跟蹤

Abstract: Traditional TV monitoring technology can only put remote target image(original data)transmission to the monitoring center, give their judgment by monitoring person according to the site condition.The aim of intelligent video surveillance is to put a video raw data into available for monitoring personnel decisions of “useful information”;Video motion detection field research status and video exercise targets detection image segmentation method are compared by this paper, and the video of the vehicles for traffic target examples are studied and realized.Keywords: traffic information, Video detection.Target recognition, Target tracking 1前言

傳統(tǒng)電視監(jiān)控技術(shù)只能達(dá)到“千里眼”的作用，把遠(yuǎn)程的目標(biāo)圖像（原始數(shù)據(jù)）傳送到監(jiān)控中心，由監(jiān)控人員根據(jù)目視到的視頻圖像對現(xiàn)場情況做出判斷。智能化視 頻監(jiān)控的目的是將視頻原始數(shù)據(jù)轉(zhuǎn)化為足夠量的可供監(jiān)控人員決策的“有用信息”，讓監(jiān)控人員及時全面地了解所發(fā)生的事件。將“原始數(shù)據(jù)”轉(zhuǎn)化為“有用信息”的技術(shù)中，目標(biāo)檢測與跟蹤技術(shù)的目的是要解決“什么地方”和“什么時間”的問題。目標(biāo)識別主要解決“什么人”或“什么東西”的問題。行為模式分析主要解決“在做什么”的問題。

運(yùn)動目標(biāo)檢測是計算機(jī)視覺研究中進(jìn)行信息提取鍵步驟之一是視頻分析技術(shù)的基礎(chǔ)在 視頻監(jiān)控目標(biāo)跟蹤運(yùn)動分析等實際應(yīng)用系統(tǒng)中往往要求能夠?qū)崟r檢測和分割出目標(biāo)運(yùn)動目標(biāo)檢測是視頻序列運(yùn)動分析與理解的基礎(chǔ)是底層的處理過程是目標(biāo)分類目標(biāo)跟蹤等處理步驟的基礎(chǔ)運(yùn)動目標(biāo)檢測的主要任務(wù)是將運(yùn)動目標(biāo)從視頻序列中提取出來。

2數(shù)字圖像運(yùn)動目標(biāo)檢測常用方法

數(shù)字圖像運(yùn)動目標(biāo)檢測常用以下3 種方法: 1....背景圖像差分法:當(dāng)前圖像與固定背景圖像之間的差分； 2...幀間差分法:當(dāng)前連續(xù)幅圖像之間的差分； 3....光學(xué)流法。

2.1背景圖像差分

背景減除（Background Subtraction）方法是目前運(yùn)動檢測中最常用的 一種方法，它是利用當(dāng)前圖像與背景圖像的差分來檢測出運(yùn)動目標(biāo)的一種技術(shù)。它一般能夠提供相對來說比較全面的運(yùn)動目標(biāo)的特征數(shù)據(jù)，但對于動態(tài)場景的變化，如光線照射情況和外來無關(guān)事件的干擾等也特別敏感。

實際上，背景的建模是背景減除方法的技術(shù)關(guān)鍵。最簡單的背景模型是時間平均圖像，即 利用同一場景在一個時段的平均圖像作為該場景的背景模型。由于該模型是固定的，一旦建立之后，對于該場景圖像所發(fā)生的任何變化都比較敏感，比如陽光照射方 向，影子，樹葉隨風(fēng)搖動等。大部分的研究人員目前都致力于開發(fā)更加實用的背景模型，以期減少動態(tài)場景變化對于運(yùn)動目標(biāo)檢測效果的影響[2]。

2.2幀時間差分

時間差分（Temporal Difference 又稱相鄰幀差）方法充分利用了視頻圖像的特征，從連續(xù)得到的視頻流中提取所需要的動態(tài)目標(biāo)信息。在一般 情況下采集的視頻圖像，若仔細(xì)對比相鄰兩幀，可以發(fā)現(xiàn)其中大部分的背景像素均保持不變。只有在有前景移動目標(biāo)的部分相鄰幀的像素差異比較大。時間差分方法 就是利用相鄰幀圖像的相減來提取出前景移動目標(biāo)的信息的。

讓我們來考慮安裝固定攝像頭所獲取的視頻。我們介紹利用連續(xù)的圖像序列中兩個 或三個相鄰幀之間的時間差分，并且用閾值來提取出視頻圖像中的運(yùn)動目標(biāo)的方法。我們采用三幀差分的方法，即當(dāng)某一個像素在連續(xù)三幀視頻圖像上均有相當(dāng)程度 的變化(及大于設(shè)定的閾值時)，我們便確定該像素屬于運(yùn)動目標(biāo)。時間差分運(yùn)動檢測方法對于動態(tài)環(huán)境具有較強(qiáng)的自適應(yīng)性，但一般不能完全提取出所有相關(guān)的特 征像素點，在運(yùn)動實體內(nèi)部容易產(chǎn)生空洞現(xiàn)象，只能夠檢測到目標(biāo)的邊緣。而且，當(dāng)運(yùn)動目標(biāo)停止運(yùn)動時，一般時間差分方法便失效[3] 2.3光學(xué)流法

基于光流方法（Optical Flow）的運(yùn)動檢測采用了運(yùn)動目標(biāo)隨時間變化的光流特性，如Meyer 等作者通過計算位移向量光流場來初始化基于輪廓的 跟蹤算法，從而有效地提取和跟蹤運(yùn)動目標(biāo)。該方法的優(yōu)點是在所攝場所運(yùn)動存在的前提下也能檢測出獨立的運(yùn)動目標(biāo)。然而，大多數(shù)的光流計算方法相當(dāng)復(fù)雜，且 抗噪性能差，如果沒有特別的硬件裝置則不能被應(yīng)用于全幀視頻流的實時處理。

當(dāng)然，在運(yùn)動檢測中還有一些其它的方法，如運(yùn)動向量檢測法，它適合于多維變化的環(huán)境，能消除背景中的振動像素，使某一方向的運(yùn)動對象更加突出的顯示出來。但是，運(yùn)動向量檢測法也不能精確地分割出對象。

點檢測法用于檢測圖像中感興趣的點如角點等圖像分割法能檢測出圖像中目標(biāo)的輪廓但需要一些人為的因素以及人工判斷無法實現(xiàn)完全的自動背景建模法在視頻監(jiān)控的研究中取得了較好的效果但只適用于攝像機(jī)靜止?fàn)顟B(tài)的目標(biāo)檢測聚類分析法需要通過學(xué)習(xí)適用于特定目標(biāo)的檢測如行人等較難適應(yīng)一般情況下的運(yùn)動目標(biāo)檢測[4]。

以上介紹的主要是單路視頻圖像的目標(biāo)跟蹤問題。在實際監(jiān)控系統(tǒng)中，往往同一個人或目標(biāo)出現(xiàn)在多個攝像機(jī)的視場里。如何將與此目標(biāo)相關(guān)的各個攝像頭采集的視頻圖像關(guān)聯(lián)起來，根據(jù)物體的運(yùn)動情況，形成其運(yùn)動軌跡，并自動發(fā)送PTZ 控制指令，使攝像機(jī)能夠自動跟蹤物體，尤其在物體超出該攝像機(jī)監(jiān)控范圍之后，自動通知物體所在區(qū)域的攝像機(jī)繼續(xù)進(jìn)行追蹤。這才能使目標(biāo)真正獲得了跟蹤。首先自己的電腦有個攝像頭，如果沒有插上USB攝像頭，然后再啟動Matlab（順序不可返的）。具體方法： 查詢USB2.0Camera 的具體參數(shù)：

輸入：imaqInfo = imaqhwinfo 返回： imaqInfo = InstalledAdaptors: {'coreco' 'winvideo'} %可選用的適配器名稱，這里是兩種'coreco'& 'winvideo' MATLABVersion: '7.6(R2008a)' ToolboxName: 'Image Acquisition Toolbox' ToolboxVersion: '3.1(R2008a)' 輸入：winvideoinfo = imaqhwinfo('winvideo')%查詢winvideo的具體參數(shù) 返回：

winvideoinfo = AdaptorDllName: 'C:Program FilesMATLABR2008atoolboximaqimaqadaptorswin32mwwinvideoimaq.dll' AdaptorDllVersion: '3.1(R2008a)' AdaptorName: 'winvideo' DeviceIDs: {[1]} %設(shè)備ID號，重要 DeviceInfo: [1x1 struct]

輸入：winvideoinfo.DeviceInfo %視頻采集可選擇的格式 返回： ans = DefaultFormat: 'YUY2_160x120' DeviceFileSupported: 0 DeviceName: 'USB2.0 Camera' DeviceID: 1 ObjectConstructor: 'videoinput('winvideo', 1)' SupportedFormats: {'YUY2_160x120' 'YUY2_176x144' 'YUY2_320x240' 'YUY2_352x288' 'YUY2_640x480'} 到此為止！最后一行可以看出你的相機(jī)支持的分辨率，我的usb攝像頭最高支持640*480的 在語句中設(shè)置：

vid=videoinput('winvideo',1,'YUY2_640x480');%語法：vid=videoinput（adaptorname，deviceID，format）

set(vid,'TriggerRepeat',Inf);%TriggerRepeat重復(fù)觸發(fā)

set(vid,'FramesPerTrigger',1);%FramesPerTrigger每特定的幀數(shù)去觸發(fā)捕獲選 定使用的視頻源

set(vid,'FrameGrabInterval',1);%FrameGrabInterval幀的抓取時間間隔 %設(shè)置返回色彩 rgb正常顏色（YUY2格式顏色發(fā)紅），grayscale是灰度 set(vid,'ReturnedColorSpace','rgb');set(vid,'ReturnedColorSpace','grayscale');%獲取分辨率，色彩數(shù)目等參數(shù)

vidRes=get(vid,'VideoResolution');%視頻分辨率 nBands=get(vid,'NumberOfBands');%色彩數(shù)目

hImage=image(zeros(vidRes(2),vidRes(1),nBands));% himage：視頻預(yù)覽窗口對應(yīng)的句柄，也就是說在指定的句柄對象中預(yù)覽視頻，該參數(shù)可以空缺。至于預(yù)覽窗口的關(guān)閉和停止可以使用colsepreview和stoppreview函數(shù) preview(vid,hImage);

第二篇：運(yùn)動目標(biāo)檢測方法總結(jié)報告

摘要

由于計算機(jī)技術(shù)的迅猛發(fā)展，使得基于內(nèi)容的視頻信息的存取、操作和檢索不僅成為一種可能，更成為一種需要。同時，基于內(nèi)容的視頻編碼標(biāo)準(zhǔn)MPEG-4和基于內(nèi)容的視頻描述標(biāo)準(zhǔn)MPEG-7正在發(fā)展和完善。因此提取和視頻中具有語義的運(yùn)動目標(biāo)是一個急需解決的問題。運(yùn)動目標(biāo)提取和檢測作為視頻和圖像處理領(lǐng)域的重要研究領(lǐng)域，有很強(qiáng)的研究和應(yīng)用價值。運(yùn)動檢測就是將運(yùn)動目標(biāo)從含有背景的圖像中分離出來，如果僅僅依靠一種檢測算法，難以從復(fù)雜的自然圖像序列中完整地檢測出運(yùn)動的目標(biāo)。較高的檢測精度和效率十分重要，因此融合多種檢測方法的研究越來越受到重視。本文介紹了幾種國內(nèi)外文獻(xiàn)中的經(jīng)典的視頻運(yùn)動目標(biāo)的檢測和提取算法，并對各種方法進(jìn)行了評價和總結(jié)。首先介紹了基本的運(yùn)動目標(biāo)檢測的基本知識和理論，然后介紹了基本的幾種目標(biāo)檢測方法及其各種改進(jìn)方法。對今后的運(yùn)動目標(biāo)檢測提取的相關(guān)研究提供一定的參考。

關(guān)鍵詞：運(yùn)動目標(biāo)檢測 光流法 幀差法 背景建模方法

摘要 i

ABSTRACT Because of the rapid development of computer technology, it is possible to access, operate and retrieve the video information based on the content of the video.At the same time, based on the content of the video coding standard MPEG-4 and content-based video description standard MPEG-7 is developing and improving.Therefore, it is an urgent problem to be solved in the extraction and video.Moving object extraction and detection is a very important field of video and image processing, and has a strong research and application value.Motion detection is to separate moving objects from the image containing background, if only rely on a detection algorithm, it is difficult to from a complex natural image sequences to detect moving target.Higher detection accuracy and efficiency are very important, so the study of the fusion of multiple detection methods is becoming more and more important.In this paper, the detection and extraction algorithms of the classical video moving objects in the domestic and foreign literatures are introduced, and the methods are evaluated and summarized.Firstly, the basic knowledge and theory of basic moving target detection is introduced, and then the basic method of target detection is introduced.To provide a reference for the research on the extraction of moving target detection in the future.Keywords: Visual tracking

Optical flow method

Frame Difference

Background modeling method

ii ABSTRACT

目錄

摘要...................................................................................................................................0 ABSTRACT.....................................................................................................................1 第一章 緒論....................................................................................................................3

1.1 研究背景及意義................................................................................................................4 1.2 研究現(xiàn)狀............................................................................................................................4

第二章 經(jīng)典的運(yùn)動目標(biāo)檢測算法................................................................................5

2.1 光流法................................................................................................................................5 2.2 幀差法................................................................................................................................5 2.3 背景差分法........................................................................................................................7

第三章 改進(jìn)的運(yùn)動目標(biāo)檢測算法................................................................................9

3.1 改進(jìn)的三幀差分法............................................................................................................9 3.2 幀間差分法與光流法結(jié)合..............................................................................................10 3.3 改進(jìn)的背景建模算法......................................................................................................11

第四章 總結(jié)..................................................................................................................13 參考文獻(xiàn)：....................................................................................................................16

目錄 i 2 運(yùn)動目標(biāo)檢測方法研究總結(jié)

第一章 緒論

1.1 研究背景及意義

近幾十年來，在科學(xué)技術(shù)飛速發(fā)展的條件下，視頻與圖像處理技術(shù)不斷提高，各種各樣的視頻監(jiān)控產(chǎn)品已經(jīng)走入了人們的視野，并且在給我們的生活帶了很多方便。視頻監(jiān)控系統(tǒng)的研究技術(shù)涉及到視頻圖像處理、計算機(jī)視覺、模式識別以及人工智能等科學(xué)領(lǐng)域。視頻監(jiān)控系統(tǒng)多數(shù)要求監(jiān)控人員長期盯著監(jiān)控屏幕，進(jìn)行人為的分析判斷，這樣容易因為監(jiān)控人員的疏忽造成重要信息的遺漏。為此，人們開始將計算機(jī)領(lǐng)域的相關(guān)技術(shù)引入到視頻監(jiān)控系統(tǒng)中，形成智能監(jiān)控系統(tǒng)[1,2,3,4]。智能監(jiān)控系統(tǒng)可以在沒有人為干預(yù)的條件下，利用計算機(jī)視覺的相關(guān)技術(shù)來對視頻序列圖像進(jìn)行智能的分析，實現(xiàn)對運(yùn)動目標(biāo)的檢測、跟蹤、分類和識別等。現(xiàn)在，運(yùn)動目標(biāo)檢測技術(shù)不僅應(yīng)用在發(fā)電站、商場、銀行、民宅、廣場和火車站等公共場所的智能監(jiān)控系統(tǒng)中，而且在其他的領(lǐng)域也有十分廣泛的應(yīng)用。

1.2 研究現(xiàn)狀

目前，基于視頻的運(yùn)動目標(biāo)檢測算法主要有三種：光流法、幀差法和背景差分法，這三種算法都有各自的優(yōu)缺點。1981 年，Horn 和 Schunck 通過將二維速度場與圖像灰度相聯(lián)系，從而引入了光流約束方程，得到一個計算光流的基本方法[5]。Meyer 等人[6]在對光流法進(jìn)行了深入研究的基礎(chǔ)上，提出在光流場中采用基于輪廓的跟蹤方法，該方法在攝像機(jī)運(yùn)動的情況下能夠有效的對運(yùn)動目標(biāo)進(jìn)行檢測和跟蹤。Barron 等人[7]通過使用簡單而有效的門限，先分割圖像，再計算光流，通過消除雜亂的背景光流來得到較好的目標(biāo)光流。Roland 等人[8]利用相鄰幀差，通過局部閾值的迭代松弛技術(shù)實現(xiàn)圖像邊緣的光滑濾波。甘明剛等人[9]提出一種三幀差分和邊緣信息相結(jié)合的運(yùn)動目標(biāo)檢測算法，該算法有效地改善了一些情況下幀間差分法會出現(xiàn)“雙影現(xiàn)象”的問題。郝豪剛和陳佳琪等人[10]提出五幀差分法和景差分法相結(jié)合的運(yùn)動目標(biāo)檢測算法，該算法利用背景差分法和幀間差分法性能上的互補(bǔ)來得較好的檢測結(jié)果。背景差分法有均值法、中值法、核密度估計法、Surendra 背景更新、單高斯模型和混合高斯模型等，從 20 世紀(jì)以來，相繼出現(xiàn) 第一章 緒論 1 了一批批成熟的背景差分法，Wren 等人[11]提出了單高斯模型，該方法在單一背景下能夠獲得較好的檢測結(jié)果，但是不適合復(fù)雜背景。Stauffer 等人[12]在單高斯模型的基礎(chǔ)上提出了混合高斯模型，混合高斯模型在外界環(huán)境比較復(fù)雜的條件下仍然可以得到很好的檢測效果。左軍毅等人[13]提出時間平均模型和混合高斯模型雙模式切換式的運(yùn)動目標(biāo)檢測算法。除了以上三種的算法外，還有一些學(xué)者嘗試采用其他的算法進(jìn)行運(yùn)動目標(biāo)檢測，例如，郝志成和吳川等人[14]提出的基于穩(wěn)定矩陣的動態(tài)圖像運(yùn)動目標(biāo)檢測算法，該算法通過在短時間內(nèi)自動的感知背景變來快速的建立背景模型。近年來，越來越多的研究機(jī)構(gòu)和學(xué)者都參與到基于視頻的運(yùn)動目標(biāo)檢測的研究之中，并提出很多有效的、新穎的方法。但是仍存在一些問題善待提高，所以找到一種檢測精度高、魯棒性好的運(yùn)動目標(biāo)檢測算法依然是我們?yōu)橹Φ姆较颉?/p>

運(yùn)動目標(biāo)檢測方法研究總結(jié)

第二章 經(jīng)典的運(yùn)動目標(biāo)檢測算法

2.1 光流法

空間中物體的運(yùn)動可以用運(yùn)動場來描述，同樣可以通過序列圖像中不同圖像的灰度分布差異體現(xiàn)圖像平面變化，對比空間中的運(yùn)動場，體現(xiàn)在圖像上表現(xiàn)為光流場。在運(yùn)動的某一個時刻，為圖像中的各個像素點賦一個速度的矢量，這樣就成為了一個圖像的運(yùn)動場。由于空間物體上的點與圖像上的點通過投影關(guān)系可以一一對應(yīng)，則根據(jù)各個像素點的速度矢量的變化特征可以對圖像進(jìn)行動態(tài)分析[16]。當(dāng)圖像中沒有目標(biāo)運(yùn)動時，在整個圖像區(qū)域中光流矢量的變化是連續(xù)的；而當(dāng)圖像中有運(yùn)動目標(biāo)時，圖像的背景和目標(biāo)就會有相對的運(yùn)動，那么目標(biāo)運(yùn)動所形成的速度矢量必然和鄰域背景速度矢量不同，由此能夠檢測出運(yùn)動目標(biāo)的位置。光流法利用圖像的灰度信息的變化從序列圖像中計算出速度場，然后加上一些約束條件，從而推出運(yùn)動目標(biāo)的運(yùn)動參數(shù)和物體結(jié)構(gòu)[17]。

光流法事先不需要知道場景的任何信息，就可以準(zhǔn)確的計算出運(yùn)動物體的速度。它不僅能應(yīng)用于靜態(tài)背景下的運(yùn)動目標(biāo)檢測，而且可以用于攝像機(jī)運(yùn)動的情況，實現(xiàn)動態(tài)背景下的運(yùn)動目標(biāo)檢測。它的缺點是：光流法的特點是要進(jìn)行迭代運(yùn)算，精度越高需要的計算量就越大，因此，光流法的計算量大，運(yùn)算時間長，是一種比較耗時的算法，很難滿足工程上對實時性的要求；光流法的抗噪性能差，例如，當(dāng)光照發(fā)生變化時，即使沒有運(yùn)動發(fā)生，光流仍然存在，會被誤檢測為有目標(biāo)運(yùn)動，同時，如果缺少足夠的灰度級變化，目標(biāo)運(yùn)動物體很難被檢測到；當(dāng)三維物體的運(yùn)動投影到二維的圖像時，亮度會有變化，從而導(dǎo)致通過光流約束是計算不出平面某點的圖像速度流；使用光流法對運(yùn)動目標(biāo)進(jìn)行檢測，需要特定的硬件設(shè)備的支持。已經(jīng)有一些學(xué)者針對光流法所存在的缺點進(jìn)行了改進(jìn)，相信未來光流法能夠得到更好的實際應(yīng)用。

2.2 幀差法

幀差法[18]又叫時間差分法，它通過將視頻序列圖像中的當(dāng)前幀與相鄰幀所對 第二章 經(jīng)典的運(yùn)動目標(biāo)檢測算法 3 應(yīng)的像素點的灰度值進(jìn)行比較，然后找到差異，進(jìn)而檢測出運(yùn)動目標(biāo)[19]。在視頻序列圖像中，相鄰的圖像之間具有連續(xù)性，當(dāng)視頻圖像中有運(yùn)動目標(biāo)時，由于運(yùn)動目標(biāo)的運(yùn)動，相鄰圖像間的像素點灰度值差別就會較大，相反，當(dāng)視頻圖像中沒有運(yùn)動目標(biāo)時，相鄰圖像間的像素點素灰度值差別就會較小，幀差法就是利用視頻圖像的這一特性進(jìn)行檢測的，它是運(yùn)動目標(biāo)檢測的最簡單方法。幀差法是先用相鄰兩幀做差分運(yùn)算，然后做二值化處理，從而檢測出運(yùn)動目標(biāo)。幀差法的基本運(yùn)算原理框圖如下：

圖2.1 幀差法基本原理

在二值化的差分圖像中，取值為 0 的像素點代表變化較小或是無變化的區(qū)域，表示為背景區(qū)域；取值為 255 的像素點代表變化的區(qū)域，表示為運(yùn)動目標(biāo)。至此，大多數(shù)的運(yùn)動目標(biāo)的基本形狀已經(jīng)凸顯出來了。為了能夠精確的提取出運(yùn)動目標(biāo)，通常還需要經(jīng)過形態(tài)學(xué)處理，例如，膨脹、腐蝕、開運(yùn)算、閉運(yùn)算等，將斷點進(jìn)行連接或者將多余的部分去掉等，從而獲得更加準(zhǔn)確的檢測結(jié)果。

幀差法優(yōu)點是算法簡單、容易實現(xiàn)、檢測速度較快、能滿足系統(tǒng)對實時性的要求，而且一般相鄰兩幀的時間間隔比較短，因此對場景的光線變化不是特比敏感，對環(huán)境的自適應(yīng)性較強(qiáng)。幀差法存在著兩個主要的缺點：幀差法的檢測結(jié)果與目標(biāo)運(yùn)動速度和相鄰兩幀間隔大小有關(guān)。如果運(yùn)動目標(biāo)速度過快且兩幀時間間隔長，可能會出現(xiàn)運(yùn)動目標(biāo)在運(yùn)動方向上前后分裂并拉長，出現(xiàn)“雙影現(xiàn)象”，最壞的情況下可能發(fā)生同一個運(yùn)動目標(biāo)被檢測為兩個不同的目標(biāo)。如果運(yùn)動目標(biāo)運(yùn)動過慢且兩幀時間間隔小，交疊的部分在兩幀圖像進(jìn)行差分時會因差值過小而被誤判為背景區(qū)域，但是事實上這部分并不是背景區(qū)域，由此會造成目標(biāo)信息的丟失，我們稱之為“空洞現(xiàn)象”，最壞的情況下可能發(fā)生目標(biāo)完全重疊而不能被檢測出來。

運(yùn)動目標(biāo)檢測方法研究總結(jié)

2.3 背景差分法

背景差分法又叫做背景減除法，是固定場景中目標(biāo)檢測算法最長用的一種檢測算法。在背景差分法中，視頻圖像分為背景圖像和前景圖像，該方法將視頻圖像中的當(dāng)前圖像與背景圖片進(jìn)行比較，也就是當(dāng)前幀與背景幀進(jìn)行差分運(yùn)算，在運(yùn)算結(jié)果中像素點的灰度值變化大的區(qū)域即為運(yùn)動目標(biāo)，因此我們也常常認(rèn)為背景差分法是幀間差分法的一種特例。

背景差分法的運(yùn)算原理框圖如下：

圖2.2 背景差分法基本原理框圖

提取出運(yùn)動目標(biāo)區(qū)域之后，可能會存在噪聲，可以對其進(jìn)行后期處理，例如膨脹、腐蝕、連通域檢測等操作，從而提取出較為準(zhǔn)確的運(yùn)動目標(biāo)。背景差分法的優(yōu)點是算法復(fù)雜度低，算法實現(xiàn)比較簡單，可以滿足系統(tǒng)的實時性要求，并且在運(yùn)動目標(biāo)檢測時一般能夠得到比較完整的特征數(shù)據(jù)。是目前最常用的一種運(yùn)動目標(biāo)檢測方法，尤其適用于背景固定或背景緩變的場景。該方法對外界的環(huán)境變化非常敏感，例如場景中天氣的變化，光線的改變，攝像機(jī)的顫動，樹葉的搖動等等這些外界的干擾很容易使背景點被誤判為目標(biāo)點，因而影響了檢測的精度。所以該方法的難點在于建立一個符合場景需求的背景模型，而且需要有一套算法對背景模型進(jìn)行更新，使背景成為實時而準(zhǔn)確的背景。檢測效果好的背景模型往往都會比較復(fù)雜，運(yùn)算量比較大，從而使得背景更新的速度減慢，無法實時地檢測出運(yùn)動目標(biāo)。如果背景模型更新的速度非常慢，實際上背景在不斷變化著，會 導(dǎo)致從背景模型得到的背景圖像不是實時的背景圖像。但是如果背景模型更新的速度過快，背景有時就會和當(dāng)前圖像非常相似，背景差分法就無法檢測出運(yùn)動物體。因此，建立一個合適的背景模型是背景差分法的關(guān)鍵部分，也是該算法的一個難點。第二章 經(jīng)典的運(yùn)動目標(biāo)檢測算法 3

運(yùn)動目標(biāo)檢測方法研究總結(jié)

第三章 改進(jìn)的運(yùn)動目標(biāo)檢測算法

3.1 改進(jìn)的三幀差分法

三幀差分法是對兩幀差分法的改進(jìn)，它可以有效的克服兩幀差分法的一些缺點，例如，克服了兩幀差分法中的“雙影現(xiàn)象”，但是卻不能改善“空洞現(xiàn)象”，而且當(dāng)運(yùn)動目標(biāo)和背景區(qū)域這兩部分的灰度值比較接近時，三幀差分法不能準(zhǔn)確的檢測出運(yùn)動目標(biāo)的輪廓.為了改善三幀差分法檢測結(jié)果的邊緣缺失的這個缺點，王霏等人嘗試將改進(jìn)的Sobel算子與三幀差分法相結(jié)合，因為圖像的邊緣信息不容易受噪聲和亮度突變的影響。改進(jìn)算法的關(guān)鍵是獲得一個完整的運(yùn)動目標(biāo)的邊緣輪廓，針對“空洞現(xiàn)象”，通過后期的形態(tài)學(xué)處理和連通性分析相結(jié)合的方法來改善這個問題[20]。

改進(jìn)的三幀差分法的基本思想是：把三幀分成兩組，分別求兩幀差分圖，進(jìn)行膨脹處理之后分別和邊緣檢測結(jié)果圖相“與”，將兩個結(jié)果進(jìn)行“或”運(yùn)算，得到一個初步的檢測結(jié)果。然后與三幀差分法的結(jié)果進(jìn)行“或”運(yùn)算，得到一個更加完整的檢測結(jié)果。最后對檢測結(jié)果進(jìn)行后期處理，來達(dá)到改善“空洞現(xiàn)象”和去除噪聲的目的。

(a)經(jīng)典的兩幀差分法

第三章 改進(jìn)的運(yùn)動目標(biāo)檢測算法 7

(b)經(jīng)典的三幀差分法

(c)改進(jìn)的三幀差分法

3.2 幀間差分法與光流法結(jié)合

光流法對噪聲敏感，運(yùn)動目標(biāo)邊緣以外附近的像素點沒有運(yùn)動，但光流值不是零，出現(xiàn)了“速度漂移”。使得光流法和超像素分割的分割結(jié)果雖然不錯，但是需要調(diào)節(jié)的參數(shù)空間非常大，需要花費(fèi)大量的時間來進(jìn)行參數(shù)的調(diào)整，導(dǎo)致它的實用性較差。幀間差分法簡單易行，利用當(dāng)前幀與前一幀差分，當(dāng)運(yùn)動目標(biāo)運(yùn)動過快時提取出的物體往往會出現(xiàn)雙影而且比實際要大，當(dāng)運(yùn)動過慢時又往往因無法檢測出重疊部分而出現(xiàn)空洞。為此，我們在光流法和超像素分割方法的基礎(chǔ)上，融合了幀間差分法來進(jìn)一步快速的縮小需要調(diào)節(jié)的參數(shù)的范圍，極大的減少了人工調(diào)節(jié)的工作量。在改進(jìn)的方法中，賀麗麗等人結(jié)合光流法產(chǎn)生的結(jié)果和幀間差分法的結(jié)果來提取出大致的運(yùn)動區(qū)域，然后利用超像素分割進(jìn)行精確的提取[21]。

利用超像素分割后的結(jié)果label，對幀間差分法得到的結(jié)果s 進(jìn)行進(jìn)一步的提取，由于超像素分割將圖像分割成許多含有相似特征的標(biāo)記圖label，首先我們需要知道s,即已經(jīng)求出的前景區(qū)域中含有對應(yīng)標(biāo)記圖中的哪些標(biāo)記。當(dāng)我們確定了前景區(qū)域所包含的標(biāo)記后，就需要進(jìn)一步的確定這些標(biāo)記在s和label 中所包含的像素個數(shù)。對于s，我們統(tǒng)計出其前景區(qū)域中對應(yīng)于標(biāo)記圖label 中每個標(biāo)記i所包含的像素的個數(shù)為isn,標(biāo)記圖label中每個標(biāo)記i所包含的像素的個數(shù)為n，我們認(rèn)為isn與n 之間的關(guān)系，將成為提取前景目標(biāo)最重要的衡量標(biāo)準(zhǔn)。如果它們的比值小于某一個值T 時，則將Label中對應(yīng)于標(biāo)記i的像素值設(shè)為0，否則,Label中對應(yīng)于i的像素值設(shè)為 1。原始圖像t 中對應(yīng)于 Label中等于 0 的位置也標(biāo)記為 0；因此我們得到了提取出的運(yùn)動目標(biāo)圖。

運(yùn)動目標(biāo)檢測方法研究總結(jié)

3.3 改進(jìn)的背景建模算法

針對傳統(tǒng)混合高斯背景建模算法，由于受到算法的限制，每個像素點的模型個數(shù)是固定不變的。后來，等人提出了基于最大似然估計的像素點背景模型個數(shù)自適應(yīng)選擇方法。但由于該方法人為地引入了負(fù)的先驗系數(shù)，使得在更新過程中高斯成分的權(quán)重有可能被不合理地負(fù)更新。王永忠等人在傳統(tǒng)混合高斯背景建模的基礎(chǔ)上，提出一種了自適應(yīng)選擇混合高斯模型個數(shù)的策略，孫麗等在此基礎(chǔ)上提出了新的算法。

其算法的基本思想是對于每幀，在圖像所有像素的模型總個數(shù)固定的情況下，對于頻繁變化的背景點，當(dāng)未達(dá)到像素點自身的模型個數(shù)上限且不超過圖像模型總個數(shù)的前提下，可以“借用”相對穩(wěn)定的區(qū)域像素點的未用模型個數(shù)的名額，用個數(shù)不定的模型來描述該像素點可能的背景。根據(jù)模型的轉(zhuǎn)化規(guī)則，通過刪除模型、增加模型、替換模型來動態(tài)分配模型個數(shù)及模型的參數(shù)更新，并實現(xiàn)背景模型的生成，從而使得背景模型個數(shù)能夠隨著場景的變化動態(tài)調(diào)整。

在當(dāng)前時刻，每個像素點都有自己的初始模型，這些模型根據(jù)一定的閾值條件，被劃分成背景模型和候選背景模型。背景模型和候選背景模型都有自我更新并保持自身模型的狀態(tài)。當(dāng)候選背景模型滿足一定的條件后，轉(zhuǎn)化成背景模型，而背景模型和候選模型通過刪除模型的機(jī)制來達(dá)到終止模型狀態(tài)。本文的背景建模算法在不增加模型總個數(shù)的前提下，通過動態(tài)刪除模型、增加模型以及模型間的轉(zhuǎn)化三種處理機(jī)制，分配不定個數(shù)的背景模型，并自適應(yīng)更新參數(shù)。

實驗表明，該算法能夠較好的處理復(fù)雜動態(tài)場景中背景的頻繁變化如樹枝葉搖曳、水面波動和噴泉，并在構(gòu)建背景過程中，一定程度上克服了前景運(yùn)動目標(biāo)的影響。與傳統(tǒng)的運(yùn)動目標(biāo)檢測算法相比，本文算法對動態(tài)變化背景的描述能力更強(qiáng)，處理速度更快，符合實際場景中運(yùn)動目標(biāo)檢測的實時性和準(zhǔn)確性要求[22]。

第三章 改進(jìn)的運(yùn)動目標(biāo)檢測算法 7 12 運(yùn)動目標(biāo)檢測方法研究總結(jié)

第四章 總結(jié)

運(yùn)動目標(biāo)檢測是計算機(jī)視覺中富有挑戰(zhàn)性的課題之一，對其展開研究具有重要的應(yīng)用價值和理論意義。本文首先總結(jié)研究了現(xiàn)存的三種經(jīng)典的運(yùn)動目標(biāo)檢測算法：光流法、幀差法和背景差分法，并對分析了它們的優(yōu)缺點。光流法不需要預(yù)先知道有關(guān)場景信息，可以支持?jǐn)z像機(jī)的運(yùn)動，但是計算復(fù)雜度高、耗時長、抗噪性能差，目前沒有較好的通用硬件支持。幀差法是將相鄰的兩幀圖像對應(yīng)像素點進(jìn)行相減而得到運(yùn)動目標(biāo)，能夠適應(yīng)光照突變，運(yùn)算速度快、算法簡單，但是檢測結(jié)果容易出現(xiàn)“空洞現(xiàn)象”和“雙影現(xiàn)象”，它適用于對實時性要求高，對檢測的目標(biāo)信息要求不高的場景中。背景差分法是將當(dāng)前圖像幀和建立的背景圖片相減來得到運(yùn)動目標(biāo)，該算法復(fù)雜度不高，可以滿足系統(tǒng)對實時性的要求，背景模型的建立對該方法的實現(xiàn)會產(chǎn)生至關(guān)重要的作用然后。

然后介紹了幾種改進(jìn)的檢測算法，改進(jìn)的三幀差分法將改進(jìn)的 Sobel 邊緣檢測算子引入到三幀差分法中，因為圖像的邊緣信息不容易受噪聲和亮度突變的影響，所以將三幀差分法和改進(jìn)的 Sobel 算子相結(jié)合彌補(bǔ)了三幀差分法不能將運(yùn)動目標(biāo)輪廓完整檢測出來的缺點。然后對檢測結(jié)果進(jìn)行后期處理，達(dá)到改善空洞現(xiàn)象和去噪的目的。最后通過實驗對比經(jīng)典三幀差分法和改進(jìn)的三幀差分法的檢測效果，結(jié)果表明改進(jìn)的三幀差分法的檢測結(jié)果準(zhǔn)確性更高。利用光流場獲得粗略的運(yùn)動區(qū)域，將光流值經(jīng)過濾波，二值化和形態(tài)學(xué)處理，獲得大概的運(yùn)動目標(biāo)區(qū)域。利用幀間差分法將相鄰兩幀圖像中變化的區(qū)域提取出來，通過結(jié)合光流法和幀間差分法的結(jié)果，進(jìn)一步將運(yùn)動目標(biāo)的提取鎖定在一個更加準(zhǔn)確的范圍內(nèi)。背景建模法對于每幀，在所有圖像像素模型總個數(shù)固定的情況下，對于頻繁變化的背景點，當(dāng)未達(dá)到像素點自身的模型個數(shù)上限且不超過圖像模型總個數(shù)的前提下，可以借用相對穩(wěn)定的區(qū)域像素點的未用模型個數(shù)的名額，用個數(shù)不定的模型來描述該像素點可能的背景，從而實現(xiàn)背景模型的動態(tài)分配及更新。并基于像素的時域信息，用不包含該像素點在內(nèi)的小鄰域內(nèi)所有像素點的背景模型與當(dāng)前點進(jìn)行匹配，判斷其是否為前景點，以此消除動態(tài)背景干擾的影響。這些算法都將為今后的研究提供參考和依據(jù)。第四章 總結(jié) 11 14 運(yùn)動目標(biāo)檢測方法研究總結(jié)

參考文獻(xiàn)：

[1] 岡薩雷斯.數(shù)字圖像處理(第二版)[M].北京:電子工業(yè)出版社, 2003:1-115.[2] Stauffer C, Grimson W E L.Learning Patterns of Activity Using Real-time Tracking [J].IEEE Transactions on Pattern Analysis & Machine Intelligence, 2000, 22(8):747-757.[3] H.Akaike.A New Look at the Statistical Model Identification.IEEE Transaction on Automatic Control, 1974, 19(6):716-723.[4] 朱宏.基于視頻序列的運(yùn)動目標(biāo)檢測與跟蹤技術(shù)研究[D].西南交通大學(xué)碩士學(xué)位文,2008:1-5.[5] B K P Horn, B G Schunck.Determing Optical Flow [M].Artificial Intelligence, 1981:185-203.[6] Meyer D.Model Based Extraction of Articulated Objects in Image Sequences for Gait Analysis[C].Proe IEEE International Conference on Image Processing, Santa Barbara, California, 1997:78-81.[7] J L Barren, D J Fleet, S S Beauchemin.Performance of Optical Flow Techinques, Computer Vision, 2004, 12(1):43-77.[8] Roland M, Michael W.A Noise Robust Method for Shape Estimation of Moving Objects in Video Sequences Considering a Moving Camera [M].In Signal Processing, 1998:203-217.[9] 甘明剛, 陳杰, 劉勁.一種基于三幀差分和邊緣信息的運(yùn)動目標(biāo)檢測方法[J].電子與信息學(xué)報, 2010:894-897.[10] 郝毫剛, 陳家琪.基于五幀差分和背景差分的運(yùn)動目標(biāo)檢測算法[J].計算機(jī)工程, 2012, 38(4): 146-148.[11] Wren C.Real-Time Traeking of the Human Body [J].IEEE Transactions on Pattern Analysis and Machine Intelligenee, 1997, 19(7):780-785.[12] Stauffer C, Grimson E.Learning Patterns of Activity Using Real-Time Tracking [C].In IEEE [13] 左軍毅, 潘泉.基于模型切換的自適應(yīng)背景建模方法[J].自動化學(xué)報, 2007, 5(33):467-472.[14] Transactions on Pattern Recognition and Machine Intelligence(TPAMI), 2000, 22(8):747-757.[15] Xuming Zhang.Impulse Noise Removal Using Directional Difference Based Noise Detector 參考文獻(xiàn) 13

and Adaptive Weighted Mean Filter [J].Signal Processing Letters, IEEE, 2009, 16(4):295-298.[16] Gao P, Sun X, Wang W.Moving Object Detection based on Kirsch Operator Combined with Optical Flow[C].Image Analysis and Signal Processing(IASP), 2010 International Conference on.IEEE, 2010: 620-624.[17] Wixson L.Detecting Salient Motion by Accumulating Directionally Consistent Flow[J].IEEE Trans, Pattern Analysis and Machine Intelligence, 2000(22):774-780.[18] Seki M, Fujiwara H, Sumi K.A Robust Background Subtraction Method for Changing background [J].Proceeding of IEEE workship on Application of Computer vision, 2000:207-213.[19] Qinghua Ji, Suping Yu.Motion Object Detection Based on Adaptive Mixture Gaussian Model and Four-frame Subtraction [J].International Conference on Computational and Information Sciences, 2013:1202-1205.[20] 王霏.基于視頻的運(yùn)動目標(biāo)檢測算法研究[D].吉林大學(xué), 2014.[21] 賀麗麗.視頻序列中運(yùn)動目標(biāo)提取方法研究[D].西安電子科技大學(xué), 2014.[22] 孫麗.基于背景建模的運(yùn)動目標(biāo)檢測算法研究[D].東北大學(xué), 2011

第三篇：腫瘤標(biāo)記物檢測

腫瘤標(biāo)記物檢測及臨床意義

腫瘤標(biāo)志物是腫瘤細(xì)胞本身存在或分泌的特異性物質(zhì)，應(yīng)具備以下一些特征：必須由惡性腫瘤細(xì)胞產(chǎn)生，并可在血液、組織液、分泌液或腫瘤組織中測出；不應(yīng)該存在于正常組織和良性疾病中；某一腫瘤的腫瘤標(biāo)志物應(yīng)該在該腫瘤的大多數(shù)患者中檢測出來；臨床上尚無明確腫瘤證據(jù)之前最好能測出；腫瘤標(biāo)志物的量最好能反映腫瘤的大??；在一定程度上能有助于估計治療效果、預(yù)測腫瘤的復(fù)發(fā)和轉(zhuǎn)移。理想的腫瘤標(biāo)志物應(yīng)符合上述各項特征。然而，實際上凍存在絕對理想的腫瘤標(biāo)志物?，F(xiàn)今所知的腫瘤標(biāo)志物中，絕大多數(shù)不但存在于惡性腫瘤中，而且也存在于良性腫瘤、胚胎組織，甚至正常組織中。因此，這些腫瘤標(biāo)志物并非惡性腫瘤的特異性產(chǎn)物，但在惡性腫瘤患者中明顯增多。故有人將腫瘤標(biāo)志物稱為腫瘤相關(guān)抗原。

腫瘤標(biāo)志物可以分成以下幾大類：腫瘤胚胎性抗原，如甲胎蛋白（AFP）、癌胚抗原（CEA）；異位激素（ACTH），血清鐵蛋白（Fer/SF），血B2微球蛋白（B2-MG），神經(jīng)元特異性烯醇化酶（NSE），細(xì)胞角蛋白19片段（CYFRA21-1）,前列腺酸性磷酸酶（PAP）,總前列腺特異性抗原（TPSA），游離前列腺特異性抗原（FPSA），EB病毒抗體（EB-IGM）,糖類抗,CA-50）,糖類抗原（CA-72-4），糖類抗原（CA-19-9），糖類抗原(CA24-2),糖類抗原（CA-125）,糖類抗原（CA15-3），各項腫瘤標(biāo)記物都有它的臨床意義。

1.AFP原發(fā)性肝癌最敏感、最特異的指標(biāo)，適用于大規(guī)模普查，如果成人血AFP值升高，則表示有患肝癌的可能AFP含量顯著升高一般提示原發(fā)性肝細(xì)胞癌，但陰性并不能排除原發(fā)性肝癌。AFP水平在一定程度上反應(yīng)腫瘤的大小，其動態(tài)變化與病情有一定的關(guān)系，是顯示治療效果和預(yù)后判斷的一項敏感指標(biāo)。AFP值異常高者一般提示預(yù)后不佳，其含量上升則提示病情惡化。通常手術(shù)切除肝癌后二個月，AFP值應(yīng)降至20ng/ml以下，若降的不多或降而復(fù)升，提示切除不徹底或有復(fù)發(fā)、轉(zhuǎn)移的可能。在轉(zhuǎn)移性肝癌中，AFP值一般低于350-400ng/ml。正常參考值0-15ng/ml

2．癌胚抗原（CEA）

在正常成人的血液中CEA很難測出。CEA是一種重要的腫瘤相關(guān)抗原，70~90%的結(jié)腸腺癌患者CEA高度陽性，在其它惡性腫瘤中的陽性率順序為胃癌（60~90％）、胰腺癌（70~80％）、小腸腺癌（60~83％）、肺癌（56~80％）、肝癌（62~75％）、乳腺癌（40~68％）、泌尿系癌腫（31~46％）。胃液（胃癌）、唾液（口腔癌、鼻咽癌）以及胸腹水（肺癌、肝癌）中CEA的陽性檢測率更高，因為這些腫瘤“浸泡液”中的CEA可先于血中存在。CEA含量與腫瘤大小、有無轉(zhuǎn)移存在一定關(guān)系，當(dāng)發(fā)生肝轉(zhuǎn)移時，CEA的升高尤為明顯。CEA測定主要用于指導(dǎo)各種腫瘤的治療及隨訪，對腫瘤患者血液或其他體液中的CEA濃度進(jìn)行連續(xù)觀察，能對病情判斷、預(yù)后及療效觀察提供重要的依據(jù)。CEA的檢測對腫

瘤術(shù)后復(fù)發(fā)的敏感度極高，可達(dá)80%以上，往往早于臨床、病理檢查及X光檢查。

3．癌抗原125（CA125）

CA125是卵巢癌和子宮內(nèi)膜癌的首選標(biāo)志物，如果以65U/ml為陽性界限，Ⅲ-Ⅳ期癌變準(zhǔn)確率可達(dá)100%。CA125迄今為止是用于卵巢癌的早期診斷、療效觀察、預(yù)后判斷、監(jiān)測復(fù)發(fā)及轉(zhuǎn)移的最重要指標(biāo)。CA125測定和盆腔檢查的結(jié)合可提高試驗的特異性。對輸卵管癌、子宮內(nèi)膜癌、子宮頸癌、乳腺癌和間皮細(xì)胞癌診斷的符合率也很高，良性病變陽性率僅2%。CA125水平的升高是女性生殖系腫瘤復(fù)發(fā)的信號。正常參考值：0.1～35 U/ml。

4．癌抗原15-3（CA15-3）

CA15-3是乳腺癌的最重要的特異性標(biāo)志物。30%-50%的乳腺癌患者的CA15-3明顯升高，其含量的變化與治療效果密切相關(guān)，是乳腺癌患者診斷和監(jiān)測術(shù)后復(fù)發(fā)、觀察療效的最佳指標(biāo)。正常參考值：0.1～25 U/ml

5．癌抗原19-9（CA19-9）

CA19-9是胰腺癌，胃癌，結(jié)、直腸癌、膽囊癌的相關(guān)標(biāo)志物，大量研究證明CA19-9濃度與這些腫瘤大小有關(guān)，是至今報道的對胰腺癌敏感性最高的標(biāo)志物。胰腺癌患者85%-95%為陽性，CA19-9測定有助于胰腺癌的鑒別診斷和病情監(jiān)測。正常參考值：0.1～27 U/ml

6．癌抗原72-4（CA72-4）

CA72-4是目前診斷胃癌的最佳腫瘤標(biāo)志物之一，對胃癌具有較高的特異性，其敏感性可達(dá)28-80%，若與CA19-9及CEA聯(lián)合檢測可以監(jiān)測70％以上的胃癌。

CA72-4對其他胃腸道癌、乳腺癌、肺癌、卵巢癌也有不同程度的檢出率。CA72-4與CA125聯(lián)合檢測，作為診斷原發(fā)性及復(fù)發(fā)性卵巢腫瘤的標(biāo)志，特異性可達(dá)100%。

正常參考值：0.1～7 U/ml

CA242是一種新的腫瘤相關(guān)抗原，當(dāng)消化道發(fā)生腫瘤時，其含量升高

CEA與CA242聯(lián)合檢測可提高敏感性，與單獨采用CEA檢測相比，對結(jié)腸癌可提高40-70%，對直腸癌提高達(dá)到47-62%。CEA與CA242無相關(guān)性，具有獨立的診斷價值，且二者之間具有互補(bǔ)性。

正常參考值：0～17 U/ml

CA50是胰腺和結(jié)、直腸癌的標(biāo)志物，是最常用的糖類抗原腫瘤標(biāo)志物，因其廣

泛存在胰腺、膽囊、肝、胃、結(jié)直腸、膀胱、子宮，它的腫瘤識別譜比CA19-9廣，因此它又是一種普遍的腫瘤標(biāo)志相關(guān)抗原，而不是特指某個器官的腫瘤標(biāo)志物。

另有報導(dǎo)萎縮性胃炎患者胃液CA50的濃度與正常人比較有顯著改變。通常認(rèn)為萎縮性胃炎是癌前高危期，因此CA50可作為癌前診斷指標(biāo)之一。在胰腺炎、結(jié)腸炎和肺炎發(fā)病時，CA50也會升高，但隨炎癥消除而下降。

9．非小細(xì)胞肺癌相關(guān)抗原（CYFRA 21-1）

CYFRA 21-1是非小細(xì)胞肺癌最有價值的血清腫瘤標(biāo)志物，尤其對鱗狀細(xì)胞癌患者的早期診斷、療效觀察、預(yù)后監(jiān)測有重要意義

CYFRA 21-1與良性肺部疾?。ǚ窝?、結(jié)核、慢性支氣管炎、支氣管哮喘、肺氣腫）的鑒別特異性比較好。

正常參考值：0.10～4 ng/ml

10．小細(xì)胞肺癌相關(guān)抗原（神經(jīng)元特異性烯醇化酶，NSE）

NSE被認(rèn)為是監(jiān)測小細(xì)胞肺癌的首選標(biāo)志物，60-80%的小細(xì)胞肺癌患者NSE升高

血清NSE水平的測定對于神經(jīng)母細(xì)胞瘤的監(jiān)測療效和預(yù)報復(fù)發(fā)均具有重要參考價值，比測定尿液中兒茶酚胺的代謝物更有意義。

另外對胺前體攝取脫羧細(xì)胞瘤、精原細(xì)胞瘤及其它腦腫瘤的診斷也有重要意義。

正常參考值：0～16 ng/ml

11．鱗狀細(xì)胞癌抗原（SCC）

鱗狀細(xì)胞癌抗原(SCC)是一種特異性很好而且是最早用于診斷鱗癌的腫瘤標(biāo)志物。SCC在正常的鱗狀上皮細(xì)胞中抑制細(xì)胞調(diào)亡和參與鱗狀上皮層的分化，在腫瘤細(xì)胞中參與腫瘤的生長，它有助于所有鱗狀上皮細(xì)胞起源癌的診斷和監(jiān)測，對子宮頸癌有較高的診斷價值：對原發(fā)性宮頸鱗癌敏感性為44%-69%；復(fù)發(fā)癌敏感性為67%-100%，特異性90%-96%；正常參考值：< 1.5 mg/L

12．總前列腺特異性抗原（TPSA）

PSA是前列腺癌的特異性標(biāo)志物，也是目前公認(rèn)的唯一具有器官特異性腫瘤標(biāo)志物。血清TPSA升高一般提示前列腺存在病變（前列腺炎、良性增生或癌癥

TPSA測定還可用于監(jiān)測前列腺癌患者或接受激素治療患者的病情及療效，90%前列腺癌術(shù)后患者的血清TPSA值可降至不能檢出的痕量水平，若術(shù)后血清TPSA值升高，提示有殘存腫瘤。放療后療效顯著者，50％以上患者在2個月內(nèi)血清TPSA降至正常。

正常參考值：0.01～4.0 ng/ml

13．游離前列腺特異性抗原（FPSA）

單項的血清總PSA（TPSA）測定不能明確鑒別前列腺癌和良性的前列腺增生，主要是因為在濃度2-20ng/ml范圍內(nèi)，二組病人有交叉。而FPSA/TPSA不受此因素及年齡的影響，通過FPSA/TPSA比值達(dá)到鑒別前列腺癌或良性的前列腺增生的目的FPSA檢測主要適用于未經(jīng)治療、TPSA值為2-20ng/ml病人，當(dāng)TPSA值低于2ng/ml或高于20ng/ml時，F(xiàn)PSA/TPSA比值并不能用于鑒別前列腺癌和良性的前列腺增生。

正常參考值：0.01～2.0 ng/ml FPSA/TPSA：> 0.15

14．α-L-巖藻糖苷酶（AFU）

AFU是是對原發(fā)性肝細(xì)胞性肝癌檢測的又一敏感、特異的新標(biāo)志物。原發(fā)性肝癌患者血清AFU活力顯著高于其它各類疾患（包括良、惡性腫瘤）。血清AFU活性動態(tài)曲線對判斷肝癌治療效果、估計預(yù)后和預(yù)報復(fù)發(fā)有著極其重要的意義

正常參考值：234～414 μmol/L

15．EB病毒抗體（EBV-VCA）

EB病毒陽性、鼻咽癌家族史、鼻咽癌的高發(fā)區(qū)、身體免疫力低下，都可能是患鼻咽癌的高危因素。從理論上講，如EB病毒檢查陽性者，僅是代表患者以前曾經(jīng)受過EB病毒感染，但它是否是鼻咽癌發(fā)病的直接原因，目前尚無定論。但臨床實踐，科學(xué)研究表明，陽性者患鼻咽癌的機(jī)會比陰性者大得多。正常參考值：EBV-VCA抗體 陰性

16．腫瘤相關(guān)物質(zhì)（TSGF）

TSGF腫瘤相關(guān)物質(zhì)聯(lián)合檢測（原名惡性腫瘤特異性生長因子）是一種可以簡便快速地用于惡性腫瘤早期輔助診斷的新型的腫瘤標(biāo)志物，對療效觀察、人群查體亦有很高的應(yīng)用價值。

惡性腫瘤患者血清中TSGF含量顯著升高，不同種類的惡性腫瘤間差異不明顯；而良性腫瘤與健康人群間無顯著差異，TSGF是良、惡性腫瘤的鑒別指標(biāo)，可在輔助診斷惡性腫瘤方面發(fā)揮作用正常參考值：正常人TSGF濃度范圍為47±17U/ml；＜64U/ml為陰性；≥64U/ml而＜71U/ml為可疑；≥71U/ml為陽性。

17．鐵蛋白（SF）

鐵蛋白升高可見于下列腫瘤：急性白血病、何杰金氏病、肺癌、結(jié)腸癌、肝癌和前列腺癌。檢測鐵蛋白對肝臟轉(zhuǎn)移性腫瘤有診斷價值，76%的肝轉(zhuǎn)移病人鐵蛋白含量高于400μg/L，當(dāng)肝癌時，AFP測定值較低的情況下，可用鐵蛋白測定值補(bǔ)充，以提高診斷率。

正常參考值：男性：30～400 μg/L 女性：13～150 μg/L

18．β2-微球蛋（β2-MG）

β2-MG是惡性腫瘤的輔助標(biāo)志物，也是一些腫瘤細(xì)胞上的腫瘤相關(guān)抗原。在惡性血液病或其它實質(zhì)性癌瘤中，突變細(xì)胞合成和分泌β2-MG，可使病人血清中濃度顯著上升，在淋巴系統(tǒng)腫瘤如慢性淋巴細(xì)胞白血病、淋巴細(xì)胞肉瘤、多發(fā)性骨髓瘤等中尤為明顯，在肺癌、乳腺癌、胃腸正常參考值：1.58～3.55 μg/ml

道癌及子宮頸癌等中也可見增高。

正常參考值：1.58～3.55 μg/ml

19．胰胚胎抗原（POA）

胰胚胎抗原是胰腺癌的又一新型、敏感、特異的新標(biāo)志物，胰腺癌的POA的陽性率為95%

正常參考值：0～7 U/ml

20．胃泌素前體釋放肽（PROGRP）

胃泌素前體釋放肽是一種新的小細(xì)胞肺癌標(biāo)志物。PROGRP是腦腸激素的一種，是小細(xì)胞肺癌增殖因子胃泌素釋放肽的前體。PROGRP作為小細(xì)胞肺癌標(biāo)志物有以下特點：1.針對小細(xì)胞肺癌的特異性非常高；2.較早期的病例有較高的陽性率；3.健康者與患者血中濃度差異很大，因而檢測的可靠性很高。

正常參考值: 4～6 pg/ml

現(xiàn)在臨床對一些腫瘤項目進(jìn)行一些組合檢查腫瘤普查：

1、腫瘤普查四項：AFP、CEA、Fer、β2-MG2、腫瘤三項：AFP、CEA、CA1993、婦科腫瘤五項：AFP、CEA、CA125、CA153、CA1994、卵巢癌二項：CA125、CEA5、乳腺癌二項：CA153、CA1996、消化道腫瘤六項：AFP CEA CA199 CA242 CA724 CA507、肝膽腫瘤五項：AFP CEA CA199 CA125 CA508、胃癌三項：CEA CA724 CA1999、肺癌三項：CEA NSE CYFRA21110、前列腺癌三項：PSA FPSA PAP11、前列腺癌兩項：PSA FPSA

第四篇：圖像和視頻中的不規(guī)則檢測

圖像和視頻中的不規(guī)則檢測

摘要：我們從事于研究可視化數(shù)據(jù)中的不規(guī)則檢測，例如檢測視頻中的可疑行為或者是識別圖像中的跳躍性模式?！安灰?guī)則”這個術(shù)語依靠于被定義的“規(guī)則的”或是“合法的”的上下文。然而，期待可以在一個給出的上下文顯定義所有合法的結(jié)構(gòu)是不現(xiàn)實的。我們把決定可視化數(shù)據(jù)合法性的問題當(dāng)作構(gòu)造迷題的過程：我們努力去用大塊的數(shù)據(jù)（“一塊塊的迷題”）組成一個新的已經(jīng)觀察到的圖像區(qū)域或是一個新的視頻片斷（“查詢請求”），這些大塊的數(shù)據(jù)是從先前的可視化樣本（“數(shù)據(jù)庫”）中抽取出來的。這些在被用數(shù)據(jù)庫中的大塊接近的數(shù)據(jù)組成的被觀察的數(shù)據(jù)中的區(qū)域被認(rèn)為是非常相像的，但是這些不可以從數(shù)據(jù)庫（或者僅僅是可以用小片斷數(shù)據(jù)組成）組成的被觀察的數(shù)據(jù)中的區(qū)域是被認(rèn)為是很不相像或是可疑的。這個問題被作為一個處理蓋然論圖像模型中的推論提出來。我們展示一些利用這些方法的應(yīng)用程序來識別圖像和視頻中的顯著，目的是用它來探測可疑行為和高質(zhì)量保證的自動化圖像檢測。

關(guān)鍵字：探測可疑行為，顯著，不規(guī)則探測，新奇事物探測，自動探測，動作識別，自動圖像檢查

１． 介紹

圖像和視頻中不規(guī)則圖像模型的探測在各種各樣的任務(wù)中都是很有用的。對于監(jiān)視和監(jiān)測來說探測可疑行為或是異常目標(biāo)是重要的。對于質(zhì)量控制和自動檢查來說，在圖像中識別空間顯著是有用的。在視頻中的行為顯著對于吸引觀看者的注意力是有用的。先前識別可疑行為或活動的方法可以廣泛的被分成兩類：基于規(guī)則的方法（例如，Ivanov and Bobick(1999)）和沒有預(yù)定義規(guī)則的統(tǒng)計方法（例如，Stauffer and Grimson(2000)和Zhong et al.(2004)）。統(tǒng)計方法更加有吸引力，這是由于它們不用為所有合法結(jié)構(gòu)假想出一系列預(yù)定義的規(guī)則集，而是，他們嘗試著自動的從數(shù)據(jù)中學(xué)習(xí)規(guī)則中的概念，并且就這樣推斷出各種可疑行為。然而，在先前方法中已經(jīng)被應(yīng)用的代表方法要么是很有限制性（例如，trajectories of moving objects(Stauffer and Grimson, 2000)）要么是太過全球性了（例如，a single small descriptor vector for an entire frame(Zhong等人, 2004)）本論文中，我們用公式化的形式把探測規(guī)則和不規(guī)則的問題表示成為用從先前視頻樣本（數(shù)據(jù)庫）中提取出來的時空塊組成（解釋）已經(jīng)觀察到的圖像數(shù)據(jù)（一個圖像或是一個視頻，在下面提到時用“查詢”表示）或是視頻的問題。這些可以用從樣本數(shù)據(jù)庫中抽取的巨大接近的數(shù)據(jù)塊組成的查詢中的區(qū)域被認(rèn)為是相似的，這些區(qū)域越大，相似性就越強(qiáng)。在不能用樣本數(shù)據(jù)庫組成的查詢中的區(qū)域被認(rèn)為是不相似的或是可疑的。我們的方法因此可以從僅僅少量的幾個樣本就能推斷或是歸納更大上下文的圖像模式和行為，甚至這些從來都沒有見過的特別結(jié)構(gòu)的圖像模式和行為的合法性，本地描述符是從小圖像或

是視頻塊（被組成在一起來形成大的塊）中抽取出來的，因此它可以快速和高效的推斷出行為改變中的細(xì)微但重要的改變（例如，一個人在走和一個人拿著一支槍在走的不同）。而且，我們的方法可以同時識別出一個合法的行為在一個視窗區(qū)域部分，并且可疑行為在另一個視窗區(qū)域中部分，因此在這一幀僅僅是標(biāo)明探測到的可疑區(qū)域，而不是整一幀都標(biāo)明出來。在第6節(jié)將給出這樣的例子。從圖像碎片中得出的推斷在先前已經(jīng)被應(yīng)用到基于分類的目標(biāo)識別（例如，Bart and Ullman(2004), Felzenszwalb和 Huttenlocher(2005)and Fergus等人）中的任務(wù)上去了。少數(shù)的情報幀已經(jīng)被人學(xué)習(xí)和預(yù)選擇用來作為少數(shù)的目標(biāo)的預(yù)定義分類。然而，基于分類的表述不可以捕獲組成一幅場景中未知目標(biāo)或行為的所有一切的可能的情況，因此它不適合于探測不規(guī)則性任務(wù)。我們的方法也可以應(yīng)用在探測圖像和視頻中的顯著。例如，給出一幅沒有先前信息的簡單的圖像，我們可以測量出每一幅圖像區(qū)域（查詢）相對于同樣圖像（被用作特殊查詢的“數(shù)據(jù)庫”）的剩下部分的“合法”性。類似的，給出一段簡單的視頻（沒有關(guān)于什么是正常行為先前知識），我們可以探測“顯著行為”，這些行為不能被任何其它在視頻里同時發(fā)生的動態(tài)現(xiàn)象所支持。用來探測圖像顯著（例如，Itti等人(1998)）的先前的方法被提議用來測量本地圖像和它的瞬間周圍區(qū)域的相異程度。因此，例如，顯示出巨大改變的圖像區(qū)域被探測為顯著圖像區(qū)域。他們的“視覺注意”的定義是來源于同樣的推理。然而，我們相信顯著的概念沒有必

要由瞬間周圍圖像所決定。例如，一個在黑色紙上簡單的黃點可以是顯著。然而，假如在黑紙上有很多黃色的點，那么一個簡單的黃點再也無法引起我們的注意，即使它相對于周圍附近來說仍然有巨大的改變。因此我們的方法建議一種新對于術(shù)語“顯著”更加直覺的解釋，它來于整個圖像的內(nèi)部統(tǒng)計。我們處理空間圖像顯著的方法更接近于Honda和Nayar(2001).的方法。然而，(Honda 和Nayar, 2001)在重復(fù)性結(jié)構(gòu)的圖像模型是局限性的并且它高度依賴于本地周圍圖像屬性，然而我們的方法卻不是這樣。用我們的方法探測圖像空間顯著和視頻行為顯著的例子將在第6節(jié)給出。我們的論文因此提供了四方面主要貢獻(xiàn)：

１． 我們提議一個可以從僅有的幾個樣本中就可以推斷和歸納的方法，這個方法是關(guān)于一個更大的上下文圖像模式和行為的合法性的，甚至是這些從來都沒有見過的特殊結(jié)構(gòu)的合法性。２． 我們提出一個基于圖表的貝葉斯定理的推論運(yùn)算法則，它可以在成倍增加的時空范圍里高效的探測巨大碎片塊整體（例如，好幾百塊的碎片塊）。它可以同時增強(qiáng)這些在整體以及單個的描述符上的碎片里的相關(guān)幾何方面的排列上的約束。

３． 我們提議對圖像和視頻里術(shù)語中的“顯著”和“視覺上的注意”給出一個新的解釋。

４． 我們給出單個統(tǒng)一的框架來處理幾個計算機(jī)視覺里的問題，這些問題在過去已經(jīng)被單獨的處理過。這些問題包括：圖像的注意，視頻的注意，可疑行為的識別，異常物體的識別，自動視頻檢查（例如，用來質(zhì)量的保證）等等。

本論文的短文版在ICCV 2005(Boiman and Irani, 2005)提供。

２． 由組成得出的推論

當(dāng)給出了幾個樣例后，我們（人類）對于什么是規(guī)則/合法，什么是不規(guī)則/可疑，甚至是見到以前我們從來沒有見過的新結(jié)構(gòu)的東西，都會有一個概念。我們從來不需要顯定義給定上下文的合法結(jié)構(gòu)的所有可能。“規(guī)則”/“合法”這些概念可以從簡單的幾個合法模型（視頻中的行為或是圖像的外觀）的樣例中學(xué)習(xí)和歸納得來，并且所有其它結(jié)構(gòu)可以自動的從這些當(dāng)中推斷得到。圖表1（Figure 1）說明了潛在于本論文的基本概念。假設(shè)一幅新圖像（一個查詢—Fig.1(a)），我們檢查是否每個圖像區(qū)域都可以從數(shù)據(jù)庫里找到一張足夠大的接近的區(qū)域來解釋(見 Figs.1(b)和(c))。盡管我們從來沒有見過一個人兩臂舉起來那樣坐著，但是我們可以從這Fig.1(c)里的三個數(shù)據(jù)庫圖像里推斷出這個動作的合法性。這樣，能用數(shù)據(jù)庫里巨大的數(shù)據(jù)塊來解釋的新觀察到數(shù)據(jù)/查詢（一個圖像或是視頻）里的區(qū)域被認(rèn)為是很相像的，相反，不能用數(shù)據(jù)庫里的足夠大的數(shù)據(jù)塊來解釋的查詢里的區(qū)域被認(rèn)為是不相像或是可疑的。當(dāng)一個視覺的查詢是一個圖像，那么這些數(shù)據(jù)塊僅有空間的范圍。當(dāng)一個 視頻查詢是一個視頻，那么這些數(shù)據(jù)塊就既有空間又有時間范圍了。

Detecting Irregularities in Images and in Video 19 Figure 1.The basic concept—Inference by Composition.A region in the query image is considered likely if it has a large enough contiguous region of support in the database.New valid image configurations can thus be inferred from the database, even though they have never been Seen before.Figure 2.Detecting a matching ensemble of patches.３． 碎片的組合

人類的行為或自然的空間結(jié)構(gòu)從來都沒有相同的重復(fù)著。例如，沒有兩個人是走路是相同的。一個人比另一個人的手臂抬高一點，或是僅僅走得快一點。我們因此想允許它在我們的“迷題的塊”（數(shù)據(jù)塊）里有一個小小的非嚴(yán)格變形（在空間和時間上）。這對于巨大的數(shù)據(jù)塊來說尤其的正確。為了計算本地的非嚴(yán)格變形，巨大的塊利用它們相對的幾何位置在多維度上被分解成很多小塊的組合。這在Fig.1(d)中有說明。在推論處理過程，我們尋找具有相似屬性（行為或是外表）的塊的相似的幾何結(jié)構(gòu)，同時允許在相對幾何排列上有微小的本地未對準(zhǔn)。這個概念在Fig.2中說明。當(dāng)視覺查詢是一個圖像，碎片的組合被組成空間碎片（見Fig.3(a)）。當(dāng)視覺的查詢是一個視頻，那么碎片的組合被組成時空碎片（見Fig.3(b)），這允許我們捕捉動態(tài)的行為信息。在我們當(dāng)前的實現(xiàn)來說，一個簡單的典型的組合都同時從多維度（圖像碎片案例中的多空間維度，和時空碎片案例中的多時空維度）具有好幾百個碎片。當(dāng)從樣本碎片中組合新數(shù)據(jù)這個想法被先前證明對于大量的任務(wù)都是有用時，(e.g., Efros and Leung(1999), Freeman et al.(2000)and Wexler et al.(2004))，這些方法沒有在用于構(gòu)建的樣本碎片上強(qiáng)加任何的幾何約束，也就是說，它們的相對位置和距離在數(shù)據(jù)庫里沒有強(qiáng)加任何的幾何約束。對于他們的目的來說一點必要都沒有。然而對于檢測不規(guī)則來說是至關(guān)重要的。經(jīng)常，在相似和不相似現(xiàn)象之間區(qū)別的唯一真實的信息提示是數(shù)據(jù)庫支持的碎片

程度。例如，一個舉著一支槍的人伸直一條手臂和一個人走路時瞬間伸直手臂是相似的，但是在時間上它的區(qū)域的支持度是非常有限的。獲取碎片的幾何相關(guān)性被認(rèn)為對于基于分類的目標(biāo)識別(Bart and Ullman, 2004;Felzenszwalb and Huttenlocher, 2005;Fergus et al.,;Leibe et al.)任務(wù)來說是重要的。這些方法不適合我們的目標(biāo)，因為兩個原因：(i)他們的幾何結(jié)構(gòu)受限制于相關(guān)的小數(shù)量的碎片，這樣就不能捕捉那些用來探測不規(guī)則性的敏感的區(qū)別。(ii)這些結(jié)構(gòu)是為小數(shù)量預(yù)定義的目標(biāo)類來預(yù)學(xué)習(xí)的，然而我們的框架是可以應(yīng)用于任何類型的視覺數(shù)據(jù)。當(dāng)Leibe等人的幾何約束更加的靈活，這樣就允許從僅僅少數(shù)幾個樣本就能識別新的目標(biāo)結(jié)構(gòu)，對于一堆有預(yù)定義目標(biāo)中心的預(yù)定義的目標(biāo)類，他們的方法仍然是有局限的。這就不適合于探測不規(guī)則性，它也沒有目標(biāo)類的概念?！癡ideo Google‖(Sivic and Zisserman, 2003)強(qiáng)化了在巨大的非基于分類的描述符的幾何約束，并且搜索他們都非常的高效。然而，這些描述符在自然界中有空間性的并且這搜索受限于單個的圖像幀，這樣就不能允許去捕捉行為。為了在合理的時間里推斷處理完成，小塊的信息和它們之間的相關(guān)排列必須被高效的存儲在數(shù)據(jù)庫里并且能從數(shù)據(jù)庫里高效的抽取出來。對于每個從樣本抽取出來的小塊，一個描述符向量連同絕對相關(guān)碎片（空間的或是時空的相關(guān)性）被計算和存儲（見下面）。這樣，在圖像和視頻數(shù)據(jù)庫里的所有碎片的相對排列都是隱式有效的。后來，我們的推論運(yùn)算法則采取從視覺查詢中的碎片組合并且查找數(shù)據(jù)

庫來尋找相似的結(jié)構(gòu)碎片（既有描述符又有他們的相對幾何排列）。為了能快速的查找和檢索，這些碎片被存儲成多維的數(shù)據(jù)結(jié)構(gòu)。用一個或然論的圖形模式（第4節(jié)），我們?yōu)閷ふ覇栴}的組合提出了一個高效的推論運(yùn)算法則。

3．1 碎片描述符

碎片描述符是為每一個查詢碎片和每一個數(shù)據(jù)庫碎片而產(chǎn)生的。描述符捕捉關(guān)于外表和行為的本地信息。我們當(dāng)前的實現(xiàn)用的是非常簡單的描述符，這些描述符很容易就被那些更加世故圓滑的描述符所替代： 小空間碎片的空間圖像描述符是由以下構(gòu)成：為碎片里的每一個像素計算它的空間傾斜度的大小，這些值然后被一個向量所保存，這個向量規(guī)格化成一個單位長度。如此的描述符被密密麻麻的解壓到圖像里的每一個像素。這個描述符解壓處理過程被幾個圖像的空間高斯金字塔的空間范圍所替換。這樣，一個從粗糙范圍解壓出來的7 X 7的碎片就比它的輸入圖像（也就是說精度）具有更高的空間支持度。在一些應(yīng)用里，一個RGB/基于亮度的描述可能比一個基于傾斜度的描述符更適合。一般來說，我們的整體的框架沒有局限SIFT(Lowe, 2004)于這些特殊的描述符。這些很容易就被比它更世故圓滑的空間描述符例如SIFT(Lowe, 2004)等所替代。一個?。ㄒ簿褪?×7×4）的時空視頻碎片的時空視頻描述符由碎片的所有像素的時間派生的絕對值所構(gòu)成。這些值構(gòu)成一個向量并且規(guī)格化成一個單位長度。這個描述符解壓處理過程被幾個時空視頻金

字塔的空間時間維度所替代。這樣，一個從粗糙維度解壓出來的7 × 7 × 4的碎片比它的輸入序列具有一個更大的空間和更大的時間支持度。注意到一點是，由于時間派生物在任何的靜態(tài)的背景下總是為零的，所以這個描述符幾乎是一個靜態(tài)背景不等式。所以，利用這時空

描述符，我們可以在新的查詢序列中探測不規(guī)則，而完全不用理會它的背景。然而，這簡單的描述符依賴于空間織品的質(zhì)量，比如當(dāng)一個人穿著一件織地非常粗糙的衣服時它可能引起一個問題。我們的方法，然而就不會這樣局限于這些簡單描述符特殊的選擇。這些描述符可以很容易的就被那些世故圓滑的時空描述符（這些描述符對動作敏感并且更加的外表不變）所替代，例如Shechtman 和 Irani(2005)或Laptev 和 Lindeberg(2003)。Boiman and Irani

Figure 3.Ensembles of patches in images and video.４． 基本的運(yùn)算法則

給定一個新的視覺查詢（一個圖像或是一個視頻），我們很愿意去估計它的每個點的可能性。這可以通過檢查一個巨大的周圍的每一個像素的區(qū)域（也就是說，50 × 50的圖像區(qū)域和50 × 50 × 50視頻區(qū)域)的合法性來實現(xiàn)。這巨大的周圍區(qū)域被多維度（空間或是時空的）的分離成大量（好幾百個）的小的碎片，并且被表述為一個單一的與特殊圖像/視頻點相關(guān)的碎片的組合。令q1, q2,..., qn表示組合中的碎片（見Fig.3(a)）。每一個碎片qi都與兩種類型的屬性相關(guān)：(i)它的描述向量di和(ii)它的絕對坐標(biāo)的位置li。我們選擇任意的參考點C（也就是這組合的中心(見Fig.3(a)），C點作為本地坐標(biāo)系統(tǒng)（這樣就可以定義組合內(nèi)碎片的相對位置）的“原點” 4．1．統(tǒng)計公式

令一個觀察到的查詢范圍內(nèi)的碎片組合用y來表示。我們想去計算連接的可能性P（x，y），其中觀察到的查詢中的組合ｙ與在數(shù)據(jù)庫（既在碎片的描述符值相似也在相對位置上相似）中的隱藏的組合ｘ是相似的。我們可以連接可能性變成：P(x, y)= P(y | x)P(x)。我們的模型P(y | x)類似于Felzenszwalb and Huttenlocher(2005)的“星圖”或然論模型。然而，在Felzenszwalb and Huttenlocher(2005)基于分類的設(shè)置表示為P(y;θ)，其中θ是一個給定的基于分類的碎片群參數(shù)的預(yù)學(xué)習(xí)集。在我們的案例中，然而，對目標(biāo)是沒有概念的，也就是說，沒

有數(shù)據(jù)庫組合ｘ的前驗參數(shù)模型。這樣，θ是未定義的，并且P(x)必須直接從樣本數(shù)據(jù)庫中非參數(shù)的評估。令diy表示觀察到的碎片ｙ中的第ｉ個描述符向量，liy表示它的位置（在絕對坐標(biāo)里）。類似的，dix表示在碎片ｘ中的第ｉ個隱藏（數(shù)據(jù)庫）的描述符向量，lix表示它的位置。令cy和 cx表示被觀察到的和隱藏的組合的“原始”點。任何這樣一對組合y和x的相似性被以下的可能性公式捕獲：

P(x, y)= P（cx , d1x ,..., l1x ,..., cy , d1y ,..., l1y,...）(1)

為了讓計算Eq.(1)的可能性易于操作，我們做了一些簡化的統(tǒng)計假設(shè)。給定一個隱藏數(shù)據(jù)庫碎片和它的描述符dix，這相應(yīng)的觀察到的描述符diy被假設(shè)成與其它碎片描述符無關(guān)。（這是標(biāo)準(zhǔn)的馬爾可夫鏈的假設(shè)，也就是說，F(xiàn)reeman等人（2000），這個在重疊碎片上明顯是不合法的，但它是一個有用近似值）。我們用一個高斯分布在描述符間建立相似性模型：

P（diy|dix）=α1exp（?1/2（diy? dix）T S D?1（diy? dix））(2)這里，α1是一個常量，SD個常量協(xié)方差矩陣，它決定描述符值的可允許的偏差。其它的分布可以根據(jù)其它描述符的相似性函數(shù)插入到模型中。給定一個隱藏數(shù)據(jù)庫碎片的相對位置(lix? cx)，觀察到的相應(yīng)碎片(liy? cy)的相對位置被假設(shè)成不依賴于所有其它碎片位置。這個假設(shè)使得有足夠靈活性去適應(yīng)在視線角度、范圍、位置和行為上的微小變化進(jìn)行比較兩個碎片組合的幾何排列，這樣：

P（liy | lix, cx , cy）= α2 exp（? 1/2（（liy? cy）?（lix? cx））T× S?1L（（liy? cy）?（lix? cx））））(3)這里α2是一個常量，SL是一個常量協(xié)方差矩陣，它捕獲了相對碎片位置中的所被允許的偏差。（本案例中，相對位置的依賴是用高斯來建模，然而這模型并沒有受限它）。到目前為止我們已經(jīng)建立了組合（描述符：diy, dix相應(yīng)位置：liy? cy , lix? cx）間屬性的關(guān)系模型，我們?nèi)匀恍枰㈦[藏組合內(nèi)的關(guān)系（也就是一個碎片描述符dix和它的位置間lix.的關(guān)系）模型。在一般的案例中，這關(guān)系是非常的不可分析，因此不能被參數(shù)化（與基于分類方法形成對照，也就是說Felzenszwalb 和 Huttenlocher(2005)和 Fergus 等人(2003)）的建模。因此，我們利用數(shù)據(jù)庫中的樣本進(jìn)行非參數(shù)化的為它建模：(dx, lx)∈ Database

P(dx| lx)=

0 otherwise

（4）

這里 dx 和 lx是任意描述符和位置。我們?yōu)閏x和cy（本地原始點）假設(shè)一個相同的先驗分布，也就是，沒有預(yù)先優(yōu)先選擇哪一個本地數(shù)據(jù)庫或是查詢的組合。所有上面提到的變量之間的關(guān)系在Fig.4中的貝葉斯網(wǎng)絡(luò)所描述。

Boiman and Irani

Figure 4 或然論圖形模型

這貝葉斯依賴通過變量間的箭頭表示出來。這依賴關(guān)系僅僅為組合中的一個碎片（第i個碎片）而表示出來。觀察到的變量用“橙色”表示出來；隱藏變量用“藍(lán)色”表示出來。cx 和 cy分別是隱藏的和觀察到的組合的“原點”，Lix and li y是隱藏的和觀察到的組合的第i個

碎片的位置（絕對坐標(biāo)）；dix 和 diy是每一個組合的第i個碎片的描述符向量。

這樣，對于一個觀察到的組合 y 和一個隱藏數(shù)據(jù)庫組合 x，我

們可以通過利用Eqs.(2)–(4)來得出Eq.(1)的共同可能性P(x, y)如下： P（cx , d1x ,..., l1x ,..., cy , d1y ,..., l1y）

= αiP（liy| lix, cx , cy）P（diy| dix）P（dix| lix）(5)∏

我們可以得出連接可能性的協(xié)方差矩陣，每一個都與模型中的一個不同部分所關(guān)聯(lián)著。當(dāng)識別的任務(wù)受限于幾個已知預(yù)定義的類型時，也就是每一個都有它的預(yù)定義部分和參數(shù)時，這是一個好方法。這，然而，不是我們案例中的設(shè)置，那里沒有預(yù)定義我們要尋找什么的概念，然而，我們想能夠探測相對于樣本細(xì)小的不規(guī)則。我們的模型因此是 非參數(shù)的并且它的歸納能力不依賴于參數(shù)的調(diào)整，但是更依賴于數(shù)據(jù)庫中樣本的差異性。這在個意義上來說，我們的非參數(shù)模型具有了Leibe等人的非參數(shù)處理方法的共同之處。在我們的實現(xiàn)中，我們已經(jīng)設(shè)置協(xié)方差矩陣SD和SL成為一個簡單的憑經(jīng)驗決定的標(biāo)量方差。這個簡單的設(shè)置給我們的實驗一個滿意的答案。注意到在這個設(shè)置里，這兩個參數(shù)的單一的目的就是適當(dāng)?shù)某袚?dān)了幾何變形和外表/描述符變形的代價。而且，注意到這些是模型中的僅有的參數(shù)，因此需要非常少的參數(shù)調(diào)整。4．2 信任傳播推論

給定一個觀察到的組合，我們尋找一個隱藏的數(shù)據(jù)庫組合，這個組合最大化它的MAP（最大歸納的可能性）分配。這被通過上面統(tǒng)計模型來完成，這個模型具有一個簡單并且確切的信任傳播運(yùn)算法則（Yedidia 等人，2003）。根據(jù)Eq.(5)，MAP分配可以被寫成： max1111P（c , d ,..., l ,..., c , d ,..., lxxxyyy）X maxP（li| li, c , c）maxP（di| di）P（di| li）(7)= α∏y xxyy xx xilixdix這個表達(dá)式可以被表達(dá)成一個在Fig.4里傳遞運(yùn)算法則的消息。首先我們?yōu)槊恳粋€碎片計算從結(jié)點dix到結(jié)點lix關(guān)于它在位置lix的信任消息midl ：

maxmdl（lx）= dixP（diy | dix）P（di x | lix）(8)ii也就是，對于每一個觀察到的碎片，用高描述符相似性計算每一個候選數(shù)據(jù)庫位置lix。下一步，對這些候選數(shù)據(jù)庫的每一個位置，我們都傳遞一個包含在數(shù)據(jù)庫中可能原始位置cx：

milc(cx)= maxlixP（liy | lix，cx，cy）mdl（lix）(9)在這一點，我們有一個被每一個碎片暗示的候選原始列表。為了計算一個整體組合任務(wù)的可能性，我們從組合里的所有個體碎片中乘這信任：

mi(c)(10)mc(cx)=∏ ilcx通過這個運(yùn)算法則處理的推論運(yùn)算量一個MAP推論。因此，在樣本數(shù)據(jù)庫中只發(fā)生一次的東西相等于那些發(fā)生很多次的東西。這個公式在很多應(yīng)用中都很有用，然而，那可能有這樣的應(yīng)用，在那里我們愿意發(fā)生在數(shù)據(jù)庫中的頻率去影響一個組合的可能性。上面運(yùn)算法則的

一個簡單的修改允許去計算可能性而不是MAP，這是通過轉(zhuǎn)換推論運(yùn)算法則從一個最大乘積轉(zhuǎn)換成一個和乘積。4．3 估計查詢點的可能性

對查詢中每一個點，我們嘗試去在它周圍組合一個巨大的區(qū)域。這可以通過檢查一個圍繞著每一個點的巨大區(qū)域的合法性，檢查時用上面的推論處理過程（通過計算一個查詢區(qū)域相似性）。這一點參與在很多查詢區(qū)域中。我們定義一個查詢點的相似性為包含那個點的最大區(qū)域可能性。因此，假如存在一個包含它的巨大區(qū)域，有相應(yīng)的相似性數(shù)據(jù)庫區(qū)域的話，在查詢中的一個點將有一個高可能性。這個方法，我們可以利用部份的目標(biāo)閉塞組合成查詢，因為靠近邊界的點被包含在目標(biāo)里的一個巨大的區(qū)域中。然而，部分閉塞可能生成小的鄰接的目標(biāo)區(qū)域，這些區(qū)域不能被用高可能性利用我們當(dāng)前推論運(yùn)算法則去組合而已的。我們希望我們圍繞每一個點組合的區(qū)域盡可能的大，因為這區(qū)域越大，這一點是不規(guī)則的這個證據(jù)就越大。然而，那有這樣的案例，在這些案例里，一個“規(guī)則”的觀察到的組合不能被完全的由一個簡單的數(shù)據(jù)庫組合而組成（例如，由于部分閉塞）。這那些案例中（不是很高頻率的那些），我們減小觀察區(qū)域的尺寸（例如，減小25%）并且重復(fù)著推論的過程，完全沒有包括被丟棄的碎片。我們處罰總體組合可能性的分?jǐn)?shù)為每一個我們丟棄的碎片。根據(jù)Eq.(6)我們增加一個常量代價處罰為每一個我們丟棄的碎片。處罰期限的大小，反映了我們歸因于組合區(qū)域大小的重要程度。

處理不同大小的組合：為了探測在一個整體觀察里的不規(guī)則區(qū)域，我們僅僅開始了在Eq.(6)里的組合代價。然而，那可能有一些觀察到的組合大小可能不同的案例（例如，因為非情報性區(qū)域，排除分析的區(qū)域，數(shù)據(jù)邊界，等等）。為了比較不同大小的組合合成代價，需要一個標(biāo)準(zhǔn)化的東西。我們利用一個標(biāo)準(zhǔn)化，它是基于統(tǒng)計組合代價顯著水平的標(biāo)準(zhǔn)化。我們定義一個零假設(shè)H0，這樣每一個觀察到的組合都通過上面定義的統(tǒng)計模型來產(chǎn)生。因此，組成代價C0的統(tǒng)計顯著水平可以通過P值 Pr(C > C0 | H0)來測量到。假定這零假設(shè)，并且給定一個隱藏的組合，每一期限在Eq（6）里的組成代價都是按照χ2分布的，并且總體代價的分布也是按χ2分布。這些分布可以被用到計算這樣的P值，它為不同大小的組合“規(guī)格化”它們的組成代價。

５． 一個高效的推論運(yùn)算法則

在第4.2節(jié)中信息傳遞運(yùn)算法則的一個本地的實現(xiàn)是很不高效的，由于獨立描符查詢是為每一個觀察到的組合中的碎片而處理的，完全不用回答先前被其它碎片處理的查詢。這導(dǎo)致了一個O(Nk)的復(fù)雜度，N是數(shù)據(jù)庫中碎片的數(shù)量（例如100，000個碎片為一個一分鐘的視頻數(shù)據(jù)庫）并且K是組合中碎片的數(shù)量（例如256）。而且，我們將會掃描整個的查詢（一個新圖像或是一個新視頻），這個查詢導(dǎo)致一個總共O(Nkq)的復(fù)雜度，這里Q是查詢中碎片的數(shù)量。這復(fù)雜性對于真實的應(yīng)用來說是禁止的，因為每一個詞語（N, k 和q）都是不可以忽

略的。在本章節(jié)中我們給出了怎么樣可以做到不用犧牲精確度而顯著的減少復(fù)雜度。5．1． 改進(jìn)的排除過程

觀察到的組合中的碎片與某一幾何排列有關(guān)。我們可以用這知識通過改進(jìn)的消除數(shù)據(jù)庫里的查詢空間來進(jìn)行一個高效的查詢：我們?yōu)橐粋€少數(shù)量的碎片（例如1個）來計算消息midl。可能的候選原點的結(jié)果列表包含了為下一個碎片的非常有限的查詢空間。下一個碎片，依次，從已經(jīng)候選的短列表中消除附加的原點，等等。這個處理過程在Fig.5.中圖表說明。為了加速這進(jìn)步的消除的過程，我們在 Eqs.(2)和(3)用削去頂端的高斯分布（4σ之后的削去）。因此，根據(jù)幾何學(xué)或是外觀/描述符，這些分布將一個零的可能性給高碎片變形。第一個碎片查詢的代價是O(N)。我們僅僅從被第一碎片（在我們的實現(xiàn)里，c=50）提議列表中保存了最好的C候選原點。第二碎片現(xiàn)在受限于C位置的近鄰。第二碎片將受限于一個更加小數(shù)量的近鄰。這樣，在最糟糕的案例想定，我們的復(fù)雜是O(N + kc)≈ O(N)。相反，在Felzenszwalb and Huttenlocher(2005)and Leibe 等人的推論處理的復(fù)雜度是O(Nk)，而這“群星模型”(Fergus 等人)復(fù)雜度在碎片數(shù)量上是指數(shù)型的。上面被提議的在復(fù)雜度方面的減少對于使能擁有幾百個的碎片的組合的視頻推論是極度重要的。值得注意的是極限縮小候選原點的數(shù)量直到C候選可能會是有問題的：例如，假如我們選擇的第一個碎片是非情報的（也就是單邊），那么選擇最優(yōu)C候選是武斷的并且我們可能拋棄了全局最優(yōu)組

合。在實踐中，我們推論算法（多維度策略，預(yù)搜查，和掃描觀察）的其它組件消除了這風(fēng)險。注意到的是，假如我們采取削峰高斯分布（或其它有限支持分布），并且假如搜查第一個最新碎片范圍少于C候選位置，那么這改進(jìn)的消除處理保證一個確切的解決方法，因為我們僅僅拋棄有零相似性的候選。注意到這使得在這樣的條件下，我們可以提供一個確鑿?fù)普?，這個推論等價于含有簡化復(fù)雜度的信任傳播。而且，我們知道在推論過程中，這結(jié)果是確鑿的（最優(yōu)化）或是它僅僅是一個近似值。

5．2． 多維查找

為了進(jìn)一步加速這消除過程，我們用一個由粗糙到精細(xì)的策略（既有時間又有空間）。我們從粗糙的維度選擇第一個查找碎片，因為兩個原因：(i)在數(shù)據(jù)庫里有一個更小數(shù)量的粗糙碎片比精細(xì)的碎片（這樣減少了有效的N在第一個最強(qiáng)烈的步驟中），并且(ii)粗糙的碎片更加有判別力的因為他們從巨大的區(qū)域中捕獲了信息。這消除數(shù)據(jù)庫組合的候選區(qū)域是非?？焖俚?。我們進(jìn)行下去直到我們處理完所有的在觀察到的粗糙維度的碎片。于是我們投出候選原始點到下一個精密標(biāo)度并且繼續(xù)去處理在精密維度（既是空間上也是時間上的）里的碎片。我們用多維度的方法去處理所有在觀察到組合里的碎片。這個多維度查找的復(fù)雜度是O(N0 + kc)，這里N0是時空金字塔里最粗糙維度的碎片數(shù)量。

5．3．高效的數(shù)據(jù)庫存儲和檢索

一個簡單的數(shù)據(jù)庫實現(xiàn)可以是用一個碎片描述符的排列和線性的查找。然而，時間和空間復(fù)雜度可以顯著的分別的提升數(shù)據(jù)庫的存儲和檢索。存儲空間可以通過保持描述符向量近似值的方法得到顯著的減少。例如，所有描述符向量通過利用標(biāo)準(zhǔn)技術(shù)例如PCA和ICA的技術(shù)可以被到映射成一個低維線性空間。另外，向量量子化技術(shù)（例如K均值，或是Jurie and Triggs(2005)）可以被應(yīng)用到描述符的聚類組中。映射和量子化的結(jié)果是出現(xiàn)更少存儲的描述符,并且每一個描述符都更短了。另一個好處是數(shù)據(jù)庫檢索時間被縮短了。注意到映射和量子化在描述符向量里引進(jìn)了錯誤。假如每一個“被壓縮”的描述符向量包含一個連接原始描述符的話，我們就可以消除錯誤了。本案例中，存儲空間沒有被縮小，但是檢索的時候?qū)豢s小。一個接近的相關(guān)的縮短數(shù)據(jù)庫檢索時間的相關(guān)方法是使用更好的數(shù)據(jù)結(jié)構(gòu)去存儲描述符向量，例如KD樹和hash表去查找大約最近鄰。這些數(shù)據(jù)結(jié)構(gòu)使最快范圍查詢（在一個給定的元素的某一范圍里發(fā)現(xiàn)所有在數(shù)據(jù)庫里的元素）。這個時間復(fù)雜度的結(jié)果是O(Range(N0)+ kc)，這里(N0)《 N0表示在有N0元素（碎片）的數(shù)據(jù)庫數(shù)據(jù)結(jié)構(gòu)的范圍查詢的代價。

5．4 利用預(yù)查詢的方法

到目前為止我們假定上面描述的組合算法是被應(yīng)用到所有觀察的點，這些點完全不彼此不相關(guān)的。這常常是徒勞無功的，因為鄰近的被觀察到的組合在數(shù)據(jù)庫里傾向于擁有近鄰隱藏的組合。我們利用這個事實通過測試隱藏組合變量在空間和時間上的值去加速合成的過程。通過所有的先前組成的組合，憑借著從觀察到的重疊碎片里獲得的知識，我們預(yù)測隱藏組合中心的位置和數(shù)據(jù)庫里的隱藏碎片的身份。我們用最簡單的預(yù)測：給定一個近鄰的觀察到的組合（?y和它的相應(yīng)被探測的數(shù)據(jù)庫組合~ X），我們預(yù)測一些在隱藏組合X里的隱藏變量，相對應(yīng)的是一個新觀察到的組合Y。我們預(yù)測用以下公式預(yù)測隱藏組合中心Cx：

cx = c?x + cy ? c?y

(11)而且，對每一個觀察到出現(xiàn)在預(yù)測組合(liy, diy)=(l?jy ,d?jy)的碎片(liy，diy)，我們預(yù)測相應(yīng)的隱藏變量(lix, dix)=(l?jx ,d?jx)。沒有預(yù)測的剩下的隱藏變量，可以用改進(jìn)的消除過程非?？斓谋煌茢喑鰜怼Ｗ⒁獾降氖菍τ诮徑M合，大多數(shù)的觀察到的碎片是重疊在一起的，因此組成一個新組合的復(fù)雜度是非常低的。萬一預(yù)測錯誤并且因此導(dǎo)致一個低質(zhì)量的組合（也就是說，被觀察到的區(qū)域有較低的可能性），我們就拋棄這預(yù)測結(jié)果并且在整個的數(shù)據(jù)庫里都用通用的推論。這樣，這個預(yù)測查詢就不會在數(shù)據(jù)庫的別處阻止探測。然而，在大多數(shù)的情況下，這預(yù)測查詢是很精確的并且它減少相當(dāng)多的推論時間。假定有一個長度為r的合法性預(yù)測“鏈條”，在鏈條中預(yù)測一個組合的代價是O(k)。因此，這樣一個鏈條的總的復(fù)雜度是O(Range(N0)+ kc + kr)而不是沒有預(yù)測時的O(Range(N0)r +

krc)。除些之外，還非常的明顯的縮短推論時間，預(yù)測確實提升了推論的準(zhǔn)確性。這是因為組合精準(zhǔn)的這些區(qū)域繁殖信息到了精確性不高的那些區(qū)域（例如，一個站立的人的一條腿比身體的上部有更少的確定性）。

６． 應(yīng)用

在本論文提出的方法引起了各種各樣包括探測圖像和視頻不規(guī)則方面的應(yīng)用：

6．1．探測與異常圖像結(jié)構(gòu)

給定一個樣本圖像數(shù)據(jù)庫，我們可以要新觀察到的圖像中探測一些異常的東西（例如從來都沒有見過的物體，新的圖像模式，等等）在Fig.6里給出一個例子。三個不同姿勢的圖像作為一個數(shù)據(jù)庫被提供（Fig.6(a)）。其它姿勢的圖像作為查詢被提供(Fig.6(b))。新的合法的姿勢被自動的從數(shù)據(jù)庫里推斷出來，盡管它們是從來都沒有見過的。不能從三個數(shù)據(jù)庫圖像被推斷出來的新姿勢部分被用紅色標(biāo)示成“不熟悉的”(Fig.6(c))。Figure 6(d)真實的標(biāo)出了這些能夠為大多數(shù)查詢圖像中的每一個像素提供證據(jù)的數(shù)據(jù)庫圖像（也就是說，這告訴我們哪一個數(shù)據(jù)庫圖像包含了最大可能支持那像素的區(qū)域。注意,然而，這些并不是支持它們自己的區(qū)域）。默認(rèn)具有相同碎片的和從推論過程中被拋棄（為了加快速度）的相同的碎片（具有可以忽略的圖像傾斜度）被假定為合法的。

Figure 6.Detection of irregular image configurations.New valid poses are automatically inferred from the database(e.g., a man sitting on the chair with both arms up, a man sitting on a chair with one arm up), even though they have never been seen before.New pose parts which cannot be inferred from the three database images are highlighted in red as being ―unfamiliar‖.6．2 單一圖像的空間顯著

給定一幅單一的圖像（也就是說沒有數(shù)據(jù)庫），顯著圖像區(qū)域可以被探測到，例如，那些凸出的不同于剩余部分的圖像的區(qū)域。這可以通過測量每個相對于同一幅圖像中剩余點的圖像區(qū)域（即“查詢”）的可能性來實現(xiàn)（這數(shù)據(jù)庫用作推論這特殊的區(qū)域）。這個處理過程為每一個圖像區(qū)域重復(fù)著。（當(dāng)進(jìn)行著從一個圖像區(qū)域的分析到下一個圖像區(qū)域的分析時，這個處理過程可以通過自適應(yīng)增加或是減少數(shù)據(jù)庫中的大約描述符的方法而很高效的實現(xiàn)）。這樣的一個例子在Fig.7.中表示出來。這個方法可以被應(yīng)用到自動視覺檢測的問題中（計算機(jī)芯片、貨物等的檢測）。

Figure 7.Identifying salient regions in a single image(no database;no prior information).The Jack card was detected as salient.Note that even though the diamond cards are different from each other, none of them is identified as salient.6．3 探測可疑行為

給定顯示幾個合法行為例子的一個小數(shù)據(jù)系列，我們可以一個新的長

視頻中探測到可疑和為。這是完全不管我們以前從來都沒有看過這些行為的組合，而且是沒有關(guān)于哪一類的可疑行為可能發(fā)生在視頻里的先驗知識的。這些是自動的組合與從數(shù)據(jù)庫中的時空區(qū)域里推斷出來的。Fig.8有一個這樣的例子，它從一個2分鐘長的視頻短片里顯示出幾個用來探測可疑行為的例子。要看完整的視頻請登錄004km.cnbinations are automatically inferred from the database(e.g., two men walking together, a different person running, etc.), even though they have never been seen before.behaviors which cannot be inferred from the database clips are highlighted in red as being ―suspicious‖.For full videos see www.wisdom.weizmann.ac.il/～vision/Irregularities.html

6．4 視頻中的時空顯著

利用我們的方法我們可以從一個簡單的視頻流里就能識別出顯著行為，完全不用任何的數(shù)據(jù)庫或是先驗信息。例如，一個人在歡呼的人群中奔跑。這個人的行為很明顯是顯著的。在這個案例中，顯著性是通過相對于同一時間觀察到的其它行為的比較而測量出來的。每一個

時空視頻片斷（查詢）的合法性是相對于所有其它視頻片斷而測量出來的。這個處理過程為每一個視頻片斷重復(fù)進(jìn)行著。這樣的例子在Fig.9里有給出。要獲取全部視頻，登錄到www.wisdom.weizmann.ac.il/～vision/Irregularities.html。視頻顯著性也可以通過相對于其它的時間窗口來測量到。例如，當(dāng)顯著性是通過相對于整個視頻而測量的，那么那些只出現(xiàn)過一次的行為將顯得突出。作為選擇的，當(dāng)顯著性的測量是相對于過去（所有之前的幀）而測量的，那么新的之前沒有發(fā)生過的行為就會被認(rèn)出。這提升了應(yīng)用的多樣性，包括視頻大綱。

Figure 9.Detecting salient behaviors in a video sequence(no database and no prior information).Saliency is measured relative to all the other behaviors observed at the same time.In this example, all the people wave their arms, and one person behaves differently.For full videos see www.wisdom.weizmann.ac.il/～vision/Irregularities.html

6．5 自動視頻檢查（質(zhì)量保證）

我們的方法可以被應(yīng)用到自動視覺查檢。自動視覺檢查可以廣泛的應(yīng)

用在質(zhì)量保證和貨物的制造方面，電子印板，晶片等。自動檢查的一個主要的問題是怎么描述所有可能正確的模式。在這些案例中，自動檢測減少成一個具有轉(zhuǎn)變探測的簡單問題模型匹配。然而，有很多重要復(fù)雜案例，它是毫無意義或不可能提供比較參考，（例如，由于“好”案例的空間的組合復(fù)雜度）。我們用我們的方法從事這樣的案例從而來探測不規(guī)則性。通過提供一些期待/正常模型的樣例（對于貨物，印刷板，晶片，光掩膜，平板顯示，磁磚，織物，水果等）我們努力去從這些樣例通歸納和組成新的從來都沒有見過的現(xiàn)象。具有較低組成可能性的將為認(rèn)為是錯誤的。在Fig.10給出這樣的一個水果檢查的樣例。經(jīng)常，被檢查的產(chǎn)品呈現(xiàn)出重復(fù)的模型（例如，晶片，織物，平板顯示）。在這些案例中，我們可以用我們的顯著方法去探測錯誤根本不需要先驗樣例。這在Fig.11中圖表說明晶片檢查和Fig.12里的織物檢查。對于給出的樣例中，我們已經(jīng)利用到基于RGB或是灰度等級的碎片描述符。我們已經(jīng)利用到一個高斯分布來對描述符相似性建模。我們的方法，然而，沒有局限于特定的描述符。

Figure 10.Detection of defects in grapefruit images.Using the single image(a)as a ―database‖ of high quality grapefruits, we can detect defects in different grapefruits at different arrangements in images(b),(c).In both image pairs the input image is to the left and the output image is to the right.Detected defects are highlighted in ―red‖.Figure 11.Detection of defects in wafer images(No database and no prior information).Wafers tend to exhibit repeating structures.This can be utilized using our saliency approach to detect defects without any database.In each example, the left image is the input, the right image is

the output.Detected defects are highlighted in ―red‖.Figure 12.Detection of defects in fabric images(No database and no prior information).Fabric tend to exhibit nearly repeating textures and patterns with small non-rigid deformations.This can be utilized using our saliency approach to detect defects without any database.Detected defects are highlighted in ―red‖.７． 結(jié)論

我們研究的問題是探測視覺數(shù)據(jù)(圖像或視頻)里的不規(guī)則現(xiàn)象?！安灰?guī)則”這個術(shù)語是依賴于被定義“規(guī)則”或“合法”的上下文。然而，對于給定的上下文，期待顯定義所有可能合法結(jié)構(gòu)是不現(xiàn)實的。我們把決定視覺數(shù)據(jù)合法性的問題當(dāng)作構(gòu)造一個迷題的過程：我們盡力利用從先前視覺樣例（數(shù)據(jù)庫）中解壓出來的數(shù)據(jù)塊去組合一個新觀察到的圖像區(qū)域或是一個新視頻片斷（查詢）。能夠用數(shù)據(jù)庫里的巨大鄰接數(shù)據(jù)塊去組成的觀察到的數(shù)據(jù)區(qū)域被認(rèn)為是相似的，相反那些不

能從數(shù)據(jù)庫里的數(shù)據(jù)組成（或是能組成，但只是可以由小數(shù)量的碎片組成）的觀察到的區(qū)域被認(rèn)為是不相似/可疑的。我們把這個過程定義為“通過組合的推論”。它允許我們在僅僅少數(shù)幾個樣例就能在一個更大的上下文中去歸納什么是規(guī)則的什么是不規(guī)則的。這個壓縮過程的實現(xiàn)是作為一個蓋然論圖像模型里的高效推論運(yùn)算法則來完成的，它適應(yīng)查詢與數(shù)據(jù)庫之間微小的時空變形?！巴ㄟ^組合的推論”也能應(yīng)用在完全沒有先驗樣例的情況下探測視覺數(shù)據(jù)顯著性。為了這個目的我們把每一個圖像區(qū)域稱作一個“查詢”，并且盡力利用剩下部分的圖像（數(shù)據(jù)庫）去組合它。這個過程依次對所有的圖像區(qū)域重復(fù)著。像這樣一些不能用圖像的其它部分“解釋”（組合）的區(qū)域?qū)⒆鳛轱@著區(qū)域被探測出來。這引導(dǎo)了一個新定義的術(shù)語視覺數(shù)據(jù)顯著性。在視頻數(shù)據(jù)的案例中，這些區(qū)域是時空性的，并且這些顯著性視頻區(qū)域是相應(yīng)于顯著性行為。我們的“通過組合的推論”這方法是通用的并且因此能夠研究在簡單統(tǒng)一的框架里問題，它的一般性使它不用采取任何基于分類模型的預(yù)學(xué)習(xí)的方法。我們通過探測可疑行為，顯著性行為，顯著性圖像區(qū)域，探測貨物或產(chǎn)品來證明這個方法的應(yīng)用。我們當(dāng)前的運(yùn)算法則有兩個主要的局限性：(i)盡管閉塞可以被處理到一定程度，它不能處理一些極端的閉塞（例如當(dāng)只有物體的小碎片部分是顯著時）。(ii)時間和存儲的復(fù)雜度在我們當(dāng)前的推論算法中是隨樣例數(shù)據(jù)庫的大小顯線性變化的。這很顯然對于巨大數(shù)據(jù)庫來說是有問題的。這兩個問題是我們將來研究的一個主題。

第五篇：讀書筆記(圖像和視頻中的不規(guī)則檢測)

論文題目：Detecting Irregularities in Images and in Video 所載刊物：International Journal of Computer Vision 74(1), 17–31, 2007 作者：Oren Boiman and Michal Irani

主要內(nèi)容和結(jié)論（觀點）：

該文主要闡述了作者在檢測圖像和視頻等可視化數(shù)據(jù)中的不規(guī)則數(shù)據(jù)的研究成果。

文章中表明，圖像和視頻中不規(guī)則圖像模型的探測在各種各樣的任務(wù)中都是很有用的。對于監(jiān)視和監(jiān)測來說探測可疑行為或是異常目標(biāo)是重要的。

早先識別可疑行為或活動的方法可以廣泛的被分成兩類：基于規(guī)則的方法和沒有預(yù)定義規(guī)則的統(tǒng)計方法。

而在該文中作者提出將探測規(guī)則和不規(guī)則的問題公式化成為用從先前可視樣本（數(shù)據(jù)庫）中提取出來的時空塊組成（解釋）新的觀察的可視數(shù)據(jù)（一個圖像或是一段視頻，在下面提到時用“查詢”表示）的問題。這些可以用從樣本數(shù)據(jù)庫中抽取的大的連續(xù)數(shù)據(jù)塊組成的查詢中的區(qū)域被認(rèn)為是相似的，這些區(qū)域越大，相似性就越強(qiáng)。在不能用樣本數(shù)據(jù)庫組成的查詢中的區(qū)域被認(rèn)為是不相似的或是可疑的。作者的方法因此可以從僅僅少量的幾個樣本就能推斷或是歸納出更大的上下文的圖像模式和行為，甚至那些從來都沒有見過的特別構(gòu)造。（這個過程被定義為“通過組合的推論”）

作者認(rèn)為該文作出了以下四個主要的貢獻(xiàn)：

1、提出了一個可以從僅有的幾個樣本中就可以推理和歸納的方法，這個方法是關(guān)于一個更大的上下文圖像模式和行為的合法性的，甚至是那些從來都沒有見過的特殊構(gòu)造的合法性。

2、提出了一個基于圖表的貝葉斯定理的推論算法，它可以在成倍增加的時空范圍里有效探測大的整套的碎片塊（例如，數(shù)以百計的碎片塊）。同時它可以增強(qiáng)這些在整體以及單個的描述符上的碎片里的相關(guān)幾何方面的排列上的約束。

3、提出了對圖像和視頻里術(shù)語中的“顯著”和“視覺注意”給出一個新的解釋。

4、提出了一個單一的、統(tǒng)一的框架來處理計算機(jī)視覺里幾個的問題，這些問題在過去已經(jīng)被單獨地處理過。它們包括：圖像和視頻中值得注意的地方，可疑行為的識別，異常物體的識別，自動視頻檢查（例如，用于質(zhì)量保證）等等。

論文中的基本算法：

1、統(tǒng)計公式

用y來表示一個觀察到的查詢范圍內(nèi)的碎片組合。計算連接的可能性P（x，y），其中觀察到的查詢中的組合y與在數(shù)據(jù)庫（既在碎片的描述符值相似也在相對位置上相似）中的隱藏的組合x是相似的。我們可以把連接的可能性分解成：P(x, y)= P(y|x)P(x)。

令dy表示觀察到的碎片y中的第i個描述符向量，ly表示它的位置（在絕對坐標(biāo)里）。類似的，dx表示在碎片x中的第i個隱藏（數(shù)據(jù)庫）的描述符向量，lx表示它的位置。令cy和cx表示被觀察到的和隱藏的組合的“原始”點。任何這樣一對組合y和x的相似性被以下的可能性公式捕獲： iiii

P(x, y)= P（cx , d1x ,..., l1x ,..., cy , d1y ,..., l1y,...）(公式1)

我們用一個高斯分布在描述符間建立相似性模型：

P（diy|dix）=α1 exp（?1/2（diy? dix）T S D?1（diy? dix））(公式2)

這里，α1是一個常量，S D是一個常量協(xié)方差矩陣，它決定描述符值的可允許的偏差。其它的分布可以根據(jù)其它描述符的相似性函數(shù)插入到模型中。給定一個隱藏數(shù)據(jù)庫碎片的相對位置(lx? cx)，觀察到的相應(yīng)碎片(ly? cy)的相對位置被假設(shè)成不依賴于所有其它碎片位置。這個假設(shè)使得有足夠靈活性去適應(yīng)在視線角度、范圍、位置和行為上的微小變化進(jìn)行比較兩個碎片組合的幾何排列，這樣： iiP（liy | lix, cx , cy）= α2 · exp（? 1/2（（liy? cy）?（lix? cx））T× S?1L（（liy? cy）?（lix? cx））））(公式3)

到目前為止我們已經(jīng)建立了組合（描述符：dy, dx和相應(yīng)位置：ly? cy , lx? iiiicx）間屬性的關(guān)系模型，我們?nèi)匀恍枰㈦[藏組合內(nèi)的關(guān)系（也就是一個碎片描述符dx和它的位置間lx的關(guān)系）模型。利用數(shù)據(jù)庫中的樣本進(jìn)行非參數(shù)化的為它建模：

ii

1(dx , lx)∈ Database

P(dx | lx)=(公式4）

0otherwise

這里dx和lx是任意描述符和位置。

這樣，對于一個觀察到的組合y和一個隱藏數(shù)據(jù)庫組合x，我們可以通過利用公式(2)–(4)來得出公式(1)的共同可能性P(x, y)如下：

P（cx , d1x ,..., l1x ,..., cy , d1y ,..., l1y）

=α?P（liy| lix, cx , cy）P（diy| dix）P（dix| lix）(公式5)

i

對于任何隱藏的非零可能性的集團(tuán)分配,我們定義組合代價為負(fù)的對數(shù)可能性函數(shù)：

-logP（cx , d1x ,..., l1x ,..., cy , d1y ,..., l1y）

= ?i-log P（liy| lix, cx , cy）+?-log P（diy| dix）+α1(公式6)i

當(dāng)α1= log(α)時是常量。

2、信任傳播推論

給定一個觀察到的組合，我們尋找一個隱藏的數(shù)據(jù)庫組合，這個組合最大化它的MAP（最大歸納的可能性）分配。這被通過上面統(tǒng)計模型來完成，這個模型具有一個簡單并且確切的信任傳播運(yùn)算法則。根據(jù)公式(5)，MAP分配可以被寫成：

1111P（c , d ,..., l ,..., c , d ,..., lxxxyyy）MaxX

=α?iiiiiiiP（l| l, c , c）P（d| d）P（d| ly xxyy xx x）(公式7)MaxMaxlxidxi

首先我們?yōu)槊恳粋€碎片計算從結(jié)點dx到結(jié)點lx關(guān)于它在位置lx的信任消息： iii

midl（lix）= iii iP（d| d）P（d| ly xx x）(公式8)Maxdxi

也就是，對于每一個觀察到的碎片，用高描述符相似性計算每一個候選數(shù)據(jù)

庫位置lx。下一步，對這些候選數(shù)據(jù)庫的每一個位置，我們都傳遞一個包含在數(shù)據(jù)庫中可能原始位置cx： i

milc(cx)= iiiP（l| l, c, c）m（ly xx ydlx）(公式9)Maxlxi

在這一點，我們有一個被每一個碎片暗示的候選原始列表。為了計算一個整體組合任務(wù)的可能性，我們從組合里的所有個體碎片中乘這信任：

mc(cx)=?milc(cx)(公式10)

i

通過這個運(yùn)算法則處理的推論運(yùn)算量一個MAP推論。

3、估算查詢點的可能性

對于查詢中每一個點，我們嘗試在它周圍組合一個大的區(qū)域。這可以通過檢查圍繞著每一個點的大區(qū)域的有效性，檢查時用上面的推論處理過程（通過計算一個查詢區(qū)域相似性）。這一點參與了很多查詢區(qū)域中。我們定義一個查詢點的相似性為包含那個點的最大區(qū)域可能性。因此，假如存在一個包含它的大區(qū)域，有相應(yīng)的相似性數(shù)據(jù)庫區(qū)域的話，在查詢中的一個點將有一個高可能性。這樣，我們可以利用部份的目標(biāo)遮擋組合成查詢，因為靠近邊界的點被包含在目標(biāo)里的一個大的區(qū)域中。然而，部分遮擋可能生成小的鄰接的目標(biāo)區(qū)域，這些區(qū)域不能用我們當(dāng)前推論算法去組合。

在文章中，作者還提出了算法的性能改進(jìn)，并介紹了一些基于該文中所述方法的探測圖像和視頻中不規(guī)則方面的應(yīng)用：包括探測異常圖像構(gòu)造、單一圖像的顯著空間、探測可疑行為以及自動視頻檢查（質(zhì)量保證）等等。

最后，文章給出了結(jié)論：“通過組合的推論”，允許我們可以由少數(shù)幾個樣例就能在一個更大的上下文中去歸納什么是規(guī)則的，什么是不規(guī)則的。這個壓縮過程的實現(xiàn)是作為一個概率圖像模型里的高效推論算法來完成的，它適應(yīng)查詢與數(shù)據(jù)庫之間微小的時空變形。

“通過組合的推論”，也可以應(yīng)用在完全沒有任何早先樣本的情況下探測可視數(shù)據(jù)的顯著性。為了這個目的我們把每一個圖像區(qū)域稱作一個“查詢”，并且盡力利用剩下部分的圖像（數(shù)據(jù)庫）去組合它。這個過程依次重復(fù)所有的圖像區(qū)域。像這樣一些不能用圖像的其它部分“解釋”（組合）的區(qū)域?qū)⒆鳛轱@著區(qū)域

被探測出來。這導(dǎo)致了在可視數(shù)據(jù)上的一個新定義的術(shù)語：顯著。在視頻數(shù)據(jù)的案例中，這些區(qū)域是時空相關(guān)的，并且這些顯著的視頻區(qū)域是與顯著的行為相呼應(yīng)的。

“通過組合的推論”，這一方法是通用的并且因此能夠研究在一個單一的、統(tǒng)一的框架里的問題，它的一般性使得它不用采取任何基于分類模型的預(yù)學(xué)習(xí)的方法。我們通過探測可疑行為，顯著行為，顯著圖像區(qū)域，探測貨物或產(chǎn)品來證明這個方法的應(yīng)用。

文章中也提到，該文中的算法有兩個主要的局限性：(i)盡管遮擋可以處理某種程度的影響，它不能處理一些極端的遮擋（例如當(dāng)只有物體的小碎片部分是顯著時）。(ii)時間和存儲的復(fù)雜度在該文的推論算法中是隨樣本數(shù)據(jù)庫的大小顯線性變化的。這對于大的數(shù)據(jù)庫來說顯然是有問題的。這兩個問題會是作者將來研究的一個主題。

相關(guān)研究介紹:

趙峰等人在《計算機(jī)研究與發(fā)展》中發(fā)表的《一種基于奇異值分解的圖像匹配算法》提出一種新的基于奇異值分解的圖像匹配算法。首先在待匹配圖像中分別提取帶主方向的角點作為特征點，通過計算特征點間經(jīng)旋轉(zhuǎn)補(bǔ)償?shù)臍w一化互相關(guān)值建立特征點相似度矩陣，然后利用奇異值分解算法生成特征點匹配矩陣并獲得特征點間的--對應(yīng)關(guān)系。在復(fù)雜自然圖像上的實驗結(jié)果表明，算法能夠匹配任意角度旋轉(zhuǎn)的圖像，對局部遮擋、光照變化、隨機(jī)噪聲等具有較強(qiáng)的健壯性，并具有較快的計算速度和較高的匹配精度。

張軍、劉志鏡在《模式識別與人工智能》發(fā)表的《基于模糊理論的行人異常動作檢測》中根據(jù)行人軀干和四肢輪廓角度的變化，設(shè)計用于模糊化的函數(shù)式。提出利用軀干和四肢的模糊隸屬度通過計算來得到整個人異常度的一種基于模糊理論異常行為判別的算法。在系統(tǒng)實現(xiàn)中，提出利用質(zhì)心軌跡和模糊判別的聯(lián)合方法來甄別行人是否異常的方法。模糊判別可實現(xiàn)在視頻監(jiān)控范圍內(nèi)對行人行為的主動分析，從而能夠?qū)π腥水惓５膭幼髯龀鲎R別并進(jìn)行報警處理。

田永鴻等人申請的專利201010568248.X，“圖像顯著對象提取方法、互補(bǔ)顯著度圖學(xué)習(xí)方法及系統(tǒng)”，通過給定任意圖像，自動準(zhǔn)確地提取出圖像中的顯著物體，有效地解決了在復(fù)雜場景下一般顯著物體提取結(jié)果缺乏的準(zhǔn)確性和魯棒性問題。