OpenCV haartraining (Rapid Object Detection With A Cascade of Boosted Classifiers Based on Haar-like Features)

延續上一篇Manually Compiling and Installing OpenCV on Mac / Windows Without Package Manager，假設讀者已安裝OpenCV開發環境與command line指令設定。此篇以 Tutorial: OpenCV haartraining (Rapid Object Detection With A Cascade of Boosted Classifiers Based on Haar-like Features) 和 Creating a haar cascade classifier aka haar training 為基礎撰寫。

偵測物圖片蒐集

首先，要偵測的物體圖片是少不了的。假設我們要偵測的是一個原子筆，那需要很多張像下圖一樣的圖片，裁割到剩下目標物（越多張越好），把這些當做我們Training時的Positive Images。

另外，還需要大量的Negative Images，也就是沒有包含任何目標物部分的圖片，如下圖。

裁割圖片可以使用一套叫做imageclipper的軟體。

產生相關檔案與結構

到這裡，我們的檔案結構應該會有三個資料夾：Positive_Images, Negative_Images, Samples（此篇的圖片副檔名都以jpg為主）。

Positive_Images：用來存放上面裁割過後只剩下目標物的圖片。
Negative_Images：存放沒有包含任何目標物部分的圖片，也就是不能包含任何原子筆相關部分在內（就算是鉛筆的部份也不要）。
Samples：空資料夾，用來存放等等產生用來Training的檔案。
然後，為了讓training知道我們有哪些檔案，我們必須要建立一個文件，裡面有Positive、Negative的圖片位址。另外，記得Positive Image的大小必須要一樣，若是有安裝imagemagick，可以使用像這樣"mogrify -resize ???x??? *.jpg"的指令。


find Positive_Images -name &quot;*.jpg&quot; &gt; positives.dat

find Negative_Images -name &quot;*.jpg&quot; &gt; negatives.dat

產生Training Samples

下載網路上別人寫好的perl scripts：createtrainsamples.pl 及 mergevec.cpp。mergevec.cpp是用來將perl scripts產生出來的sample轉成haartraining需要的vec格式。 ### 編譯mergevec.cpp成可執行檔將mergevec.cpp複製到opencv source code的apps/haartraining內，裡面有編譯時所需的cpp檔案。


g++ `pkg-config --cflags opencv` `pkg-config --libs opencv` -o mergevec mergevec.cpp cvboost.cpp cvcommon.cpp cvsamples.cpp cvhaarclassifier.cpp cvhaartraining.cpp

若出現找不到header files的errors

mergevec.cpp:7:28: error: cvhaartraining.h: No such file or directory
mergevec.cpp:8:47: error: _cvhaartraining.h: No such file or directory

那就是在安裝opencv時，沒有把apps/haartraining內的所有*.h複製到/usr/local/include/opencv/.內。

若出現Undefined symbols這種沒有定義的錯誤

Undefined symbols for architecture x86_64: "icvGetHaarTraininDataFromVecCallback(CvMat*, void*)", referenced from: icvAppendVec(CvVecFile&, CvVecFile&, int*, int, int)in cc7bmOx6.o "icvWriteVecSample(__sFILE*, void*)", referenced from: icvAppendVec(CvVecFile&, CvVecFile&, int*, int, int)in cc7bmOx6.o "icvWriteVecHeader(__sFILE*, int, int, int)", referenced from: icvMergeVecs(char*, char const*, int, int, int)in cc7bmOx6.o ld: symbol(s) not found for architecture x86_64 collect2: ld returned 1 exit sta

是mergevec在呼叫icvAppendVec、icvMergeVecs時鏈結不到function，原因有兩種可能：第一，沒有把mergevec.cpp複製到apps/haartraining內編譯，但這錯誤應該一開始在下g++時就會有錯誤；第二，你的g++少了幾個cpp檔案參數

完成編譯mergevec以及下載perl script完成後，鍵入以下指令


perl createtrainsamples.pl positives.dat negatives.dat samples 7000 &quot;opencv_createsamples -bgcolor 0 -bgthresh 0 -maxxangle 1.1 -maxyangle 1.1 maxzangle 0.5 -maxidev 40 -w 300 -h 120&quot;

find Samples/ -name '*.vec' &gt; samples.dat # to create a collection file for vec files

mergevec samples.dat samples.vec

*注意：positive跟negative內的圖片大小與指令參數的w, h需一致，否則會有"Invalid background description file."的錯誤

參數說明

Samples後面接的7000：代表要利用提供的positive和negative圖像產生多少個sample，數目不足的部份這個perl script會幫我們做些distortion來產生（這也是為什麼要用別人寫的perl script）。另外，在opencv source code內的haartraining doc內有說，positive最好的sample數量為7000。
w, h：為positive每張影像的寬、高

產生Test Samples

一樣，先下載perl script：createtestsamples.pl。


perl createtestsamples.pl positives.dat negatives.dat Samples 7000 &quot;opencv_createsamples -bgcolor 0 -bgthresh 0 -maxxangle 1.1 -maxyangle 1.1 maxzangle 0.5 -maxidev 40 -w 20 -h 20&quot;

find tests/ -name 'info.dat' -exec cat \{\} \; &gt; tests.dat # merge info files

Haar Training

```

opencv_haartraining -data haarcascade -vec samples.vec -bg negatives.dat -nstages 20 -nsplits 2 -minhitrate 0.999 -maxfalsealarm 0.5 -npos 7000 -nneg 3019 -w 300 -h 120 -nonsym -mem 512 -mode ALL


參數說明
<ul>
	<li><span style="line-height: 22px;">-nonsym：偵測物體左右不是對稱的（若是像臉這種有對稱特性的則可不用加，預設即是對稱性，可以加速處理速度，這樣haar-like features上就只要處理左半部或是右半部）
</span></li>
	<li><span style="line-height: 22px;">-mode ALL：使用直立與45度角的haar-like features，預設是basic只使用直立feature</span></li>
	<li><span style="line-height: 22px;">-data：haartraining的輸出資料夾名稱</span></li>
	<li><span style="line-height: 22px;">-mem：要分配多少記憶體（MB）給haartraining使用</span></li>
	<li><span style="line-height: 22px;">w, h：同上，即為positive的圖像寬、高。</span></li>
</ul>
<span style="line-height: 22px;">***在7000個samples、20個stages以及本篇的參數設定下，training保守估計需要三天的時間。</span>
<h2><span style="color: #3366ff;">Generate a XML File</span></h2>
首先需要編譯OpenCV Source Code內的convert_cascade.c這個檔案（在OpenCV/samples/c/convert_cascade.c），編譯好後複製回我們Training的資料夾下。

gcc pkg-config --cflags opencv pkg-config --libs opencv -o convert_cascade convert_cascade.c

### 產生XML

./convert_cascade --size="300x120" haarcascade haarcascade.xml


*注意，大小要跟前面positive與sample一樣

更多詳細的指令介紹可以參考本篇文章的Reference。
<h2><span style="color: #3366ff;">Reference</span></h2>
<ul>
	<li><span style="line-height: 22px;"><a href="http://note.sonots.com/SciSoftware/haartraining.html" target="_blank">Tutorial: OpenCV haartraining (Rapid Object Detection With A Cascade of Boosted Classifiers Based on Haar-like Features)</a></span></li>
	<li><span style="line-height: 22px;"><a href="http://opencvuser.blogspot.tw/2011/08/creating-haar-cascade-classifier-aka.html" target="_blank">Creating a haar cascade classifier aka haar training</a></span></li>
	<li><a href="http://note.sonots.com/SciSoftware/haartraining/mergevec.cpp.html" target="_blank">mergevec.cpp</a></li>
	<li><a href="http://docs.opencv.org/trunk/doc/user_guide/ug_traincascade.html" target="_blank">Cascade Classifier Training</a></li>
</ul>