閱讀好天氣: 2020

2020年12月31日星期四

OpenCV findhomography(單應性矩陣)與warpperspective(透視變換)

隨著科技進步與市場競爭，許多公司會試著將機械手臂導入到產線上，同時搭配工業相機做位置辨識，如手眼機器人(eye to hand和eye in hand)，其原因就是要配合現在少量多變化的產能需求，達到彈性製造。

為了做到手眼機器人的功能，因有兩個不同座標系(影像座標跟手臂座標)，如下圖所示，因無法直接將影像座標給機器手臂使用，故需使用OpenCV findhomography(單應性矩陣)，找出兩者之間的關係，再利用warpperspective(透視變換)做座標轉換。

又或物體因離相機遠近不同，雖然明明是一樣的距離，但從影像上看卻不一樣長，如下圖的伯朗大道一樣，近的道路很寬，遠的又小到不行。

而Homography其實就是一個3 x 3矩陣，如下圖所示，其中h_9設為常數1，同時可以發現Homography 矩陣尚有八個未知數，而一對影像與機械座標只能求出其中兩個解，表示在實際校正個過程，至少要有四對非共線影像與機械座標才能求出Homography 矩陣。

下列程式碼主要展示從一張有歪斜的影像中，經由座標轉換之後，擷取到一張沒歪斜影像，如下圖所示，左邊為歪斜影像，右邊則是方正影像，不過校正用的四組座標，我並非用影像處理計算而是簡單人員標記，所以可能看起來沒有到完全很正。

程式碼如下：

#include <opencv2/opencv.hpp>

using namespace cv;
using namespace std;

int main(){

	Mat SrcImg1 = imread("SrcImg.jpg", CV_LOAD_IMAGE_COLOR);
	Mat DstImg = Mat::zeros(Size(3500, 1500), CV_8SC1);

	vector PtData1, PtData2;

	PtData1.push_back(Point2f(513,627));
	PtData1.push_back(Point2f(233, 2000));
	PtData1.push_back(Point2f(3877, 2047));
	PtData1.push_back(Point2f(3855, 835));

	PtData2.push_back(Point2f(0, 0));
	PtData2.push_back(Point2f(0, 1500));
	PtData2.push_back(Point2f(3500, 1500));
	PtData2.push_back(Point2f(3500, 0));

	Mat HomogMat = findHomography(PtData1, PtData2, CV_RANSAC);
	warpPerspective(SrcImg1, DstImg, HomogMat, DstImg.size());
	imwrite("DstImg.bmp", DstImg);

	return 0;
}

SrcImg1

DstImg

2020年11月28日星期六

Python with Anaconda and Visual Studio Code

因應這幾年來深度學習熱潮，來介紹一下如何使用Anaconda建立虛擬環境，並搭配使用Visual Studio Code做程式編輯，步驟如下：

步驟1：下載Anaconda，連結為https://www.anaconda.com/products/individual，下載64位元版本

然後下載VS Code，連結為https://code.visualstudio.com/，我自己習慣是下載免安裝版本比較好使用

步驟2：安裝Anaconda，這步驟其實很單純，基本上就是一直下一頁就是了

步驟3：啟動VS Conde後，先到擴充工具安裝Python，這樣後續才能挑選自己想要的直譯器(環境)，如果想要中文介面也可一併下載中文包，如下圖所示。

步驟4：在Anaconda中建立虛擬環境，可根據不同專案需求加入不同package，以避免會互相干擾，例如我想建立一個專門開發OpenCV的虛擬環境，該如何做呢?

步驟4-1：開啟Anaconda Prompt.exe，一般可從windows 開始中找尋Anaconda 資料夾，如下圖所示。

步驟4-2(建立環境)：輸入conda create -n Opencv python=3.6，代表建立一個Opencv虛擬環境，並安裝Python 3.6版本

完成後，系統還會跟你說接下來可以做啥

步驟4-3(啟用環境)：輸入activate Opencv，可發現原本的base變成Opencv，代表我們已經切換環境了

步驟4-4(安裝套件)：輸入conda install --y -c menpo opencv，然後等待安裝完成，此外，還需再安裝opencv-python才能正確使用OpenCV lib，所以再輸入pip install opencv-python，然後慢慢等

步驟4-5(測試)：進入Python 直譯器，並直接將下列程式碼複製貼上測看看(記得貼上時每一行前面不能有空白，不然會出錯)，會直接跑出一個視窗，裡面為一張500 x 500黑色影像，等跑到cv.destroyAllWindows()時再按下Enter就結束了，這樣就能確認OpenCV lib是否有安裝成功。

import numpy as np

import cv2 as cv

img = np.zeros((500, 500, 3), np.uint8)

cv.imshow('Image test', img)

cv.waitKey(1000)

cv.destroyAllWindows()

步驟4-6(停用環境)：輸入conda deactivate 或deactivate，但有些版本下deactivate會出現警告

步驟4-7(刪除環境)：假設有個test環境，輸入conda env remove --name test，就會刪除其環境，如下圖所示

步驟1~4主要介紹如何安裝Anaconda與Visual Studio Code，並建立虛擬環境，而下個步驟則要說明如何用Visual Studio Code做程式碼的修改與測試。

步驟5：開啟Visual Studio Code，選擇一個練習用的資料夾，如TestFolder

新增一個檔案，test.py，然後將剛剛步驟4-5的程式碼貼到此py檔中

再來就是將直譯器設為剛剛建立的虛擬環境OpenCV，如下圖所示。

步驟6：最後，右鍵點選test.py並選擇在終端機中執行Pytone檔案，如果有正常顯示結果，就代表這次環境安裝成功可使用摟，並且未來可直接在Visual Studio Code修改程式碼。

結果：

#opencv #Python #Anaconda #Visual Studio Code

2020年11月22日星期日

OpenCV Image Watch

最近，在閱讀OpenCV文件時，突然發現一個很酷的東西，就是Image watch，這個工具是Microsoft提供給開發者，在除錯的時候能快速的知道每個影像(矩陣)實際長怎樣，換作是我平常的習慣，我都會將想看的影像利用imread存下來後，再利用小畫家或是GIMP去看影像閥值怎樣定最好，但有時候要開來開去也是很麻煩，而Image watch，就能夠在除錯中直接提供影像基本資訊，像是影像長寬、深度、畫面亮暗等。

如果要使用Image watch，可以直接從網路上搜尋image watch vs2013(選擇你對應的版本)，如連結(https://marketplace.visualstudio.com/items?itemName=VisualCPPTeam.ImageWatch)並直接下載，會得到一個ImageWatch.vsix檔案，直接安裝即可。

如果想要確認是否有安裝成功，可以開啟你的Visual studio後，點選工具->擴充功能和更新選項後，如果有看到Image watch已被安裝，就代表完成瞜。

再來就是說明如何使用，先調整為debug模式，並在想查找位置下設中斷點，當執行到中斷點的時候，點選檢視->其他視窗->Image watch，就會調出一個很酷的視窗，如下所示。

能夠藉由這個工具讓你知道目前記憶體已經載入的資訊，此外，滾動滑鼠滾輪能放大影像，並直接看到每個像素亮度大小，如下圖所示。

不過我目前最常只用來看亮度分布而已，其他功能都不太吸引我，哈哈，如果有新的使用心得再分享出來。

備註(參考資料)：

1.http://docs.opencv.org/2.4/doc/tutorials/introduction/windows_visual_studio_image_watch/windows_visual_studio_image_watch.html#windows-visual-studio-image-watch

2020年10月25日星期日

C++ 計算程式的執行時間

平常開發程式的時候，最常被討論的部分就是performance好不好，而一般判定方式就是去計算程式的執行時間。

為了計算程式的執行時間，會使用一個函式其名稱是clock，但使用前要先include time.h才能用，而clock回傳的單位是毫秒(資料型態是double)，若希望單位變成秒，則要再除CLOCKS_PER_SEC才行，此外，為了計算準確的執行時間，會使用Ctrl+F5以最佳效能下做測試。

測試OpenCV 色域轉換所需時間，程式碼如下：

#include <opencv2/opencv.hpp>
#include "time.h"
using namespace cv;
using namespace std;
double StartTime, EndTime;

int main(){

	//讀取影像
	Mat SrcImg = imread("dog.jpg", CV_LOAD_IMAGE_COLOR);
	Mat OutImg;

	//紀錄起始時間點
	StartTime = clock();
	cvtColor(SrcImg, OutImg, CV_BGR2GRAY);
	
	//紀錄結束時間點
	EndTime = clock();

	imshow("OutImg", OutImg);
	waitKey(1000);

	//因為clock回傳的都是ms，所以若要用s顯示則需要除CLOCKS_PER_SEC，CLOCKS_PER_SEC代表1000
	//測試執行時間，通常都是以Ctrl+F5，則能得到最準確的時間
	cout << " Time:" << (EndTime - StartTime) / CLOCKS_PER_SEC << "ms" << endl;
	return 0;
}

2020年9月27日星期日

OpenCV Drawing Functions

這次來介紹OpenCV常用的六個畫圖函式，分別有畫線(line)、畫圓(circle)、畫矩形(rectangle)、畫橢圓(ellipse)、畫多邊形(polylines)、文字顯示(putText)等，說明如下：

--------------------------------------------------------------------------------------------------------------

1.line (InputOutputArray img, Point pt1, Point pt2, const Scalar &color, int thickness=1, int lineType=LINE_8, int shift=0)

img：輸入影像

pt1：起點座標

pt1：終點座標

color：顏色

thickness：預設厚度為1

lineType：預設8連結，選項有LINE_4 (4連結)、LINE_8(8連結) 、LINE_AA (反鋸齒)

shift：預設座標小數點數為0

--------------------------------------------------------------------------------------------------------------

2.circle (InputOutputArray img, Point center, int radius, const Scalar &color, int thickness=1, int lineType=LINE_8, int shift=0)

img：輸入影像

center：圓心座標

radius：半徑

color：顏色

thickness：預設厚度為1

lineType：預設8連結，選項有LINE_4 (4連結)、LINE_8(8連結) 、LINE_AA (反鋸齒)

shift：預設座標小數點數為0

--------------------------------------------------------------------------------------------------------------

3.rectangle (Mat &img, Rect rec, const Scalar &color, int thickness=1, int lineType=LINE_8, int shift=0)
rectangle (InputOutputArray img, Point pt1, Point pt2, const Scalar &color, int thickness=1, int lineType=LINE_8, int shift=0)

img：輸入影像

rect：矩形範圍(矩形左上角x座標,矩形左上角y座標,矩形寬度,矩形高度)

pt1：矩形左上角座標

pt2：矩形右下角座標

color：顏色

thickness：預設厚度為1

lineType：預設8連結，選項有LINE_4 (4連結)、LINE_8(8連結) 、LINE_AA (反鋸齒)

shift：預設座標小數點數為0

除此之外，如果想要繪製旋轉的矩形，則是定義RotateRect，並搭配line一條一條繪製，可參考下列程式碼

--------------------------------------------------------------------------------------------------------------

4.ellipse (InputOutputArray img, const RotatedRect &box, const Scalar &color, int thickness=1, int lineType=LINE_8)
ellipse (InputOutputArray img, Point center, Size axes, double angle, double startAngle, double endAngle, const Scalar &color, int thickness=1, int lineType=LINE_8, int shift=0)

img：輸入影像

rotatedRect：旋轉矩形範圍(Point2f圓心座標, Size2f 矩形寬高,旋轉角度)

center：圓心座標

axes：橢圓長短軸長度的一半

angle：橢圓旋轉角度(請參考下圖，3.2.0版本圖片似乎是錯誤的，所以選3.3.0的圖片說明，註1)

startAngle：繪製起始角度(請參考下圖，註1)

endAngle：繪製結束角度(請參考下圖，註1)

color：顏色

thickness：預設厚度為1

lineType：預設8連結，選項有LINE_4 (4連結)、LINE_8(8連結) 、LINE_AA (反鋸齒)

shift：預設座標小數點數為0

--------------------------------------------------------------------------------------------------------------

5.polylines (InputOutputArray img, InputArrayOfArrays pts, bool isClosed, const Scalar &color, int thickness=1, int lineType=LINE_8, int shift=0)

img：輸入影像

pts：點座標

isClosed：是否為封閉輪廓

color：顏色

thickness：預設厚度為1

lineType：預設8連結，選項有LINE_4 (4連結)、LINE_8(8連結) 、LINE_AA (反鋸齒)

shift：預設座標小數點數為0

--------------------------------------------------------------------------------------------------------------

6.putText (InputOutputArray img, const String &text, Point org, int fontFace, double fontScale, Scalar color, int thickness=1, int lineType=LINE_8, bool bottomLeftOrigin=false)

img：輸入影像

text：欲輸入文字內容

org：文字左下角座標

fontFace：文字類型(請參考下圖，註2)

fontScale：文字大小

color：顏色

thickness：預設厚度為1

lineType：預設8連結，選項有LINE_4 (4連結)、LINE_8(8連結) 、LINE_AA (反鋸齒)

shift：預設座標小數點數為0

--------------------------------------------------------------------------------------------------------------

程式碼如下：

#include <opencv2/opencv.hpp>
using namespace cv;
using namespace std;
int main(){

	Mat SrcImg(500, 500, CV_8UC3, Scalar(0, 0, 0));
	Point StartPt = Point(25, 25), EndPt = Point(475, 475);
	Point TextPt = Point(250, 65), CenterPt = Point(250, 250);
	Size2f RotateSize = Size2f(200, 60);
	int Thickness = 3;

	//line function
	line(SrcImg, StartPt, EndPt, Scalar(0, 255, 0), Thickness, 8, 0);

	//circle function
	circle(SrcImg, CenterPt, 30, Scalar(0, 255, 255), -1, 8, 0);

	//rectangle function
	Rect NormalRect = Rect(25, 25, 100, 100);
	rectangle(SrcImg, NormalRect, Scalar(255, 0, 0), Thickness, 8, 0);
	rectangle(SrcImg, Point(375, 375), EndPt, Scalar(255, 0, 0), Thickness, 8, 0);

	//rotatedRect function
	RotatedRect RotateRect = RotatedRect(CenterPt, RotateSize, 45);
	Point2f Vertices[4];
	RotateRect.points(Vertices);
	for (int i = 0; i < 4; i++)
		line(SrcImg, Vertices[i], Vertices[(i + 1) % 4], Scalar(255, 255, 0), Thickness, 8, 0);

	//ellipse function
	ellipse(SrcImg, CenterPt, Size(RotateSize.width / 2, RotateSize.height / 2), -45, 0, 360, Scalar(255, 0, 255), Thickness, 8, 0);
	ellipse(SrcImg, RotateRect, Scalar(255, 0, 255), Thickness, 8);

	//polylines function
	vector polygons;
	polygons.push_back(Point(25, 125));
	polygons.push_back(Point(125, 125));
	polygons.push_back(Point(125, 375));
	polygons.push_back(Point(375, 375));
	polygons.push_back(Point(375, 475));
	polygons.push_back(Point(25, 475));
	polylines(SrcImg, polygons, true, Scalar(255, 150, 150), Thickness, 8, 0);

	//putText function
	putText(SrcImg, "OpenCV", TextPt, FONT_HERSHEY_COMPLEX, 1.5, Scalar(0, 0, 255), Thickness, 8, false);
	circle(SrcImg, TextPt, 1, Scalar(0, 0, 255), Thickness, 8, 0);

	imshow("SrcImg", SrcImg);

	waitKey(0);
	return 0;
}

結果圖：