視覺相機和紅外熱成像在計算機視覺應(yīng)用中既有優(yōu)點也有缺點。由于不同技術(shù)都擁有局限性，并且通常不會同時發(fā)生，因此組合這些不同類型的圖像可能會有所幫助。在紅外熱圖像中，很難將部分被遮擋的相同溫度的人或物體分開，因為它們具有相同的像素強度。在這種情況下，包括深度信息或顏色邊緣才可以幫助消除歧義。

紅外熱成像儀最常見的組合是熱成像和視覺成像。這是由于視覺相機的低價格和眾所周知的特性，以及隨之而來的隨溫度增加顏色的優(yōu)點。主要的挑戰(zhàn)是如何對齊和融合不同的圖像模式。不同光譜中的亮度水平之間不一定存在任何關(guān)系，因此許多相互信息對齊的方法并不適用。通常，手動選擇對應(yīng)點以計算平面單應(yīng)性，然后使圖像之一變形。目前有依賴邊緣方向之間相關(guān)性的自動對齊技術(shù)，和一種根據(jù)自動檢測的關(guān)鍵點計算單應(yīng)性的方法。

用于幾何校準，鏡頭畸變校正和紅外熱成像對準的標準棋盤方法依賴于色差，并且未經(jīng)任何更改就不能用于熱像儀。當用泛光燈加熱電路板時，顏色發(fā)射率的差異將導(dǎo)致紅外熱圖像的強度差異。然而，通過構(gòu)造兩種不同材料的棋盤可以獲得更清晰的電路板圖案，其熱發(fā)射率和溫度差異很大。這種方法也適用于在不同基材之前使用帶有銑削方格圖案的銅板，以及在塑料板之前使用金屬線的方法。當這些特殊的棋盤被熱風(fēng)槍，吹風(fēng)機或類似設(shè)備加熱時，由于材料的發(fā)射率不同，在紅外熱圖像中將看到清晰的棋盤圖案。同時，由于色差，它在視覺圖像中也是可見的。

圖為人體測溫紅外熱像圖

融合可以在不同級別上進行，通常描述為像素級別，特征級別或決策級別。在像素級融合中，需要對圖像進行空間配準，以便所有圖像的相同像素位置對應(yīng)于現(xiàn)實世界中的相同位置。然后使用融合算法逐個像素地合并圖像。使用特征級融合，可以在所有圖像中單獨找到特征，然后融合到聯(lián)合特征集中。決策級融合遵循單個處理，直到完成對觀察到的場景的評估為止。融合級別的選擇將取決于應(yīng)用。融合可見視頻和紅外熱成像視頻的方法，是將兩個圖像對齊并使用帶有熱量信息的疊加圖像進行組合。一種稱為通用融合模型（像素級別），另一種稱為組合模塊（特征級別）。組合模塊經(jīng)過六個序列測試，具有最佳性能，提出了Curvelet和小波變換的組合，以及用于融合視覺和紅外熱圖像的離散小波包變換方法。使用自適應(yīng)加權(quán)方法，在融合之前能增強每種模態(tài)中的非自然物體。另一種方法是將顏色和熱信息同時保留為新的“紅綠藍熱”視頻格式

紅外熱成像儀的空間分辨率仍然很低，而可獲得最佳分辨率的價格卻很高。與視覺攝像機結(jié)合使用時，使用具有低空間分辨率的熱傳感器仍可以改善監(jiān)視效果。通過融合視覺和熱學(xué)視頻，可以構(gòu)建紅外熱圖像的超分辨率。提出原型使用三個攝像機來組合可見光，NIR和LWIR波段。視覺系統(tǒng)以外的其他傳感器也可以與融合系統(tǒng)中的紅外熱成像儀結(jié)合使用。可以融合紅外熱成像儀和激光掃描儀的數(shù)據(jù)，以獲得可靠的行人檢測并進行跟蹤。也可以融合近紅外傳感器和低分辨率，遠紅外傳感器，以獲得低成本的夜視系統(tǒng)。

融合圖像系統(tǒng)在各個領(lǐng)域都有應(yīng)用。在監(jiān)視系統(tǒng)中，由于需要一種可以在室內(nèi)和室外在白天和黑夜均可工作的強大系統(tǒng)的必要性，使用融合圖像模式是很普遍的。在汽車的監(jiān)視和夜視系統(tǒng)中，都可以通過融合圖像模式來改進對腳步的檢測。尤其是監(jiān)視系統(tǒng)，可以檢測到的人類的注意力領(lǐng)域，并且融合了視覺圖像和熱圖像，以在遠程沉浸式空間中進行可靠的前景檢測。