紅外線燈價格（清華博士用小燈泡騙過紅外識別）

作者：朱小佩編輯：好困【新智元導讀】眾所周知，打印一張圖揣身上就能騙過圖像識別，那你知道如何才能騙過紅外識別么？在疫情期間，紅外行人識別系統被廣泛應用。這得益于熱紅外識別的系統的兩個重要的優勢：1.對于溫度敏感，紅外圖像的成像利用了物體的熱

作者：朱小佩

編輯：好困

【新智元導讀】眾所周知，打印一張圖揣身上就能騙過圖像識別，那你知道如何才能騙過紅外識別么？

在疫情期間，紅外行人識別系統被廣泛應用。

這得益于熱紅外識別的系統的兩個重要的優勢：

1. 對于溫度敏感，紅外圖像的成像利用了物體的熱輻射，所以可以反映出物體的溫度，這一特性對于人體的非接觸式測溫具有重要的應用。

2. 紅外成像具有一定的「透視」特性，即使人體被一些衣物遮擋，但是熱輻射依然可以透過衣物被接收器感知到，所以可以透過遮擋進行成像。

盡管目前紅外行人檢測系統被廣泛使用，但是很少有人去關注該系統的安全隱患。

今年，來自清華大學的研究團隊就提出了一項基于小燈泡的物理攻擊方法。相關論文發表在AAAI2021會議上（Zhu et al. Fooling Thermal Infrared Pedestrian Detectors in Real World Using Small Bulbs）。相關技術已經申請國家發明專利。

以下就是一個例子，從圖中我們看到，持有小燈泡板子的人成功地逃避了檢測器的檢測，而持有空白板子和不帶任何東西的人卻被檢測器檢測到。

研究背景

近年來，對抗樣本的研究越來越引起人們的重視。在數字空間中，研究者發現，通過設計特定的噪聲，神經網絡會以很高的置信度對圖像進行了錯誤的分類，而且這種噪聲人眼不易察覺。更進一步地，人們發現對抗樣本也可以在現實世界中產生威脅。

例如，一個3D打印的烏龜，當其表面裝飾有對抗性的紋理之后，會被神經網絡誤認為是一個來福槍。對抗樣本除了可以干擾分類模型，也可以干擾目標檢測模型，例如，一張打印出來的對抗性紙張，可以成功地欺騙目標檢測器YOLOv2，使得其檢測不到行人。

但目前幾乎所有的關于對抗樣本的研究都集中在可見光領域。而對于紅外領域的研究還處于空白階段。與可見光的圖像（三通道）相比，紅外圖像只有一個灰度通道，而且紅外圖像的紋理信息遠遠少于可見光的信息。

另外，為了實現物理攻擊，紅外圖像不能像可見光圖像一樣，直接通過激光打印機打印到一張紙上。因此，如何在物理世界中顯示特定的圖案是一件困難的事情。

研究方法

既然不能用「打印」的方式實現熱圖像，這時候作者另辟蹊徑。可否利用發熱物體本身的熱圖作為基本模塊，然后去優化模塊的位置。作者于是考察了多種電子元件，包括二極管，電阻等等。

最后發現了一個看似簡單卻十分好用的器件——小燈泡！因為小燈泡所成的熱紅外圖像十分接近于一個二維高斯函數。

那么這個猜想是否成立呢，作者對小燈泡的紅外圖像進行了數學分析。

在拍攝了單個燈泡的紅外圖像之后，嘗試用一個二維的高斯函數來建模和擬合。函數擬合后發現，二維高斯函數可以很好地擬合燈泡的紅外圖像。

有了基本的單元之后，作者就想到，可以構建一個正方形的平面，平面上有多個符合二維高斯分布的「光斑」，這些光斑的位置就可以是優化變量，通過優化，就有可能能找到一個具有對抗特性的圖案。

而這個圖案，恰好可以與物理世界一一對應，正方形平面對應于一塊板子，而數字世界的「光斑」，就是對應于物理世界中小燈泡的成像效果。

此時整個的優化流程就清晰了，首先在數字世界，首先構建一個帶有多個「光斑」的patch，將它「貼」到紅外數據集中的行人上面，同時作者也在數字世界模擬了物理世界的一些擾動，例如噪聲，亮度變化，平移，旋轉等等。這使得patch的魯棒性進一步提高。

優化的目標函數包括檢測器的物體置信度輸出以及patch光滑度的和。通過反向傳播來優化patch上「光斑」的位置，直到找到一個最優的圖案。

而當數字世界驗證好以后，就可以通過小燈泡將此圖案在物理世界中實現，從而達到在物理世界中攻擊紅外行人檢測器的目的。

實驗結果

思路明確了，那么實驗的效果如何呢？

實驗結果表明，數字世界中基于二維高斯函數的patch可以成功地使得YOLOv3檢測器的AP (Average Precision) 降低了64.12%。

注意到與之對比的同樣大小的隨機噪聲patch和空白的patch僅使得檢測器性能分別降低了25.05%和29.69%。

下面給出了一個具體的例子，可以看到，在數字空間中作者設計的patch可以成功躲避行人檢測器。而與之對比的放有blank patch，random noise patch以及什么都不放的人卻被檢測到了。

接下來作者進行了物理實驗。

以下左圖是實際制造出來的裝有小燈泡的板子，而右圖是這個板子的紅外熱圖像與模擬的數字圖像的對比。

作者招募了若干名志愿者，在相同的環境下，測試優化后的小燈泡板子對紅外行人檢測器的對抗效果。對照組包含了使用空白的板子以及什么都不帶的情況。

計算結果表明，在物理世界中，優化后的小燈泡板子可以使得YOLOv3檢測器的AP降低了34.48%，而同樣大小的空白板子僅僅使得檢測器的性能下降了14.91%。

以下給出了一組具體的例子，由圖中可以看到，在相同的條件下，使用了優化后的小燈泡板子的人沒有被YOLOv3檢測到，而持有空白板子以及什么都不帶的人，被YOLOv3檢測到了。

這表明，經過優化后的小燈泡板子可以成功攻破紅外行人檢測器。

上文中作者都是針對YOLOv3檢測模型進行攻擊，那么進一步的問題就是，生成的對抗樣本能否遷移到其他檢測模型上去。

一開始，作者采用了直接進行遷移攻擊的方式，結果確不如人意。實驗表明，通過YOLOv3模型生成的對抗patch直接遷移攻擊，僅使得Cascade RCNN和RetinaNet的AP分別降低了11.60%和25.86%。

這時候作者想到了黑盒攻擊的經典辦法，模型集成。簡而言之，就是集成多種模型來生成對抗樣本，這樣生成的對抗樣本，由于已經綜合了不同類型模型的信息，所以具有更好的遷移到未知模型的能力。

作者在實驗中，集成了三種經典的目標檢測模型，包括YOLOv3，Faster-RCNN和Mask-RCNN。集成之后生成的對抗patch，可以使得Cascade-RCNN和RetinaNet的AP分別降低了35.28%和46.95%。

由此可見，集成攻擊的效果相比于直接遷移攻擊有了大幅度的提高。

總結和展望

本文首次提出了針對紅外行人檢測系統進行物理攻擊的方法。作者在數字世界中基于二維高斯函數構建對抗性的patch，并在物理世界中用小燈泡實現了對抗性的板子。

經過優化之后的對抗性板子可以成功地攻擊YOLOv3模型。作者進一步采用集成攻擊的方法，提高了對未知模型的遷移攻擊能力。該

研究揭示了目前廣泛使用的紅外目標檢測模型可能存在安全隱患，作者表示下一步的研究工作就是研究防御對抗樣本的方法，這對于提升紅外行人檢測系統的安全性具有重要意義。

作者簡介

本文的第一作者是來自于清華大學集成電路學院2018級的直博生朱小佩。他目前的研究方向是計算機視覺、對抗樣本和目標檢測。

本文的通訊作者是清華大學集成電路學院的王喆垚教授和清華大學計算機系的胡曉林副教授。

參考資料：

https://arxiv.org/abs/2101.08154