3D打印盒子攻破百度Apollo系統(tǒng)，讓激光雷達(dá)看不見

來(lái)源：量子位

深度神經(jīng)網(wǎng)絡(luò)容易受到某些對(duì)抗樣本的攻擊，比如圖像分類網(wǎng)絡(luò)，只需在圖中加入一點(diǎn)微小的擾動(dòng)，就能讓它把熊貓當(dāng)成長(zhǎng)臂猿。

如果把對(duì)抗攻擊用在自動(dòng)駕駛汽車上，稍微修改一下路邊的交通標(biāo)志，它就會(huì)犯錯(cuò)。

上面所說(shuō)的對(duì)抗攻擊都是針對(duì)二維圖像。那么用探測(cè)三維物體的激光雷達(dá)（LiDAR）就可以避免這個(gè)問(wèn)題嗎？

來(lái)自密歇根大學(xué)、百度研究院、UIUC的研究人員發(fā)現(xiàn)，一些特殊的3D形狀也會(huì)令激光雷達(dá)受到對(duì)抗攻擊，讓它錯(cuò)誤地把某些物體當(dāng)做行人，甚至視而不見。

這項(xiàng)研究揭示了基于自動(dòng)駕駛系統(tǒng)的潛在漏洞，并提出了一種LiDAR-Adv方法，生成可以在各種條件下逃避激光雷達(dá)檢測(cè)的對(duì)抗物體。

看不見的奇怪盒子

研究人員把兩種不同的盒子擺在路中央：

方形的快遞盒子，自然逃不過(guò)激光雷達(dá)的法眼，自動(dòng)駕駛汽車可以成功識(shí)別并繞過(guò)它。

下面的是研究人員基于LiDAR-Adv用3D打印制造的盒子，在百度的Apollo無(wú)人駕駛平臺(tái)（V2.0）上進(jìn)行測(cè)試，結(jié)果激光雷達(dá)會(huì)把它當(dāng)做是行人。

在其他實(shí)驗(yàn)中，激光雷達(dá)甚至無(wú)法檢測(cè)到75厘米大小的物體。

在Apollo平臺(tái)上進(jìn)行的實(shí)驗(yàn)證實(shí)了，不僅是理論上，現(xiàn)實(shí)世界中的激光雷達(dá)也確實(shí)存在著漏洞。有些奇形怪狀的盒子無(wú)法被激光雷達(dá)“看見”。

生成對(duì)抗樣本

盒子明明就在那里，為什么會(huì)被視而不見呢？激光雷達(dá)并不是直接生成物體的三維圖像，而是掃描空間中的點(diǎn)云（point cloud），將點(diǎn)云饋送到機(jī)器學(xué)習(xí)系統(tǒng)，從而還原出物體。

雖然我們知道激光雷達(dá)的工作原理，但是要生成對(duì)抗樣本并不容易。首先機(jī)器學(xué)習(xí)是一個(gè)黑盒系統(tǒng)，形狀的擾動(dòng)如何影響掃描點(diǎn)云還不清楚；其次點(diǎn)云的預(yù)處理是不可微分的，無(wú)法使用基于梯度的優(yōu)化器。

研究人員提出的LiDAR-Adv解決了上述問(wèn)題。他們模擬可微分的激光雷達(dá)渲染器，將3D對(duì)象的擾動(dòng)連接到激光雷達(dá)掃描的點(diǎn)云；然后使用可微分的代理函數(shù)來(lái)制定3D特征聚合；最后設(shè)計(jì)不同的損失以確保生成3D對(duì)抗物體的平滑度。

在大小為50厘米的物體上，LiDAR-Adv可以達(dá)到71％的攻擊成功率，高于進(jìn)化算法的黑盒攻擊，在更大尺寸的物體上也一樣。

另外LiDAR-Adv生成的對(duì)抗物體還可以改變標(biāo)簽，讓激光雷達(dá)把某些物體誤檢測(cè)為行人。

LiDAR-Adv的實(shí)驗(yàn)結(jié)果足以引起了人們對(duì)激光雷達(dá)系統(tǒng)安全性的擔(dān)憂，百度研究人員希望這項(xiàng)工作能夠揭示潛在的防御方法。