西班牙Xesol Innovation是一家活躍于全球的公司，專門從事人工視覺(jué)和深度學(xué)習(xí)。其產(chǎn)品包括用于更安全的駕駛和道路安全的解決方案。其中一個(gè)解決方案是Drivox Security。這是一個(gè)用于工業(yè)車輛的安全系統(tǒng)。它可以檢測(cè)到行人和車輛前后的物體，以防止碰撞。FRAMOS正在向Xesol提供具有IP66保護(hù)的工業(yè)千兆以太網(wǎng)深度攝像機(jī)，并提供集成支持。

挑戰(zhàn)

內(nèi)部物流對(duì)效率有很高的要求。倉(cāng)庫(kù)通常有許多工業(yè)車輛和叉車在工人和托盤之間快速來(lái)回移動(dòng)。這種高度動(dòng)態(tài)的過(guò)程會(huì)帶來(lái)風(fēng)險(xiǎn)和危險(xiǎn)。司機(jī)通常缺乏經(jīng)驗(yàn)，必須在巨大的時(shí)間壓力下工作。根據(jù)基于神經(jīng)網(wǎng)絡(luò)和人工智能解決方案的西班牙公司 Xesol Innovation 的數(shù)據(jù)，每年有 11 萬(wàn)起叉車事故。除了中斷操作外，這些事故還會(huì)導(dǎo)致人身傷害，有時(shí)甚至導(dǎo)致死亡。

多為碰撞事故，涉及人員被推、沖或被叉車撞到。雖然法律沒(méi)有要求，但倒車警告信號(hào)可以防止許多事故的發(fā)生?？梢詧?zhí)行風(fēng)險(xiǎn)評(píng)估以確定將這些信號(hào)改裝到叉車的必要性和合理性的程度。有多種方法可以檢測(cè)可能觸發(fā)聲音警告信號(hào)的人和物體，例如超聲波系統(tǒng)、紅外技術(shù)和安全激光掃描儀，或基于攝像頭的解決方案。

在深入研究了這個(gè)問(wèn)題之后，Xesol Innovation 決定采用 3D 視覺(jué)系統(tǒng)，因?yàn)槌暡ㄏ到y(tǒng)的分辨率較差，并且?guī)缀鯚o(wú)法區(qū)分人和機(jī)器。反過(guò)來(lái)，基于激光的系統(tǒng)容易受到反射和日光的干擾。另一方面，基于 3D 立體的系統(tǒng)被認(rèn)為是適用于室內(nèi)和室外應(yīng)用的最強(qiáng)大的技術(shù)。除了實(shí)際的深度圖像，它們還可以輸出 RGB 圖像以獲得更好的識(shí)別性能。

新的解決方案

Xesol Innovation 的當(dāng)前解決方案 Drivox Security 由三個(gè)部分組成（見(jiàn)圖 1 和圖 2）：

圖 1：組件（從左到右）：TFT LCD 顯示器、FRAMOS 深度攝像頭（在金屬面板后面）和用于基于 AI 的圖像分析的英特爾處理器單元。

圖 2：叉車中組件的布置：(1) 顯示器，(2) 處理器單元，(3) 攝像頭（前后）。

FRAMOS D435e 攝像頭，安裝在車輛前部和后部用于三維感知，一個(gè)微處理器單元用于基于 AI 的圖像分析，以及一個(gè)作為駕駛員監(jiān)視器的顯示器，它還顯示計(jì)算結(jié)果。如果發(fā)生潛在的碰撞風(fēng)險(xiǎn)，系統(tǒng)會(huì)通過(guò)可見(jiàn)和可聽(tīng)的信號(hào)警告駕駛員。該項(xiàng)目的主要目標(biāo)之一是限制工作環(huán)境中的事故數(shù)量，以防止操作中斷，最重要的是保護(hù)工人的生命。

在這個(gè)項(xiàng)目中，F(xiàn)RAMOS 提供了 rivox Security 的“眼睛”。這家圖像處理產(chǎn)品、嵌入式視覺(jué)技術(shù)、定制解決方案和 OEM 服務(wù)的全球供應(yīng)商開(kāi)發(fā)了一款基于英特爾實(shí)感技術(shù)的工業(yè) GigE 深度攝像頭，讓駕駛員能夠看到他們無(wú)法 100% 看到的區(qū)域相機(jī)。FRAMOS 還支持將攝像頭集成到完整的安全解決方案中。深度技術(shù)和 3D 成像在此應(yīng)用中至關(guān)重要，必須在各種距離、任何姿勢(shì)、位置或環(huán)境中可靠地檢測(cè)人和物體，并評(píng)估各自的危險(xiǎn)。

圖 3：封閉式 FRAMOS D435e 工業(yè)相機(jī)，防護(hù)等級(jí)為 IP66，安裝在駕駛室上（扉頁(yè)）。

Xesol Innovation 是首批使用 FRAMOS 新相機(jī)的客戶之一，該相機(jī)基于英特爾實(shí)感技術(shù)，處于測(cè)試階段。Xesol Innovation 最重要的標(biāo)準(zhǔn)是千兆以太網(wǎng)接口和工業(yè)相機(jī)外殼：這是將 FRAMOS 與標(biāo)準(zhǔn)版英特爾實(shí)感相機(jī)區(qū)分開(kāi)來(lái)的兩個(gè)主要特征。英特爾建議 Xesol Innovation 聯(lián)系 FRAMOS 實(shí)施 RealSense 攝像頭，這是成功開(kāi)發(fā)解決方案的第一步。

FRAMOS 深度相機(jī)

FRAMOS 開(kāi)發(fā)了工業(yè)版 3D 相機(jī)，可以將英特爾技術(shù)的優(yōu)勢(shì)用于惡劣環(huán)境下的工業(yè)視覺(jué)系統(tǒng)。FRAMOS 相機(jī)與英特爾 sdk 配合使用，因此可以輕松地從常規(guī) RS 相機(jī)遷移，而無(wú)需/幾乎不需要重寫代碼。借助高級(jí)圖像分析或 AI 功能，可以屏蔽掉深度圖像中的背景，隱藏遠(yuǎn)處的物體，或者用距離指示器顯示物體等等。深度精度取決于相機(jī)與物體之間的距離、具體地點(diǎn)和照明條件。

英特爾實(shí)感深度模塊是一個(gè)隨時(shí)可用的立體 3D 系統(tǒng)。它通過(guò)計(jì)算立體圖像中的差異來(lái)確定物體的距離。這項(xiàng)技術(shù)需要相當(dāng)大的處理能力，因?yàn)楸仨氂?jì)算兩幅圖像中每個(gè)像素的差異。對(duì)于此應(yīng)用，兩個(gè)相機(jī)必須穩(wěn)定定位和對(duì)焦。因此，英特爾實(shí)感攝像頭經(jīng)過(guò)預(yù)先校準(zhǔn)和精確對(duì)齊。相機(jī)中的內(nèi)部英特爾 D4 處理器執(zhí)行計(jì)算，即負(fù)責(zé)“合并”兩個(gè)圖像。為此，它會(huì)實(shí)時(shí)計(jì)算圖像中每個(gè)像素的視差和相關(guān)深度，以可靠地檢測(cè)物體和人物。相機(jī)中的 IR 投影儀可確保獲得良好的圖像效果，即使場(chǎng)景包含非常少的用于計(jì)算視差的結(jié)構(gòu)，例如平坦的墻壁。來(lái)自 IR 投影儀（紋理生成器）的附加紋理改善了計(jì)算結(jié)果，意味著即使具有統(tǒng)一的結(jié)構(gòu)也可以生成深度圖。

FRAMOS 相機(jī)的外殼提供 IP66 防水、防塵保護(hù)，并有四個(gè) M3 孔，可靈活安裝。它具有可鎖定的千兆位以太網(wǎng) (M12)、電源和 GPIO (M8) 連接器。FRAMOS 為相機(jī)開(kāi)發(fā)了自己的處理器板，以滿足工業(yè)接口要求。該攝像機(jī)還支持 PoE 操作（通過(guò)以太網(wǎng)/PoE 接口進(jìn)行以太網(wǎng)供電）以最大限度地減少布線。其工作溫度范圍介于 0 °C 和 +55°C 之間。

FRAMOS 相機(jī)的主要優(yōu)點(diǎn)簡(jiǎn)要說(shuō)明： 安裝簡(jiǎn)單快速 即插即用 Intel RS SDK 2.0 IP66 防塵和強(qiáng)力噴水。帶 M12 連接器的外殼專為以太網(wǎng)和 PoE 操作而設(shè)計(jì)。最長(zhǎng)電纜長(zhǎng)度可達(dá) 100 m。網(wǎng)絡(luò)技術(shù)允許多攝像機(jī)操作。

結(jié)果

在 Xesol Innovation 的 Drivox Security 中，攝像頭可以完整查看距離叉車 1.0 至 8.0 m 的行人和物體。它以 30 fps 的實(shí)時(shí)流傳輸周圍環(huán)境的圖像，分辨率為 1280 x 720 像素，到叉車的顯示器上（見(jiàn)圖 4）。

圖 4：攝像頭的后方視野；司機(jī)可以看到屏幕上的一切。

駕駛室的屏幕不斷顯示來(lái)自安裝在車輛前后的攝像頭的圖像（見(jiàn)圖 5）。

圖 5：顯示屏上的人員檢測(cè)，帶警報(bào)狀態(tài)。

基于 AI 的視頻流分析在單獨(dú)的微處理器單元中執(zhí)行。Drivox Security 可以檢測(cè)三個(gè)不同檢測(cè)區(qū)域中的行人和障礙物，并指出每種情況下的個(gè)別碰撞風(fēng)險(xiǎn)。這些由用于元素檢測(cè)和識(shí)別的神經(jīng)網(wǎng)絡(luò)以及相應(yīng)的決策算法計(jì)算得出。該軟件針對(duì)特定車輛單獨(dú)配置。

當(dāng)在各個(gè)檢測(cè)區(qū)域識(shí)別到行人或障礙物時(shí)，系統(tǒng)會(huì)發(fā)出可見(jiàn)和/或可聽(tīng)警報(bào)（見(jiàn)圖 6 中的表格）。

圖 6：當(dāng)車輛接近行人或物體時(shí)發(fā)出警報(bào)信號(hào)。

紅色、橙色和黃色代表不同的碰撞風(fēng)險(xiǎn)級(jí)別。該系統(tǒng)能夠可靠地檢測(cè)處于所有可能位置和姿勢(shì)的行人，因此即使通過(guò)“偽裝”方法也無(wú)法勝過(guò)它（見(jiàn)圖 7）。

圖 7：該軟件可靠地檢測(cè)任何姿勢(shì)或位置的人。

優(yōu)點(diǎn)

●工傷事故減少，相關(guān)成本降低

●風(fēng)險(xiǎn)情況檢測(cè)和早期事故預(yù)警

●減少停機(jī)成本

●使用熱圖提高路線規(guī)劃效率

●確定事件/事故增加的關(guān)鍵因素

●提高駕駛時(shí)的安全性

目前正在進(jìn)行調(diào)查以確定是否可以擴(kuò)大相機(jī)的視野。理想的是擁有在深度和更大的水平和/或垂直參數(shù)方面都具有更大視野范圍的相機(jī)。FRAMOS 的專家正在協(xié)助 Xesol Innovation 集成新型工業(yè) 3D 視覺(jué)相機(jī)，尤其是在將 3D 技術(shù)與人工智能（AI 功能）相結(jié)合的應(yīng)用中。