你的位置:首頁 > 傳感技術(shù) > 正文

高性能標(biāo)準(zhǔn)CMOS傳感器應(yīng)用于3D視覺、感測和度量

發(fā)布時(shí)間:2020-12-16 來源:Teledyne e2v 責(zé)任編輯:wenwei

【導(dǎo)讀】3D成像技術(shù)早在數(shù)十年前已經(jīng)出現(xiàn),但是民用化產(chǎn)品卻只在2000年代才推出市場,那時(shí)主流電影企業(yè)發(fā)布利用高清攝影機(jī)拍攝的3D電影。從那時(shí)開始,這一應(yīng)用范圍里,不論在速度、精度和3D圖像分辨率都有飛躍進(jìn)展,并且獲得從消費(fèi)性市場到機(jī)器視覺工業(yè)的廣泛應(yīng)用。
 
隨著工業(yè)4.0變革來臨,面對(duì)諸如復(fù)雜的物件辨識(shí)和尺寸量度任務(wù),以至人機(jī)互動(dòng)所需要的復(fù)雜互動(dòng),2D視覺在精度和距離測量方面均出現(xiàn)技術(shù)限制,市場對(duì)3D視覺的需求因而與日俱增。
 
3D視覺能提高機(jī)器人/機(jī)器系統(tǒng)在工業(yè)自動(dòng)化應(yīng)用的自主性和效率,提供2D視覺不能比擬的高精度質(zhì)量檢測,反向工程和物件度量等關(guān)鍵能力。另一方面,視覺系統(tǒng)導(dǎo)向機(jī)器人的應(yīng)用正在增長中,這一技術(shù)需要3D視覺來實(shí)現(xiàn)更好的遙距導(dǎo)向、障礙物辨識(shí)和精確移動(dòng)。
 
3D視覺也能保護(hù)需要大量人機(jī)互動(dòng)的工廠工人,在系統(tǒng)級(jí)預(yù)防和排除危險(xiǎn)狀況,并通過監(jiān)控系統(tǒng),點(diǎn)算工場工人數(shù)目并把工人和機(jī)器人或物件分辨出來。
 
3D視覺的能力能夠?qū)崿F(xiàn)更安全、性能更好和更高效的終端用戶輔助系統(tǒng),正在對(duì)社會(huì)帶來影響力。舉個(gè)例子,3D視覺已成為無人駕駛車輛的先進(jìn)自動(dòng)駕駛者輔助系統(tǒng)和人機(jī)合作機(jī)器人等應(yīng)用的關(guān)鍵技術(shù)。
 
2D視覺在條形碼掃描或光學(xué)字體辨識(shí)等應(yīng)用的功用是無可置疑的。它在工廠或倉庫應(yīng)用有不可或缺的角色,而隨著區(qū)塊煉技術(shù)的引進(jìn)和電商市場發(fā)展,它在物流中心和運(yùn)輸應(yīng)用有顯著的增長。Teledyne e2v 擁有專為條形碼掃描而設(shè)計(jì)的2D 成像產(chǎn)品,例如是集合高性能和能夠?qū)崿F(xiàn)高可靠性高速掃描的Snappy 傳感器系列。
 
3D圖像的生成有好幾種技術(shù)和科技。主流技術(shù)計(jì)有:
?
●    立體視覺: 使用兩部相機(jī)從不同角度對(duì)準(zhǔn)主體,并使用校準(zhǔn)技術(shù)把相機(jī)和具體深度信息之間的像素信息對(duì)齊。這類似于人類腦部目測距離的工作。
●    結(jié)構(gòu)化光線: 把一個(gè)已知的光線圖案投射到主體上,然后根據(jù)圖案在主體上的扭曲狀況,計(jì)算深度信息。
●    激光三角測量:激光三角測量通過將一部相機(jī)和一個(gè)激光光源配對(duì),實(shí)現(xiàn)三維測量。系統(tǒng)根據(jù)激光光源和相機(jī)之間已知的角度偏距,以三角幾何理論量度出激光線的幾何抵銷(數(shù)值與主體的高度成比例)。這是一項(xiàng)基于掃描主體的技術(shù)。
●    飛行時(shí)間:一個(gè)光源與一個(gè)圖像傳感器同步,根據(jù)發(fā)出脈沖光線和光線反射回饋到傳感器的時(shí)間計(jì)算出距離。
 
每一種技術(shù)都有它的優(yōu)缺點(diǎn),所以技術(shù)的適用程度取決于應(yīng)用類型(其中距離范圍和深度精度要求是重點(diǎn))。表一列出了相對(duì)不同條件的技術(shù)比較。
 
高性能標(biāo)準(zhǔn)CMOS傳感器應(yīng)用于3D視覺、感測和度量
表 1  3D 成像技術(shù)“頂層”比較
 
雖然3D系統(tǒng)仍然占工業(yè)自動(dòng)化和倉庫應(yīng)用視覺系統(tǒng)的一小部分,現(xiàn)在越來越多基于3D立體視覺、結(jié)構(gòu)光線或激光技術(shù)的3D系統(tǒng)正在引進(jìn)中。這些系統(tǒng)有固定的工作距離,需要大量校準(zhǔn)工作以實(shí)現(xiàn)特定的偵測范圍。而飛行距離系統(tǒng)則能解決這些挑戰(zhàn),并從應(yīng)用角度提供更高靈活性,不過圖像分辨率仍然是大部分這類技術(shù)面對(duì)的制肘。
 
Teledyne e2v在機(jī)器視覺擁有長遠(yuǎn)的成功歷史,例如是線陣相機(jī)和影像傳感器,而近期則積極打造用于3D成像的專用平臺(tái)。這一平臺(tái)將支持最新的工業(yè)應(yīng)用,包括視覺導(dǎo)引機(jī)器人、物流應(yīng)用自動(dòng)化無人車輛、工廠監(jiān)控和安全、手持式掃描儀以及戶外應(yīng)用。Teledyne e2v致力長期提供基于多種3D技術(shù)的產(chǎn)品,以滿足客戶應(yīng)用的需求。
 
3D 視覺實(shí)現(xiàn)高速準(zhǔn)確檢測提高產(chǎn)能,表現(xiàn)超越2D
 
工廠已進(jìn)入自動(dòng)化工作,以提高產(chǎn)能和在產(chǎn)品查驗(yàn)和庫存的方方面面節(jié)省時(shí)間和金錢。要優(yōu)化這些因素,擁有視覺系統(tǒng)的機(jī)器需要更高速和以更佳性能工作。
 
因應(yīng)這些發(fā)展,2D視覺遇上了限制,使得3D視覺被廣泛引進(jìn),以實(shí)施更高精度的質(zhì)量檢驗(yàn),反向工程或物件量度任務(wù)。三角測量技術(shù)正在這些應(yīng)用中獲大量使用,鑒于三軸圖像要求高分辨率,需要非常高速的的傳感器。
 
高性能標(biāo)準(zhǔn)CMOS傳感器應(yīng)用于3D視覺、感測和度量
圖 1  激光三角測量應(yīng)用范例
 
自十多年前起, Teledyne e2v已經(jīng)和3D三角測量的市場領(lǐng)導(dǎo)者一同工作,以開發(fā)訂制化傳感器。去年Teledyne e2v 發(fā)布了能配合高速尺寸測量和查檢技術(shù)挑戰(zhàn)的標(biāo)準(zhǔn)傳感器,以滿足高速生產(chǎn)線的要求。
 
這一快閃 CMOS傳感器系列很好地組合了一個(gè) 4,096 x 1,024像素分辨率和一個(gè)2,048 x 1,024 像素傳感器,二者的幀率分別為1800 fps 和 1500 fps (8 位) ,兼容標(biāo)準(zhǔn)光學(xué)格式(APS兼容和 C-Mount),讀出速度分別為61.4 Gbps 和 25.6 Gbps。
 
新型的傳感器設(shè)計(jì)用于為相機(jī)生商實(shí)現(xiàn)輕松和高性價(jià)比的集成解決方案,包括提供一系列片上功能,已達(dá)到寬廣應(yīng)用范圍以及高靈活性:
?
●    高達(dá)100dB的高動(dòng)態(tài)范圍(HDR)模式,實(shí)現(xiàn)對(duì)同一影象里的高反光表面和陰暗范圍進(jìn)行測量和查驗(yàn)
●    多重取景窗口(Region of Interest,ROI)模式兼顧高測量速度和范圍/分辨率
●    個(gè)別參數(shù)提供幀間“熱”配置模式有助于實(shí)現(xiàn)靈活性和對(duì)環(huán)境條件的實(shí)時(shí)適配 
●    多種曝光觸發(fā)模式能夠完全配合生產(chǎn)線速度
 
這些傳感器能夠?yàn)楣I(yè)市場提供以下優(yōu)勢:
?
●    以2K或4K分辨率實(shí)現(xiàn)市場最高速率,提高產(chǎn)能
●    高性價(jià)比系統(tǒng): Flash產(chǎn)品系列提供高性價(jià)比(市場最佳Gbps/售價(jià)比率)
●    允許對(duì)實(shí)時(shí)環(huán)境條件和生產(chǎn)線速度作出適應(yīng),實(shí)現(xiàn)高靈活性應(yīng)用
 
3D 視覺提高工廠自主性和效率,性能超越2D 
 
為了改進(jìn)工廠自動(dòng)化的自主性和效率,無人操作機(jī)器人的應(yīng)用正在不斷增加。隨著工廠和倉庫自動(dòng)化程度越來越高,車間出現(xiàn)了人機(jī)密集工作,因而防止事故和提高安全度成為至關(guān)重要的任務(wù)。
 
在這些日益多變的工作環(huán)境里,飛行時(shí)間(Time-of-Flight,ToF)系統(tǒng)成為理想的解決方案,因?yàn)樗鼈儞碛袑?shí)時(shí)3D信息和決策能力,以及能夠在快速移動(dòng)的場景中偵測出物件或人員。
 
飛行時(shí)間技術(shù)可分為兩大類:直接飛行時(shí)間和間接飛行時(shí)間。
 
直接飛行時(shí)間是指系統(tǒng)通過直接計(jì)算光線從物件反射的時(shí)間量度出距離。 
 
而間接飛行時(shí)間則是系統(tǒng)通過計(jì)算光波發(fā)射到物件以及從對(duì)像反射的相位差異而得出距離,從而建立3D圖。 
 
高性能標(biāo)準(zhǔn)CMOS傳感器應(yīng)用于3D視覺、感測和度量
圖2 直接飛行時(shí)間和間接飛行時(shí)間的優(yōu)缺點(diǎn)比較
 
間接飛行時(shí)間 – 相移
 
優(yōu)點(diǎn)
?
●    全速(多相像素)
●    背景去除,兼容戶外環(huán)境
●    低軟件復(fù)雜性
 
缺點(diǎn)
 
●    混疊
 
直接飛行時(shí)間 – 脈沖重建
 
優(yōu)點(diǎn)
 
●    無混疊
●    無錯(cuò)誤距離測量(不受霧水、塵埃、多路反光影響)
 
缺點(diǎn)
 
●    嚴(yán)苛的速度要求(光脈沖速度以納秒計(jì)算)
●    相對(duì)高的計(jì)算復(fù)雜性
 
Teledyne e2v提供采用訂制化傳感器的直接飛行時(shí)間系統(tǒng),以及使用完整標(biāo)準(zhǔn)產(chǎn)品的間接飛行時(shí)間系統(tǒng)。
 
Teledyne e2v 在飛行時(shí)間技術(shù)和解決方案上有超過10年的經(jīng)驗(yàn),并以在用于自動(dòng)化、機(jī)器人、汽車和監(jiān)控工業(yè)專有傳感器方面的成功范例為基礎(chǔ),實(shí)現(xiàn)創(chuàng)新飛行時(shí)間像素的強(qiáng)大能力。
 
我們的標(biāo)準(zhǔn)飛行時(shí)間傳感器通過以下特點(diǎn),對(duì)應(yīng)客戶需求:
?
●    高空間分辨率,實(shí)現(xiàn)大視場范圍和高角度分辨率
●    快速實(shí)時(shí)無運(yùn)動(dòng)模糊3D測定,在全分辨率下實(shí)現(xiàn)超過30fps深度圖
●    提供近、中、遠(yuǎn)距離偵測和管理 
●    能在任何環(huán)境條件實(shí)現(xiàn)超高可靠度測距:具有在環(huán)境光條件下的出色高精度和強(qiáng)大功能,以及多系統(tǒng)工作
 
飛行時(shí)間技術(shù)處理復(fù)雜環(huán)境工作
 
相較其它3D技術(shù),飛行時(shí)間具有快速、簡單、低成本,以及在中至遠(yuǎn)距離提供出色的3D性能的特點(diǎn)。
 
再者,正如上文提及,飛行時(shí)間技術(shù)具有高靈活性 – 由于它無需按設(shè)定校準(zhǔn)(如工廠校準(zhǔn)),因而可以固定在活動(dòng)機(jī)器人上。系統(tǒng)也可以適應(yīng)任何工作設(shè)定,使得飛行時(shí)間系統(tǒng)很好的配合復(fù)雜的環(huán)境和條件工作。
 
以下是一些飛行時(shí)間在工廠或倉庫應(yīng)用的的最適用范例:
 
高性能標(biāo)準(zhǔn)CMOS傳感器應(yīng)用于3D視覺、感測和度量
圖 3 飛行時(shí)間應(yīng)用范例
 
●    量度箱子或包裝的外形尺寸和體積:飛行時(shí)間系像系統(tǒng)能夠量度箱子或包裝的尺寸和體積,以便于最有效裝盤或集運(yùn)(優(yōu)化裝箱和貨車載荷)或提高產(chǎn)線效率
●    用于智能高效倉存管理的貨件識(shí)別:相較于2D傳統(tǒng)成像處理系統(tǒng),飛行時(shí)間成像系統(tǒng)能夠以更短的時(shí)間檢測貨件或包裝尺寸
●    抓取與放置:飛行時(shí)間系統(tǒng)檢測和識(shí)別合適的物件進(jìn)行抓取,并放置到合適的位置,相較使用2D傳統(tǒng)成像處理系統(tǒng),可實(shí)現(xiàn)更高準(zhǔn)確性和更短時(shí)間。
 
與市場現(xiàn)有產(chǎn)品相比, Bora傳感器(Teledyne e2v去年發(fā)布產(chǎn)品)為需要為固定物件進(jìn)行分析的應(yīng)用提供獨(dú)特的優(yōu)勢。這一款傳感器具有1.3MP高分辨率,能夠以2D和3D擷取具有寬廣視場的大面積現(xiàn)場,實(shí)現(xiàn)高性價(jià)比的優(yōu)化系統(tǒng)。我司所有飛行時(shí)間傳感器均設(shè)計(jì)用于高靈活性應(yīng)用,可適應(yīng)不同的工作條件并提供具有深度圖的實(shí)時(shí)3D影像擷取,并在全分辨率下以四相工作實(shí)現(xiàn)超過30fps的高速度。
 
Bora傳感器的功能亮點(diǎn): 
 
●    創(chuàng)新10µm 像素設(shè)計(jì)
●    1,280 x 1,024 像素空間分辨率
●    卓越的靈敏度和獨(dú)有的片上門控全局快門模式,實(shí)現(xiàn)最快42ns 門控時(shí)間
 
飛行時(shí)間系統(tǒng)助力機(jī)器人在工廠環(huán)境以及其它應(yīng)用中無人操控安全工作,比其它3D技術(shù)提供更多優(yōu)勢
 
高性能標(biāo)準(zhǔn)CMOS傳感器應(yīng)用于3D視覺、感測和度量
圖4  機(jī)器人導(dǎo)向應(yīng)用范例
 
今日的導(dǎo)向系統(tǒng)大多使用傳統(tǒng)激光雷達(dá)(Lidar)掃描儀和偵測物件,但由于它們有一些缺點(diǎn),使得有越來越多使用如非直接飛行時(shí)間等其它技術(shù)的解決方案。相較于傳統(tǒng)激光雷達(dá)(Lidar)掃描儀,非直接飛行時(shí)間系統(tǒng)能提供實(shí)時(shí)影像信息,并有快速響應(yīng)時(shí)間和無運(yùn)動(dòng)模糊的特點(diǎn)。由于它們不含機(jī)械部件,因而也有性能更強(qiáng)大、緊湊尺寸的特點(diǎn)。而固態(tài)設(shè)計(jì)更低功耗和更少計(jì)算的特點(diǎn)則可實(shí)現(xiàn)低成本。
 
高性能標(biāo)準(zhǔn)CMOS傳感器應(yīng)用于3D視覺、感測和度量
表 2. 傳統(tǒng)Lidar 與非直接飛行時(shí)間“頂層”比較
 
在上述的應(yīng)用中,飛行時(shí)間系統(tǒng)能解決不少挑戰(zhàn)。系統(tǒng)需要處理從10米起的短、中、長距離測量,速度也要足夠的快以避免產(chǎn)生瑕疵(現(xiàn)在市場上大部分飛行時(shí)間解決方案均集中于最大5-6米的短距踓)。另外,系統(tǒng)有可能需要在不同光線變化的條件下工作,例如機(jī)器人在工廠或倉庫到處移動(dòng)工作,但不會(huì)對(duì)同一區(qū)域內(nèi)的其它機(jī)器人構(gòu)成障礙。
 
2020年7月, Teledyne e2v 發(fā)布了 Hydra3D傳感器,它是市場同級(jí)最佳飛行時(shí)間傳感器,它的創(chuàng)新的像素和高度靈活配置,實(shí)現(xiàn)非常高的動(dòng)態(tài)范圍,為應(yīng)用提供直觀技術(shù),以完美應(yīng)付各種工作條件。Hydra3D 具有832 x 600像素分辨率,10µm三內(nèi)存節(jié)點(diǎn)像素,允許最高3D性能水平,包括高深度分辨率,高速度和靈活工作條件。
 
高性能標(biāo)準(zhǔn)CMOS傳感器應(yīng)用于3D視覺、感測和度量
 
Hydra3D 的創(chuàng)新多內(nèi)存節(jié)點(diǎn)像素能夠提供重建3D圖像所需的三個(gè)相位,有助于在快速移動(dòng)場景中擷取無運(yùn)動(dòng)模糊的精準(zhǔn)3D信息。
 
三內(nèi)存節(jié)點(diǎn)像素提供在單幀中建構(gòu)3D圖所需的多相位信息擷取和存儲(chǔ)能力,無需像其它非直接飛行時(shí)間技術(shù)般使用多幀技術(shù)。這一技術(shù)在快速移動(dòng)場景應(yīng)用避免任何運(yùn)動(dòng)模糊是非常強(qiáng)大的功能。這類似于2D視覺技術(shù)中全局快門和卷閘快門的差異。 
 
三內(nèi)存節(jié)點(diǎn)像素能夠以單個(gè)光脈沖擷取所有相位,實(shí)現(xiàn)光能優(yōu)化使用。在下圖的應(yīng)用實(shí)例中,幀率保持不變,使得平均功耗大大減小。不過光能取決于高幀率或高精度 (配合多重捕獲)。
 
高性能標(biāo)準(zhǔn)CMOS傳感器應(yīng)用于3D視覺、感測和度量
圖 5 單內(nèi)存節(jié)點(diǎn)與三內(nèi)存節(jié)點(diǎn)比較圖
 
Hydra3D 傳感器的其它優(yōu)勢包括配置靈活性和多重片上功能。例如強(qiáng)大的片上高動(dòng)態(tài)范圍(HDR)功能配合高幀率和靈活配置,允許用戶對(duì)距離范圍、物件反光度、幀率等進(jìn)行權(quán)衡,以及面向環(huán)境光的強(qiáng)大效能。而用于強(qiáng)大的多重飛行時(shí)間系統(tǒng)工作的獨(dú)特片上功能則讓異步系統(tǒng)同步工作而不互相干擾。
 
Hydra3D 傳感器的主要特征如下: 
 
高性能標(biāo)準(zhǔn)CMOS傳感器應(yīng)用于3D視覺、感測和度量
 
CCD 年代的時(shí)間飛行
 
時(shí)間飛行的影象處理是相較傳統(tǒng)2D視覺系統(tǒng)更復(fù)雜的技術(shù)。它涉及光學(xué)和照明系統(tǒng),取決于多個(gè)參數(shù)(如傳感器或視場、工廠校準(zhǔn)、專有傳感器配置) 以便于完全配合應(yīng)用需求。
 
我們經(jīng)常把時(shí)間飛行傳感器和CCD傳感器比較,因?yàn)閺?fù)雜的設(shè)定需要在系統(tǒng)級(jí)投放大量力量以集成傳感器,應(yīng)用設(shè)定的控制因而 成為關(guān)鍵因素。
 
基于我們在飛行時(shí)間ToF CMOS傳感器的專門技術(shù)以及與客戶的緊密工作,Teledyne e2v獲得關(guān)于飛行時(shí)間系統(tǒng)的原生挑戰(zhàn)的深厚經(jīng)驗(yàn)。為了幫助客戶加快上市時(shí)間和獲得適合應(yīng)用要求的最佳飛行時(shí)間系統(tǒng),我們提供從CMOS影像傳感器到訂制相機(jī)模式等一系列技術(shù)解決方案,涵蓋完整系統(tǒng)到系統(tǒng)集成支持。這包括了一個(gè)使用我們的評(píng)估平臺(tái)的參考設(shè)計(jì),照明和光學(xué)評(píng)估,肉眼安全考慮,建模和仿真、算法和校準(zhǔn)。
 
高性能標(biāo)準(zhǔn)CMOS傳感器應(yīng)用于3D視覺、感測和度量
圖 6  Teledyne-e2v 的飛行時(shí)間技術(shù)和能力可達(dá)到系統(tǒng)級(jí)
 
總結(jié)
 
隨著工廠和物流倉庫進(jìn)入自動(dòng)化年代,帶動(dòng)了高效無人操作工業(yè)系統(tǒng)的需求,特別是用于導(dǎo)向機(jī)器人和機(jī)器(用于物件辨識(shí),導(dǎo)向,高速和精準(zhǔn)度)的3D視覺技術(shù)。市場上存在多種3D技術(shù),每種各有優(yōu)缺點(diǎn)和配合技術(shù),大部分取決于應(yīng)用需求。所有的這些技術(shù)都需要具有精密功能的高效傳感器。
 
Teledyne e2v擁有與市場領(lǐng)先廠商合作的成功案例,并提供包括3D視覺的廣泛獨(dú)有解決方案系列,以服務(wù)諸如工廠自動(dòng)化、物流和測量應(yīng)用。我們在高性能CMOS影像傳感器的獨(dú)有技術(shù)(集成先進(jìn)像素和獨(dú)特功能) 結(jié)合超過10年的在飛行時(shí)間系統(tǒng)的具體經(jīng)驗(yàn),助力我們幫助客戶解決3D視覺方面的種種挑戰(zhàn)。
 
 
推薦閱讀:
 
您是否在準(zhǔn)確測定氮化鎵器件的皮秒量級(jí)上升時(shí)間?
工業(yè)電機(jī)控制系統(tǒng)方案觸手可及
集成的門極驅(qū)動(dòng)器實(shí)現(xiàn)電隔離的運(yùn)行優(yōu)勢
加快開發(fā)智能家居、工業(yè)物聯(lián)網(wǎng)等藍(lán)牙低功耗網(wǎng)狀網(wǎng)絡(luò)應(yīng)用的RSL10 Mesh平臺(tái)
可穿戴市場喜迎生物醫(yī)學(xué)“多面手” 
特別推薦
技術(shù)文章更多>>
技術(shù)白皮書下載更多>>
熱門搜索
?

關(guān)閉

?

關(guān)閉