本文作者：Sally Ward-Foxton
計(jì)算機(jī)視覺(jué)是否會(huì)再次自我改造？
匹茲堡大學(xué)眼科教授、CMU 機(jī)器人研究所兼職教授 Ryad Benosman 認(rèn)為確實(shí)如此。作為基于事件的視覺(jué)技術(shù)的創(chuàng)始人之一，Benosman 預(yù)計(jì)神經(jīng)形態(tài)視覺(jué)——基于基于事件的相機(jī)的計(jì)算機(jī)視覺(jué)——將成為計(jì)算機(jī)視覺(jué)的下一個(gè)方向。
“計(jì)算機(jī)視覺(jué)已經(jīng)被重新發(fā)明了很多很多次，”Benosman說(shuō)?！拔乙呀?jīng)看到它至少重新發(fā)明了兩次。”
Benosman 提到了 1990 年代從帶有一點(diǎn)攝影測(cè)量的圖像處理到基于幾何的方法的轉(zhuǎn)變，然后是今天機(jī)器學(xué)習(xí)的快速發(fā)展。盡管發(fā)生了這些變化，現(xiàn)代計(jì)算機(jī)視覺(jué)技術(shù)仍然主要基于圖像傳感器——產(chǎn)生類似于人眼所見(jiàn)圖像的相機(jī)。
根據(jù) Benosman 的說(shuō)法，在圖像傳感范式不再有用之前，它會(huì)阻礙替代技術(shù)的創(chuàng)新。高性能處理器（例如 GPU）的發(fā)展推遲了尋找替代解決方案的需要，因此延長(zhǎng)了這種影響。
“我們?yōu)槭裁磳D像用于計(jì)算機(jī)視覺(jué)？這是一個(gè)價(jià)值百萬(wàn)美元的問(wèn)題，”他說(shuō)?！拔覀儧](méi)有理由使用圖像——這只是因?yàn)闅v史的動(dòng)力。甚至在沒(méi)有相機(jī)之前，圖像就有動(dòng)力?！?/p>圖像相機(jī)
自從公元前五世紀(jì)針孔相機(jī)出現(xiàn)以來(lái)，圖像相機(jī)就一直存在到 1500 年代，藝術(shù)家們使用房間大小的設(shè)備將房間外的人或風(fēng)景的圖像追蹤到畫(huà)布上。多年來(lái)，這些畫(huà)被替換為膠片來(lái)記錄圖像。數(shù)碼攝影等創(chuàng)新最終使圖像相機(jī)很容易成為現(xiàn)代計(jì)算機(jī)視覺(jué)技術(shù)的基礎(chǔ)。
然而，Benosman 認(rèn)為，基于圖像相機(jī)的計(jì)算機(jī)視覺(jué)技術(shù)效率極低。他的比喻是中世紀(jì)城堡的防御系統(tǒng)：位于城墻周圍的衛(wèi)兵四處尋找接近的敵人。鼓手穩(wěn)定地敲打，每一個(gè)鼓點(diǎn)，每個(gè)守衛(wèi)都會(huì)大聲喊出他們所看到的。在一片喧嘩中，聽(tīng)到一個(gè)守衛(wèi)在遙遠(yuǎn)的森林邊緣發(fā)現(xiàn)敵人是多么容易？
21 世紀(jì)的鼓點(diǎn)硬件等價(jià)物是電子時(shí)鐘信號(hào)，而守衛(wèi)是像素。大量數(shù)據(jù)被創(chuàng)建并且必須在每個(gè)時(shí)鐘周期進(jìn)行檢查，這會(huì)導(dǎo)致大量冗余信息，從而需要大量不必要的計(jì)算。
“人們正在燃燒如此多的能量，它占用了城堡的整個(gè)計(jì)算能力來(lái)保護(hù)自己，”Benosman說(shuō)。如果發(fā)現(xiàn)了一個(gè)有趣的事件——在這個(gè)類比中以敵人為代表——“你必須四處走動(dòng)收集無(wú)用的信息，人們到處尖叫，所以帶寬很大……現(xiàn)在想象你有一座復(fù)雜的城堡。所有這些人都必須被聽(tīng)到。”
進(jìn)入神經(jīng)形態(tài)視覺(jué)?；舅枷胧艿缴锵到y(tǒng)工作方式的啟發(fā)，即檢測(cè)場(chǎng)景動(dòng)態(tài)的變化，而不是連續(xù)分析整個(gè)場(chǎng)景。在我們的城堡類比中，這意味著讓守衛(wèi)保持安靜，直到他們看到感興趣的東西，然后喊出他們的位置以發(fā)出警報(bào)。在電子版中，這意味著讓單個(gè)像素確定他們是否看到相關(guān)的東西。
“像素可以自行決定他們應(yīng)該發(fā)送什么信息，”Benosman說(shuō)。
“他們可以尋找有意義的信息——特征，而不是獲取系統(tǒng)信息。這就是與眾不同的地方。”
與固定頻率的系統(tǒng)采集相比，這種基于事件的方法可以節(jié)省大量功率并減少延遲。
“你想要一些更具適應(yīng)性的東西，這就是[基于事件的視覺(jué)]的相對(duì)變化給你的東西——適應(yīng)性采集頻率，”他說(shuō)?！爱?dāng)你觀察幅度變化時(shí)，如果某些東西移動(dòng)得非?？欤覀兙蜁?huì)得到很多樣本。如果某些東西沒(méi)有改變，你會(huì)得到幾乎為零，所以你正在根據(jù)場(chǎng)景的動(dòng)態(tài)調(diào)整你的采集頻率。這就是它帶來(lái)的東西。這就是為什么它是一個(gè)好的設(shè)計(jì)?！?/p>
Benosman 于 2000 年進(jìn)入神經(jīng)形態(tài)視覺(jué)領(lǐng)域，他堅(jiān)信先進(jìn)的計(jì)算機(jī)視覺(jué)永遠(yuǎn)無(wú)法發(fā)揮作用，因?yàn)閳D像不是正確的方法。
“最大的轉(zhuǎn)變是說(shuō)我們可以在沒(méi)有灰度和沒(méi)有圖像的情況下進(jìn)行視覺(jué)，這在 2000 年底是異端——完全是異端，”他說(shuō)。
Benosman 提出的技術(shù)——今天基于事件的傳感的基礎(chǔ)——是如此不同，以至于提交給當(dāng)時(shí)最重要的 IEEE 計(jì)算機(jī)視覺(jué)期刊的論文在未經(jīng)審查的情況下被拒絕。事實(shí)上，直到 2008 年動(dòng)態(tài)視覺(jué)傳感器 (DVS) 的開(kāi)發(fā)，該技術(shù)才開(kāi)始獲得動(dòng)力。
神經(jīng)科學(xué)靈感神經(jīng)形態(tài)技術(shù)是受生物系統(tǒng)啟發(fā)的技術(shù)，包括終極計(jì)算機(jī)：大腦及其神經(jīng)元，或計(jì)算元素。問(wèn)題是沒(méi)有人完全理解神經(jīng)元是如何工作的。雖然我們知道神經(jīng)元對(duì)傳入的稱為尖峰的電信號(hào)起作用，但直到最近，研究人員仍將神經(jīng)元描述為相當(dāng)草率，認(rèn)為只有尖峰的數(shù)量很重要。這個(gè)假設(shè)持續(xù)了幾十年，但最近的工作證明，這些尖峰的時(shí)間是絕對(duì)關(guān)鍵的，并且大腦的結(jié)構(gòu)會(huì)在這些尖峰中產(chǎn)生延遲來(lái)編碼信息。
今天的尖峰神經(jīng)網(wǎng)絡(luò)模擬大腦中看到的尖峰信號(hào)，是真實(shí)事物的簡(jiǎn)化版本——通常是尖峰的二進(jìn)制表示?！拔沂盏揭粋€(gè) 1，我醒來(lái)，我計(jì)算，我睡覺(jué)，”Benosman 解釋說(shuō)?，F(xiàn)實(shí)要復(fù)雜得多。當(dāng)尖峰到來(lái)時(shí)，神經(jīng)元開(kāi)始隨著時(shí)間的推移對(duì)尖峰的值進(jìn)行積分；神經(jīng)元也有泄漏，這意味著結(jié)果是動(dòng)態(tài)的。此外，大約有 50 種不同類型的神經(jīng)元具有 50 種不同的集成配置文件。
當(dāng)前的電子版本缺少集成的動(dòng)態(tài)路徑、神經(jīng)元之間的連接性以及不同的權(quán)重和延遲。“問(wèn)題在于，要制造出有效的產(chǎn)品，你不能[模仿]所有的復(fù)雜性，因?yàn)槲覀儾焕斫馑?，”他說(shuō)?！叭绻覀冇泻玫拇竽X理論，我們就會(huì)解決它。問(wèn)題是，我們只是不知道?！?/p>
Bensoman 經(jīng)營(yíng)著一個(gè)獨(dú)特的實(shí)驗(yàn)室，致力于了解皮層計(jì)算背后的數(shù)學(xué)原理，旨在創(chuàng)建新的數(shù)學(xué)模型并將其復(fù)制為硅設(shè)備。這包括直接監(jiān)測(cè)來(lái)自真實(shí)視網(wǎng)膜的尖峰。
目前，Bensoman反對(duì)忠實(shí)地復(fù)制生物神經(jīng)元，稱這種方法是過(guò)時(shí)的。
“在硅中復(fù)制神經(jīng)元的想法的產(chǎn)生是因?yàn)槿藗冇^察了晶體管并看到了一個(gè)看起來(lái)像真正神經(jīng)元的機(jī)制，所以一開(kāi)始它背后有一些想法，”他說(shuō)?！拔覀儧](méi)有細(xì)胞；我們有硅。你需要適應(yīng)你的計(jì)算基板，而不是相反……如果我知道我在計(jì)算什么并且我有芯片，我可以優(yōu)化這個(gè)方程式并以最低的成本、最低的功耗、最低的延遲運(yùn)行它?！?/p>處理能力
無(wú)需精確復(fù)制神經(jīng)元這一認(rèn)識(shí)以及 DVS 相機(jī)的發(fā)展是當(dāng)今視覺(jué)系統(tǒng)背后的驅(qū)動(dòng)力。雖然系統(tǒng)已經(jīng)上市，但在完全類似于人類的視覺(jué)可用于商業(yè)用途之前，還需要取得進(jìn)展。
Benosman 說(shuō)，最初的 DVS 相機(jī)具有“大而粗的像素”，因?yàn)楣怆姸O管本身周圍的組件大大降低了填充因子。雖然對(duì)開(kāi)發(fā)這些攝像機(jī)的投資加速了這項(xiàng)技術(shù)，但貝諾斯曼明確表示，今天的事件攝像機(jī)只是對(duì)早在 2000 年開(kāi)發(fā)的原始研究設(shè)備的改進(jìn)。索尼最先進(jìn)的 DVS 攝像機(jī)，三星和 Omnivision 擁有微小的像素，融合了 3D 堆疊等先進(jìn)技術(shù)并降低了噪點(diǎn)。Benosman 擔(dān)心的是今天使用的傳感器類型能否成功擴(kuò)大規(guī)模。
“問(wèn)題是，一旦你增加像素?cái)?shù)量，你就會(huì)得到大量數(shù)據(jù)，因?yàn)槟愕乃俣热匀环浅？欤彼f(shuō)?！澳憧赡苋匀豢梢詫?shí)時(shí)處理它，但是你會(huì)從太多的像素中得到太多的相對(duì)變化。這現(xiàn)在正在殺死所有人，因?yàn)樗麄兛吹搅藵摿Γ麄儧](méi)有合適的處理器來(lái)支持它?！?/p>
通用神經(jīng)形態(tài)處理器落后于 DVS 相機(jī)對(duì)應(yīng)物。一些業(yè)內(nèi)最大的參與者（IBM Truenorth、英特爾 Loihi）的努力仍在進(jìn)行中。Benosman 表示，正確的處理器和正確的傳感器將是無(wú)與倫比的組合。
“[今天的 DVS] 傳感器速度極快，帶寬超低，動(dòng)態(tài)范圍大，因此您可以在室內(nèi)和室外看到，”Benosman 說(shuō)。“這是未來(lái)。它會(huì)起飛嗎？絕對(duì)地?！?/p>
“誰(shuí)能把處理器放在那里并提供完整的堆棧，誰(shuí)就贏了，因?yàn)樗鼘⑹菬o(wú)與倫比的，”他補(bǔ)充道。
- 蜜度索驥：以跨模態(tài)檢索技術(shù)助力“企宣”向上生長(zhǎng)
- 國(guó)家發(fā)改委成立低空經(jīng)濟(jì)發(fā)展司
- 什么是人工智能網(wǎng)絡(luò)？ | 智能百科
- 工信部：2025年推進(jìn)工業(yè)5G獨(dú)立專網(wǎng)建設(shè)
- 人工智能如何改變?nèi)蛑悄苁謾C(jī)市場(chǎng)
- 企業(yè)網(wǎng)絡(luò)安全挑戰(zhàn)頻出？Fortinet 給出破解之法
- 2025年生成式人工智能將如何影響眾行業(yè)
- 報(bào)告：人工智能推動(dòng)數(shù)據(jù)中心系統(tǒng)支出激增25%
- 千家早報(bào)|馬斯克預(yù)測(cè)：人工智能或?qū)⒊絾蝹€(gè)人類；鴻蒙生態(tài)（武漢）創(chuàng)新中心啟用，推動(dòng)鴻蒙軟硬件在武漢首試首用——2024年12月27日
- 中移建設(shè)被拉入軍采“黑名單”
- 大理移動(dòng)因違規(guī)套現(xiàn)等問(wèn)題，擬被列入軍采失信名單
免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。
