中國科學家研制出世界首款類腦互補視覺芯片「天眸芯」
圖為「天眸芯」。(清華大學精密儀器系供圖)
清華大學類腦計算研究中心團隊近日研制出了世界首款類腦互補視覺芯片「天眸芯」,相關成果5月30日作為封面文章,發表於國際學術期刊【自然】。
論文通訊作者、清華大學精密儀器系教授施路平介紹,在開放世界中,智慧系統不僅要應對龐大的數據量,還需要應對如駕駛場景中的突發危險、隧道口的劇烈光線變化和夜間強閃光幹擾等極端事件。而傳統視覺感知芯片面對此類場景往往出現失真、失效或高延遲,限制系統的穩定性和安全性。
為更好應對上述問題,清華大學類腦計算研究中心團隊聚焦類腦視覺感知芯片技術,提出了一種基於視覺原語的互補雙通路類腦視覺感知新範式。
「該範式借鑒了人類視覺系統的基本原理,將開放世界的視覺資訊拆解為基於視覺原語的資訊表示,並透過有機組合這些原語,模仿人視覺系統的特征,形成兩條優勢互補、資訊完備的視覺感知通路。」施路平說。
基於這一新範式,團隊進一步研制出了世界首款類腦互補視覺芯片「天眸芯」,在極低的頻寬和功耗代價下,實作了高速、高精度、高動態範圍的視覺資訊采集,能夠高效應對各種極端場景,確保系統的穩定性和安全性。
同時,基於「天眸芯」,團隊還自主研發了高效能軟體和演算法,並在開放環境車載平台上進行了效能驗證。在多種極端場景下,該系統實作了低延遲、高效能的即時感知推理,展現了其在智慧無人系統領域的套用潛力。
論文通訊作者、清華大學精密儀器系教授趙蓉表示,「天眸芯」為自動駕駛、具身智慧等重要套用開辟了新的道路。結合團隊在類腦計算芯片「天機芯」、類腦軟體工具鏈和類腦機器人方面的套用落地的技術積累,「天眸芯」的加入將能夠進一步完善類腦智慧生態,有力推動人工通用智慧的發展。
據介紹,這是該團隊繼異構融合類腦計算「天機芯」後,第二次登上【自然】封面,標誌著在類腦計算和類腦感知兩個方向上均取得了基礎性突破。