基于視覺高精定位的“室內(nèi)AR導航”技術點解析

2022-12-20

自1967年衛(wèi)星導航技術開放以來，經(jīng)過50多年的發(fā)展，導航定位已廣泛應用于交通物流、地理信息、高精度測量等行業(yè)，提高了現(xiàn)代社會的運營效率，給個人生活和旅行帶來了極大的便利。

然而，盡管導航定位技術在室外場景中非常流行，但室內(nèi)導航的應用并沒有得到很好的發(fā)展。

一方面，由于衛(wèi)星信號的衰減，衛(wèi)星導航定位在室內(nèi)幾乎毫無用處。

另一方面，盡管藍牙信標定位，Wi-Fi在一定程度上，信號等專用設備的解決方案可以輔助室內(nèi)導航定位，但部署和維護成本高，不具備大規(guī)模推廣的條件。

那么，室內(nèi)導航解決方案是否容易實現(xiàn)、低成本、易擴展？

成本更低，更容易普及AI以視覺技術為核心，商湯科技SenseMARS火星混合現(xiàn)實平臺可以實現(xiàn)室內(nèi)外高效低成本的精確定位AR導航。

基于視覺高精度定位AR導航

室內(nèi)導航有哪些困難？

展覽館、博物館、購物中心、交通樞紐等大型室內(nèi)場景環(huán)境復雜，規(guī)模巨大，無紋理空間區(qū)域和視覺歧義區(qū)域眾多。地圖數(shù)據(jù)的收集、生產(chǎn)和表達是一個主要的困難。

同時，用戶如何準確快速地實現(xiàn)重定位也是一個挑戰(zhàn)。

無紋理空間區(qū)和視覺歧義區(qū)

商湯SenseMARS火星混合現(xiàn)實平臺由浙江大學-尚堂科技三維視覺聯(lián)合實驗室和尚堂產(chǎn)品團隊共同打造，具有空間定位和構(gòu)建能力，如專業(yè)高精度三維數(shù)字地圖構(gòu)建、跨平臺和終端空間感知計算、cm端云協(xié)同定位等，可支持Android/iOS/Web/小程序等系統(tǒng)平臺，以及手機，平板電腦，AR/MR眼鏡等終端設備，實現(xiàn)室內(nèi)外等不同場景AR/MR特效、導航、導游等功能。

對于定位導航應用，首先需要構(gòu)建高精度三維數(shù)字地圖（具體可分為稀疏點云地圖構(gòu)建和密集的三維幾何構(gòu)建），然后基于視覺重定位和SLAM該技術可實現(xiàn)連續(xù)的精確跟蹤定位。

讓機器了解場景和環(huán)境

稀疏點云地圖結(jié)構(gòu)采用運動恢復結(jié)構(gòu)（Structure from Motion，簡稱SfM）技術。

利用離線收集的視頻或圖片提取場景中的視覺特征，恢復圖片的相機位置和場景中稀疏的三維點云。視覺特征和三維點云主要用于視覺重定位，可用于進一步的密集三維幾何構(gòu)建。

稀疏點云地圖密集三維點云

視頻或圖片以及SfM恢復的相機位置為輸入。經(jīng)過密集的深度估計、深度集成、網(wǎng)格結(jié)構(gòu)和紋理地圖，最終輸出場景的精細密點云和紋理三維網(wǎng)格模型，即密集的三維幾何結(jié)構(gòu)。

由于商湯在原創(chuàng)技術研發(fā)方面的優(yōu)勢，浙江大學-商湯三維視覺聯(lián)合實驗室研究團隊提出了基于單目/多目/全景相機和慣性測量單元的技術研究和拋光兩年多。GPS多源數(shù)據(jù)采集方案和多源數(shù)據(jù)集成構(gòu)圖算法實現(xiàn)了高效穩(wěn)定的地圖數(shù)據(jù)采集、重建和更新。

2萬平方米的場景一般可以在1小時內(nèi)完成數(shù)據(jù)采集，3D重建和紋理地圖(單節(jié)點服務器)可以在6小時內(nèi)完成，重建精度可以達到厘米級。

密集的三維幾何

重建的高精度三維網(wǎng)格可用于正確處理虛擬物體和真實場景之間的屏蔽和碰撞關系，實現(xiàn)具有高真實性的增強現(xiàn)實效果。

高精度三維數(shù)字模型和紋理貼圖，SenseMARS變壓器三維模型

讓機器輸出準確匹配場景

有了地圖數(shù)據(jù)，用戶如何通過終端在現(xiàn)實場景中無縫集成導航指示箭頭等虛擬內(nèi)容？

關鍵是通過視覺重定位和準確獲取用戶的相機位置SLAM一起實現(xiàn)。

視覺重定位以用戶拍攝圖像為輸入，匹配圖像中的特征和地圖數(shù)據(jù)中的特征，獲取圖像特征和地圖三維點的2D-3D對應關系，計算圖像相機的位置SLAM幫助糾正累積誤差。

SenseMARS商超、展廳等典型室內(nèi)場景視覺定位技術成功率高于95%SLAM 該技術實現(xiàn)了連續(xù)穩(wěn)定的位置跟蹤，并擴展了未覆蓋地圖的區(qū)域。

SLAM技術利用相機，IMU可以實時計算當前設備的6DoF保證圖像上的位置AR效果與真實環(huán)境的一致性、穩(wěn)定性和適應性。

借助離線高精度地圖和高精度定位結(jié)果，可以保證高精度定位和跟蹤時間長。

另外，針對現(xiàn)在APP方案比較重SLAM商湯還提供了算法模型覆蓋率不足的輕量級問題Web SLAM能力，能在H在小程序中實時運行。