SenseAR 開發平臺以商湯科技為核心,聯合若干戰略合作伙伴,提供一整套 AR 解決方案,包括 AR 底層驅動引擎、AR 內容創作工具鏈和 AR 硬件裝置推薦,為各行各業的商家和用戶提供 AR 服務,形成一個 AR 生態。商湯SenseAR提供平面檢測、運動追蹤、雲錨點、手勢識別等多種AI+AR基礎能力,通過賦能移動端開發,構建增強現實體驗平臺。
簡介
功能特性
SenseAR開發者平臺,提供C、Java、Unity3D等版本SDK;能夠提供實時跟蹤與建圖、尺度估計、多平面檢測、光照估計、手勢檢測、稠密重建功能,後續還會繼續增加更多AR基礎功能。
(1)實時跟蹤與建圖:能夠實現6DOF跟蹤,融合視覺和IMU信息,實時定位手機的位姿信息和輸出周圍環境的地圖信息。
(2)尺度估計:尺度估計把虛擬物體模型以真實的大小準確的放在真實場景中。
(3)多平面檢測:快速檢測水平面和豎直平面(如地面和牆面)的大小和位置。
(4)光照估計:估計當前環境的光照情況 。
(5)手勢檢測:包括手勢的2D/3D關鍵點、手勢姿態類型等信息的檢測、以及手勢在RGB圖和深度圖上分割結果輸出,支持基於手的AR互動交互。
(6)稠密重建:融合深度與RGB信息,建立稠密環境網格,實現實時環境稠密重建。
(7)圖像識別與跟蹤:藉助增強圖像功能,幫助識別並標記環境中的一系列2D目標圖像,並在攝像頭移到圖像外時仍可標記該圖像位置。
(8)雲錨點:利用雲端技術使位於同一現實場景中的多臺設備可加載同一個錨點,並渲染到各自的場景中,在該錨點上進行AR體驗和交互。
(9)人臉識別與跟蹤:基於RGB信息,獲取增強現實中的人臉模型,實現人臉的實時識別與跟蹤。
(10)三維物體識別與跟蹤:基於RGB信息,在線建立三維物體模型,並實現三維物體模型的實時識別與跟蹤。
SDK概述
SenseAR SDK以SenseAR API的形式提供給開發者,包含c/java/c# for unity三種語言形式,其中java/c# for unity會依賴c版本的接口實現。形式如下圖所示:
SenseAR SDK包含功能包括:
- SLAM:6DOF跟蹤、重定位與迴路閉合、水平面、豎直面檢測
- 光照估計、單亮度值環境光感知、環境圖
- 手勢識別:14種預定義手勢識別
- 圖像識別與跟蹤:多圖像快速識別與跟蹤
- 人臉跟蹤與重建:人臉的快速檢測、跟蹤和重建
- 雲錨點:多臺AR設備共享同一座標系
- 三維物體識別與跟蹤:三維物體快速識別與跟蹤
- 實時三維重建
開發配置
為了能正常運行SDK內的sample,對硬件和軟件環境都有一定的要求。商湯SenseAR和OPPO ARUnit採用相同的標準,相互兼容,在部分小米機型和OPPO機型,分別預安裝了SenseAR和OPPO ARUnit。商湯SenseAR分成兩個部分:
- SDK:集成到app裡面;
- SenseAR:開發者網站下載,是一個apk文件,運行集成SDK的app時需要確保SenseAR已經安裝到手機裡面。
硬件環境
軟件環境
為了能正常運行SDK內的sample,需先安裝SenseAR作為運行環境(預裝或者手動安裝)。如果想體驗最新的效果和功能,推薦使用或升級到最新的SenseAR,具體可參考如下注意事項:
- 小米預裝版本SenseAR在應用設置裡面名稱為ARServer,OPPO預裝版本SenseAR的名字為ARUnit,預裝版本比較老,只包含SLAM功能。
- 最新的效果和功能,推薦使用或升級到最新的SenseAR,新版SenseAR安裝後應用列表名字為SenseAR,使用新版SenseAR需要先卸載預裝版本,兩者無法共存。
- 同時需要安裝相應的開發環境,如下表所示:
相關教程:
SDK下載鏈接:
https://openar.sensetime.com/sdks