商湯AR開發之旅(1)-- 關於SenseAR SDK

SenseAR 開發平臺以商湯科技為核心,聯合若干戰略合作伙伴,提供一整套 AR 解決方案,包括 AR 底層驅動引擎、AR 內容創作工具鏈和 AR 硬件裝置推薦,為各行各業的商家和用戶提供 AR 服務,形成一個 AR 生態。商湯SenseAR提供平面檢測、運動追蹤、雲錨點、手勢識別等多種AI+AR基礎能力,通過賦能移動端開發,構建增強現實體驗平臺。

簡介

商湯AR開發之旅(1)-- 關於SenseAR SDK

功能特性

SenseAR開發者平臺,提供C、Java、Unity3D等版本SDK;能夠提供實時跟蹤與建圖、尺度估計、多平面檢測、光照估計、手勢檢測、稠密重建功能,後續還會繼續增加更多AR基礎功能。

商湯AR開發之旅(1)-- 關於SenseAR SDK

(1)實時跟蹤與建圖:能夠實現6DOF跟蹤,融合視覺和IMU信息,實時定位手機的位姿信息和輸出周圍環境的地圖信息。

(2)尺度估計:尺度估計把虛擬物體模型以真實的大小準確的放在真實場景中。

(3)多平面檢測:快速檢測水平面和豎直平面(如地面和牆面)的大小和位置。

(4)光照估計:估計當前環境的光照情況 。

(5)手勢檢測:包括手勢的2D/3D關鍵點、手勢姿態類型等信息的檢測、以及手勢在RGB圖和深度圖上分割結果輸出,支持基於手的AR互動交互。

(6)稠密重建:融合深度與RGB信息,建立稠密環境網格,實現實時環境稠密重建。

(7)圖像識別與跟蹤:藉助增強圖像功能,幫助識別並標記環境中的一系列2D目標圖像,並在攝像頭移到圖像外時仍可標記該圖像位置。

(8)雲錨點:利用雲端技術使位於同一現實場景中的多臺設備可加載同一個錨點,並渲染到各自的場景中,在該錨點上進行AR體驗和交互。

(9)人臉識別與跟蹤:基於RGB信息,獲取增強現實中的人臉模型,實現人臉的實時識別與跟蹤。

(10)三維物體識別與跟蹤:基於RGB信息,在線建立三維物體模型,並實現三維物體模型的實時識別與跟蹤。

SDK概述

SenseAR SDK以SenseAR API的形式提供給開發者,包含c/java/c# for unity三種語言形式,其中java/c# for unity會依賴c版本的接口實現。形式如下圖所示:

商湯AR開發之旅(1)-- 關於SenseAR SDK

SenseAR SDK包含功能包括:

  • SLAM:6DOF跟蹤、重定位與迴路閉合、水平面、豎直面檢測
  • 光照估計、單亮度值環境光感知、環境圖
  • 手勢識別:14種預定義手勢識別
  • 圖像識別與跟蹤:多圖像快速識別與跟蹤
  • 人臉跟蹤與重建:人臉的快速檢測、跟蹤和重建
  • 雲錨點:多臺AR設備共享同一座標系
  • 三維物體識別與跟蹤:三維物體快速識別與跟蹤
  • 實時三維重建

開發配置

為了能正常運行SDK內的sample,對硬件和軟件環境都有一定的要求。商湯SenseAR和OPPO ARUnit採用相同的標準,相互兼容,在部分小米機型和OPPO機型,分別預安裝了SenseAR和OPPO ARUnit。商湯SenseAR分成兩個部分:

  • SDK:集成到app裡面;
  • SenseAR:開發者網站下載,是一個apk文件,運行集成SDK的app時需要確保SenseAR已經安裝到手機裡面。

硬件環境

商湯AR開發之旅(1)-- 關於SenseAR SDK

軟件環境

為了能正常運行SDK內的sample,需先安裝SenseAR作為運行環境(預裝或者手動安裝)。如果想體驗最新的效果和功能,推薦使用或升級到最新的SenseAR,具體可參考如下注意事項:

  • 小米預裝版本SenseAR在應用設置裡面名稱為ARServer,OPPO預裝版本SenseAR的名字為ARUnit,預裝版本比較老,只包含SLAM功能。
  • 最新的效果和功能,推薦使用或升級到最新的SenseAR,新版SenseAR安裝後應用列表名字為SenseAR,使用新版SenseAR需要先卸載預裝版本,兩者無法共存。
  • 同時需要安裝相應的開發環境,如下表所示:
商湯AR開發之旅(1)-- 關於SenseAR SDK

相關教程:

SDK下載鏈接:
https://openar.sensetime.com/sdks


分享到:


相關文章: