蘋果MR頭顯可以說是板上釘釘了，看了這么多的預測，幾乎沒有從ARKit的角度來看蘋果頭顯的，因此本文我們將回顧ARKit近7年來的發展歷程。

實際上，ARKit 3.5開始支持LiDAR（首個搭載的設備是iPad Pro 2020）就是為AR/VR頭顯籌備的重要一步，因為LiDAR可以實現更快距離探測實現即時AR交互，虛擬物體定位更精準，也帶來了比如更逼真的遮擋效果提升沉浸感，還有更好的場景幾何理解能力，為結合現實環境的MR交互提供基礎。同時還有更重要的多物體AR交互能力，可以實現復雜AR場景。這些讓蘋果的AR體驗實現了房間級的AR交互（實際上，這個概念至今沒有多少媒體引用）。相關閱讀：《iPad Pro新使命：開啟房間級AR體驗，iPhone、AR頭顯緊隨其后》。

去年發布的ARKit 6基本就印證了蘋果VST設備的策略，比如：支持4K分辨率顯示、支持相機曝光調節、支持HDR錄制等。以相機曝光調節為例，結合“數碼旋鈕”可以實現在VR和AR無縫切換能力，這個功能也是近半年被爆出蘋果MR的一個重磅功能。其它功能也基本圍繞“視頻透視”的能力展開，非常容易聯想到VST模式。相關閱讀：《WWDC22：ARKit 6低調發布，新功能瞄準VST MR頭顯》

(資料圖)

雖然說ARKit在iPhone和iPad并沒有激起波瀾，但將在蘋果AR/MR頭顯上發揮重要作用。而且因蘋果具備極強的軟硬件整合能力，這些AR能力至今都是業內一流。

從2017年開始，蘋果每年都會在WWDC活動上發布新版ARKit，截止去年已經更新迭代至ARKit 6，今年WWDC不出意外蘋果MR頭顯即將發布。那么在此之前，也許我們可以通過ARKit的技術演變，來看看蘋果的AR/VR策略，甚至猜猜未來哪些可能會體現在頭顯硬件上。

ARKit重要功能一覽

ARKit 1（iOS 11）

第一個版本的ARKit支持的功能不多，但在當時是開創性的，它用法簡單、性能優秀，允許開發者iPhone、iPad打造AR應用。ARKit 1使用視覺慣性里程計（VIO，一種融合相機和IMU數據實現SLAM的算法）來追蹤周圍物理場景，無需額外校準，就能可靠提取基于初始點的位置和方向變化。

此外還支持光照估計和渲染（由來優化AR外觀），以及場景理解功能，比如檢測水平面，并使用iPhone X的前置攝像頭追蹤人臉。通過ARKit 1，開發者可以將虛擬家具放置在真實場景中，或是允許用戶在餐廳中踢AR足球。而面部追蹤功能，則讓Snapchat等AR濾鏡更容易實現。

ARKit 1在A9和A10處理器上運行，支持Metal、SceneKit、Unity、Unreal等3D渲染引擎。

ARKit 1.5（iOS 11.3）

此前，ARKit 1只能識別桌面、椅子等水平表面，而ARKit 1.5則加入對墻體、房門等垂直表面的識別支持，允許開發者在垂直表面上固定AR內容。此外借助計算機視覺技術，對圓形家具等不規則表面的檢測效果更準確，也能識別空間內的標志、海報、插圖、二維碼等2D圖像，并調出對應的AR內容。

本次更新還改進了AR整體的質量，比如圖像分辨率提升50%，支持自動對焦，更準確的房間測繪，讓AR內容看起來更真實。

ARKit 2（iOS 12）

在WWDC 2018上，推出ARKit 2，還推出了一個與皮克斯合作開發的AR格式：USDZ，以及AR快速預覽功能（AR Quick Look）。

ARKit 2性能升級部分：1，改進的人臉追蹤效果；2，更逼真的渲染處理能力；3，3D控件檢測能力；4，對象持久保持的能力；5，可共享的多人AR能力（基于本地設備到設備的數據傳輸，非云端。現場演示了樂高多人AR游戲）。

據了解，皮克斯此前曾開發可擴展的開源3D說明文件格式：USD，而USDZ則是針對AR的文件格式，特點是采用嵌入式設計，可快速預，目的是為了簡化AR文件的訪問和共享流程，而通過嵌入到app或網頁中，可以很好的打通蘋果全家桶生態。

蘋果還推出了AR測量app《Measure》，可使用相機視覺預測物體尺寸、體積等數據，比如相框中相片的大小。

ARKit 3（iOS 13）

在WWDC 2019上，蘋果不僅推出ARKit 3，還發布兩個新的AR開發工具：RealityKit和Reality Composer，目的是補充ARKit，簡化3D場景創建，提高AR交互場景的開發速度和效率。

ARKit 3更新包括：同時使用前置和后置相機來定位、動作捕捉、人體遮擋、更快的參考圖像載入、自動識別圖像尺寸、視覺連貫性、更穩定的3D物體識別、多人面部追蹤、多人實時協作、識別高達100張圖像、HDR環境紋理、AR Coaching UI，以及AR快速預覽支持更多機型，并支持錄制視頻、啟動Apple Pay、空間音頻等功能

RealityKit可以在真實場景中以AR形式展示3D控件，從而快速實現AR場景融合。該工具主要有5大亮點：1，照片級渲染效果；2，支持環境和相機特效；3，支持動畫、物理、音頻等特效；4，整合ARKit；5，原生支持Swift API。

而Reality Composer則是一個3D場景創建工具，特點是通過拖拽、點擊等簡單操作，即可生成交互式AR場景。該工具內置大量3D內容數據庫，還可與Xcode和iOS應用配合使用，從而實現AR場景快速預覽、微調，大幅提升效率。

ARKit 3.5（iOS 13.4）

隨著搭載LiDAR傳感器的iPad Pro在2020年發售，蘋果也推出了ARKit 3.5，其中包含了多個功能：場景幾何（Scene Geometry）API、即時AR體驗，此外還改進了動作捕捉和人體遮擋功能。這些功能和特性基于LiDAR硬件來實現，因此僅支持搭載LiDAR的iPad或iPhone型號。

場景幾何API：可實時捕捉場景中的3D物體（地板、墻壁、天花板、窗戶、門、桌椅），并構建3D場景模型，提升整個場景的3D識別能力。

即時AR體驗：在開啟AR模式時，無需左右掃描場景即可快速、實時放置AR對象。

ARKit 4（iOS 14）

從ARKit 3.5開始，ARKit的新功能主要圍繞LiDAR等硬件技術展開，在此基礎上，ARKit 4小幅更新，主要帶來以下功能：深度API、位置錨定、AR視頻紋理，同時面部追蹤支持更多設備。

深度API：通過LiDAR對每個像素的深度信息進行分析，并與場景幾何的3D網格數據結合使用，讓虛擬物體與現實物體的融合更逼真、自然。同時，還可進一步提升AR測距應用的準確性；

位置錨定：基于Apple Maps數據，可將高分辨率AR內容（LBS AR）持續固定在現實場景/位置，例如一個著名景區，通過位置錨定即可為AR虛擬物體加上經緯度、海拔等信息，從而與地理位置永久性的融合。

此前，ARKit 2已經支持持久性AR，與位置錨定不同的是，持久性AR基于保存與加載地圖特性，利用了視覺定位，而沒有結合地圖GPS數據。

視頻紋理：可將視頻紋理添加到RealityKit場景中任意部分，讓物理對象、表面、人物看起來更生動。

面部追蹤擴展：支持使用A12 Bionic及更新芯片的設備，但在特定的設備上，面部識別功能依然受限，比如iPhone SE僅支持單用戶追蹤，而具備原深感相機TureDepth的設備可同時識別追蹤三個人臉信息。

ARKit 5（iOS 15）

在WWDC 2021期間，蘋果低調更新了ARKit 5，同時也推出了RealityKit 2。

ARKit 5新功能主要有四點：1，位置錨定支持更多地區；2，人臉追蹤功能升級（支持更多A12芯片設備，在配備深感相機設備中，支持3人面部追蹤）；3，改進運動追蹤；4，AR綁定App Clip Code二維碼。

而RealityKit 2新功能則包括：1，3D掃描（Object Capture API）；2，自定義著色器；3，動態加載方式；4，系統模塊定制；5，虛擬角色控制器。

Object Capture API是RealityKit 2的一大亮點，該功能旨在統一、簡化3D掃描和建模的流程，同時更加充分利用LiDAR能力。據稱，該API可在幾分鐘內輸出USDZ格式的高質量3D模型，支持AR快速預覽，也可以導入Reality Composer等其他工具。

ARKit 6（iOS 16）

在WWDC 2022期間，蘋果依舊低調更新ARKit 6，本次更新的重磅功能包括：4K分辨率，HDR錄制，實時調節相機曝光、白平衡等參數，這些功能對VST透視AR體驗相當重要，未來能否應用于蘋果MR頭顯則令人期待。此外，還加入了前攝+后攝融合玩法，可通過前攝捕捉人臉，然后基于后攝拍攝背景，實現一些另類的玩法和交互。

現有的功能也得到優化：改進了運動追蹤，現支持識別左右耳朵，優化了姿態檢測功能，可以自動估算好拍攝場景中物體的大小，并實現穩定的追蹤效果，提高3D物體檢測的魯棒性。

ARKit 6依然只是小幅更新，一方面是因為該技術本身已經領先競爭對手，另一方面，按照蘋果的設計思路，軟件方面新功能大概率需更強大的硬件做支撐。

4K分辨率、HDR錄制可為視頻拍攝和分享、電影制作等場景帶來價值，與此同時，也可以實現更好的VST混合現實效果。以往在談到移動AR時，更多關注的是3D AR內容的清晰度、逼真度，以及與物理場景的自然交互/融合。而實際上，移動ARden視頻背景清晰度也同樣重要，對于VST頭顯來講更是如此，清晰的視頻透視可減少長時間體驗的視覺疲勞。此外，ARKit 6帶來的實時調節相機曝光、白平衡、對焦功能，對于沉浸式AR體驗也很重要，比如可以把現實場景調暗等等操作。

甚至，如果還可以設置不同的焦點切換（這一點暫時沒有明確），還能基于此實現引導注意力轉移等玩法，對MR游戲的虛實融合類交互幫助很大，想象空間很大。

蘋果還發布了新的AR工具：RoomPlan API，特點是基于ARKit和Swift API，硬件基于LiDAR設備，可通過掃描房屋場景進行3D規劃，適用于房地產、建筑、室內設計、電子商務、酒店管理等行業。掃描后可導出USD或USDZ格式文件，文件中信息包括：房間中識別到的組件尺寸，家具類型等，并可在C4D、AutoCAD、Shapr3D等進一步編輯。

至此，蘋果AR生態由5大套件組成：ARKit、RealityKit、RoomPlan、AR創作工具（Reality Composer、Reality Converter、Xcode和USDZ工具）和AR Quick Look。

在LBS AR、VPS領域，蘋果也有布局，但全新設計的蘋果地圖在全球覆蓋率上不如谷歌地圖。比如此前蘋果曾推出類似谷歌街景的Look Around功能，可實現基于VPS原理的AR導航等功能，但AR導航僅支持十幾個城市。

此外，蘋果在WWDC 2022上還推出了MapKit，允許開發者在AR應用中調用原生地圖能力，推動LBS AR應用。

從ARKit的一次次更新中，一個重點是打通3D內容格式（USDZ），另一方面則是利用LiDAR模組優化AR性能。如無意外，蘋果未來的AR/VR頭顯也將支持大量的LiDAR功能和應用。比如可以預見的是，圖像識別、文字語言翻譯、單位轉換、價格識別等基于攝像頭的玩法，未來很可能會作為MR/AR頭戴設備的基礎功能。

由此可見，ARKit打磨6-7年時間，蘋果借助現有硬件已經支持相機動態調焦，以及曝光、白平衡等參數調節。而且，在相機、視頻錄制上有明顯優勢，顯然蘋果的VST方案上限可能會很高，就像是早年間的安卓手機和iPhone拍照的差別。接下來，蘋果要做的就是AR/VR頭顯端的內容生態，這也直接影響著用戶對這款產品的關注程度。

責任編輯：Rex_25