<bdo id="ks4iu"><del id="ks4iu"></del></bdo>
  • 
    <pre id="ks4iu"></pre>
  • <bdo id="ks4iu"><del id="ks4iu"></del></bdo>
    <input id="ks4iu"><em id="ks4iu"></em></input>
    
    
  • <center id="ks4iu"><cite id="ks4iu"></cite></center>
  • 首頁 > 智能影音 >

    蘋果MR頭顯背后的秘密武器,ARKit演進歷程一覽

    蘋果MR頭顯可以說是板上釘釘了,看了這么多的預測,幾乎沒有從ARKit的角度來看蘋果頭顯的,因此本文我們將回顧ARKit近7年來的發展歷程。

    實際上,ARKit 3.5開始支持LiDAR(首個搭載的設備是iPad Pro 2020)就是為AR/VR頭顯籌備的重要一步,因為LiDAR可以實現更快距離探測實現即時AR交互,虛擬物體定位更精準,也帶來了比如更逼真的遮擋效果提升沉浸感,還有更好的場景幾何理解能力,為結合現實環境的MR交互提供基礎。同時還有更重要的多物體AR交互能力,可以實現復雜AR場景。這些讓蘋果的AR體驗實現了房間級的AR交互(實際上,這個概念至今沒有多少媒體引用)。相關閱讀:《iPad Pro新使命:開啟房間級AR體驗,iPhone、AR頭顯緊隨其后》。

    去年發布的ARKit 6基本就印證了蘋果VST設備的策略,比如:支持4K分辨率顯示、支持相機曝光調節、支持HDR錄制等。以相機曝光調節為例,結合“數碼旋鈕”可以實現在VR和AR無縫切換能力,這個功能也是近半年被爆出蘋果MR的一個重磅功能。其它功能也基本圍繞“視頻透視”的能力展開,非常容易聯想到VST模式。相關閱讀:《WWDC22:ARKit 6低調發布,新功能瞄準VST MR頭顯》


    (資料圖)

    雖然說ARKit在iPhone和iPad并沒有激起波瀾,但將在蘋果AR/MR頭顯上發揮重要作用。而且因蘋果具備極強的軟硬件整合能力,這些AR能力至今都是業內一流。

    從2017年開始,蘋果每年都會在WWDC活動上發布新版ARKit,截止去年已經更新迭代至ARKit 6,今年WWDC不出意外蘋果MR頭顯即將發布。那么在此之前,也許我們可以通過ARKit的技術演變,來看看蘋果的AR/VR策略,甚至猜猜未來哪些可能會體現在頭顯硬件上。

    ARKit重要功能一覽

    ARKit 1(iOS 11)

    第一個版本的ARKit支持的功能不多,但在當時是開創性的,它用法簡單、性能優秀,允許開發者iPhone、iPad打造AR應用。ARKit 1使用視覺慣性里程計(VIO,一種融合相機和IMU數據實現SLAM的算法)來追蹤周圍物理場景,無需額外校準,就能可靠提取基于初始點的位置和方向變化。

    此外還支持光照估計和渲染(由來優化AR外觀),以及場景理解功能,比如檢測水平面,并使用iPhone X的前置攝像頭追蹤人臉。通過ARKit 1,開發者可以將虛擬家具放置在真實場景中,或是允許用戶在餐廳中踢AR足球。而面部追蹤功能,則讓Snapchat等AR濾鏡更容易實現。

    ARKit 1在A9和A10處理器上運行,支持Metal、SceneKit、Unity、Unreal等3D渲染引擎。

    ARKit 1.5(iOS 11.3)

    此前,ARKit 1只能識別桌面、椅子等水平表面,而ARKit 1.5則加入對墻體、房門等垂直表面的識別支持,允許開發者在垂直表面上固定AR內容。此外借助計算機視覺技術,對圓形家具等不規則表面的檢測效果更準確,也能識別空間內的標志、海報、插圖、二維碼等2D圖像,并調出對應的AR內容。

    本次更新還改進了AR整體的質量,比如圖像分辨率提升50%,支持自動對焦,更準確的房間測繪,讓AR內容看起來更真實。

    ARKit 2(iOS 12)

    在WWDC 2018上,推出ARKit 2,還推出了一個與皮克斯合作開發的AR格式:USDZ,以及AR快速預覽功能(AR Quick Look)。

    ARKit 2性能升級部分:1,改進的人臉追蹤效果;2,更逼真的渲染處理能力;3,3D控件檢測能力;4,對象持久保持的能力;5,可共享的多人AR能力(基于本地設備到設備的數據傳輸,非云端。現場演示了樂高多人AR游戲)。

    據了解,皮克斯此前曾開發可擴展的開源3D說明文件格式:USD,而USDZ則是針對AR的文件格式,特點是采用嵌入式設計,可快速預,目的是為了簡化AR文件的訪問和共享流程,而通過嵌入到app或網頁中,可以很好的打通蘋果全家桶生態。

    蘋果還推出了AR測量app《Measure》,可使用相機視覺預測物體尺寸、體積等數據,比如相框中相片的大小。

    ARKit 3(iOS 13)

    在WWDC 2019上,蘋果不僅推出ARKit 3,還發布兩個新的AR開發工具:RealityKit和Reality Composer,目的是補充ARKit,簡化3D場景創建,提高AR交互場景的開發速度和效率。

    ARKit 3更新包括:同時使用前置和后置相機來定位、動作捕捉、人體遮擋、更快的參考圖像載入、自動識別圖像尺寸、視覺連貫性、更穩定的3D物體識別、多人面部追蹤、多人實時協作、識別高達100張圖像、HDR環境紋理、AR Coaching UI,以及AR快速預覽支持更多機型,并支持錄制視頻、啟動Apple Pay、空間音頻等功能

    RealityKit可以在真實場景中以AR形式展示3D控件,從而快速實現AR場景融合。該工具主要有5大亮點:1,照片級渲染效果;2,支持環境和相機特效;3,支持動畫、物理、音頻等特效;4,整合ARKit;5,原生支持Swift API。

    而Reality Composer則是一個3D場景創建工具,特點是通過拖拽、點擊等簡單操作,即可生成交互式AR場景。該工具內置大量3D內容數據庫,還可與Xcode和iOS應用配合使用,從而實現AR場景快速預覽、微調,大幅提升效率。

    ARKit 3.5(iOS 13.4)

    隨著搭載LiDAR傳感器的iPad Pro在2020年發售,蘋果也推出了ARKit 3.5,其中包含了多個功能:場景幾何(Scene Geometry)API、即時AR體驗,此外還改進了動作捕捉和人體遮擋功能。這些功能和特性基于LiDAR硬件來實現,因此僅支持搭載LiDAR的iPad或iPhone型號。

    場景幾何API:可實時捕捉場景中的3D物體(地板、墻壁、天花板、窗戶、門、桌椅),并構建3D場景模型,提升整個場景的3D識別能力。

    即時AR體驗:在開啟AR模式時,無需左右掃描場景即可快速、實時放置AR對象。

    ARKit 4(iOS 14)

    從ARKit 3.5開始,ARKit的新功能主要圍繞LiDAR等硬件技術展開,在此基礎上,ARKit 4小幅更新,主要帶來以下功能:深度API、位置錨定、AR視頻紋理,同時面部追蹤支持更多設備。

    深度API:通過LiDAR對每個像素的深度信息進行分析,并與場景幾何的3D網格數據結合使用,讓虛擬物體與現實物體的融合更逼真、自然。同時,還可進一步提升AR測距應用的準確性;

    位置錨定:基于Apple Maps數據,可將高分辨率AR內容(LBS AR)持續固定在現實場景/位置,例如一個著名景區,通過位置錨定即可為AR虛擬物體加上經緯度、海拔等信息,從而與地理位置永久性的融合。

    此前,ARKit 2已經支持持久性AR,與位置錨定不同的是,持久性AR基于保存與加載地圖特性,利用了視覺定位,而沒有結合地圖GPS數據。

    視頻紋理:可將視頻紋理添加到RealityKit場景中任意部分,讓物理對象、表面、人物看起來更生動。

    面部追蹤擴展:支持使用A12 Bionic及更新芯片的設備,但在特定的設備上,面部識別功能依然受限,比如iPhone SE僅支持單用戶追蹤,而具備原深感相機TureDepth的設備可同時識別追蹤三個人臉信息。

    ARKit 5(iOS 15)

    在WWDC 2021期間,蘋果低調更新了ARKit 5,同時也推出了RealityKit 2。

    ARKit 5新功能主要有四點:1,位置錨定支持更多地區;2,人臉追蹤功能升級(支持更多A12芯片設備,在配備深感相機設備中,支持3人面部追蹤);3,改進運動追蹤;4,AR綁定App Clip Code二維碼。

    而RealityKit 2新功能則包括:1,3D掃描(Object Capture API);2,自定義著色器;3,動態加載方式;4,系統模塊定制;5,虛擬角色控制器。

    Object Capture API是RealityKit 2的一大亮點,該功能旨在統一、簡化3D掃描和建模的流程,同時更加充分利用LiDAR能力。據稱,該API可在幾分鐘內輸出USDZ格式的高質量3D模型,支持AR快速預覽,也可以導入Reality Composer等其他工具。

    ARKit 6(iOS 16)

    在WWDC 2022期間,蘋果依舊低調更新ARKit 6,本次更新的重磅功能包括:4K分辨率,HDR錄制,實時調節相機曝光、白平衡等參數,這些功能對VST透視AR體驗相當重要,未來能否應用于蘋果MR頭顯則令人期待。此外,還加入了前攝+后攝融合玩法,可通過前攝捕捉人臉,然后基于后攝拍攝背景,實現一些另類的玩法和交互。

    現有的功能也得到優化:改進了運動追蹤,現支持識別左右耳朵,優化了姿態檢測功能,可以自動估算好拍攝場景中物體的大小,并實現穩定的追蹤效果,提高3D物體檢測的魯棒性。

    ARKit 6依然只是小幅更新,一方面是因為該技術本身已經領先競爭對手,另一方面,按照蘋果的設計思路,軟件方面新功能大概率需更強大的硬件做支撐。

    4K分辨率、HDR錄制可為視頻拍攝和分享、電影制作等場景帶來價值,與此同時,也可以實現更好的VST混合現實效果。以往在談到移動AR時,更多關注的是3D AR內容的清晰度、逼真度,以及與物理場景的自然交互/融合。而實際上,移動ARden視頻背景清晰度也同樣重要,對于VST頭顯來講更是如此,清晰的視頻透視可減少長時間體驗的視覺疲勞。此外,ARKit 6帶來的實時調節相機曝光、白平衡、對焦功能,對于沉浸式AR體驗也很重要,比如可以把現實場景調暗等等操作。

    甚至,如果還可以設置不同的焦點切換(這一點暫時沒有明確),還能基于此實現引導注意力轉移等玩法,對MR游戲的虛實融合類交互幫助很大,想象空間很大。

    蘋果還發布了新的AR工具:RoomPlan API,特點是基于ARKit和Swift API,硬件基于LiDAR設備,可通過掃描房屋場景進行3D規劃,適用于房地產、建筑、室內設計、電子商務、酒店管理等行業。掃描后可導出USD或USDZ格式文件,文件中信息包括:房間中識別到的組件尺寸,家具類型等,并可在C4D、AutoCAD、Shapr3D等進一步編輯。

    至此,蘋果AR生態由5大套件組成:ARKit、RealityKit、RoomPlan、AR創作工具(Reality Composer、Reality Converter、Xcode和USDZ工具)和AR Quick Look。

    在LBS AR、VPS領域,蘋果也有布局,但全新設計的蘋果地圖在全球覆蓋率上不如谷歌地圖。比如此前蘋果曾推出類似谷歌街景的Look Around功能,可實現基于VPS原理的AR導航等功能,但AR導航僅支持十幾個城市。

    此外,蘋果在WWDC 2022上還推出了MapKit,允許開發者在AR應用中調用原生地圖能力,推動LBS AR應用。

    從ARKit的一次次更新中,一個重點是打通3D內容格式(USDZ),另一方面則是利用LiDAR模組優化AR性能。如無意外,蘋果未來的AR/VR頭顯也將支持大量的LiDAR功能和應用。比如可以預見的是,圖像識別、文字語言翻譯、單位轉換、價格識別等基于攝像頭的玩法,未來很可能會作為MR/AR頭戴設備的基礎功能。

    由此可見,ARKit打磨6-7年時間,蘋果借助現有硬件已經支持相機動態調焦,以及曝光、白平衡等參數調節。而且,在相機、視頻錄制上有明顯優勢,顯然蘋果的VST方案上限可能會很高,就像是早年間的安卓手機和iPhone拍照的差別。接下來,蘋果要做的就是AR/VR頭顯端的內容生態,這也直接影響著用戶對這款產品的關注程度。

    責任編輯:Rex_25

    關鍵詞:
    推薦閱讀
    欧美国产在线一区,免费看成年视频网页,国产亚洲福利精品一区,亚洲一区二区约美女探花
    <bdo id="ks4iu"><del id="ks4iu"></del></bdo>
  • 
    <pre id="ks4iu"></pre>
  • <bdo id="ks4iu"><del id="ks4iu"></del></bdo>
    <input id="ks4iu"><em id="ks4iu"></em></input>
    
    
  • <center id="ks4iu"><cite id="ks4iu"></cite></center>
  • 主站蜘蛛池模板: 播播开心激情网| 精品熟女碰碰人人a久久| 日韩色在线观看| 欧美69xxxxx另类| 国产精品女人在线观看| 亚洲成电影在线观看青青| 久久99精品久久久久子伦小说| 黑人性受xxxx黑人xyx性爽| 狠狠色噜噜狠狠狠| 日本乱偷互换人妻中文字幕| 国产精品揄拍一区二区| 亚洲国产精品综合福利专区| 一区二区三区国产精品| 精品久久久久成人码免费动漫| 日韩人妻无码精品专区| 国产成人免费一区二区三区| 久久精品小视频| 青青草成人在线| 朝鲜女**又多又黑毛片全免播放| 国产真人无码作爱免费视频| 亚洲AV成人片无码网站| 黑人性受xxxx黑人xyx性爽| 日本成日本片人免费| 国产一卡2卡3卡四卡高清| 中文字幕免费视频精品一| 麻豆国产精品va在线观看不卡 | 琪琪色在线播放| 成都4片p高清视频| 又大又硬又爽免费视频| japanese日本护士xxxx18一19| 特黄特色大片免费播放路01| 国产精品欧美一区二区三区| 亚洲色欧美色2019在线| 67pao强力打造国产免费| 极品唯美女同互摸互添| 国产精品欧美在线不卡| 亚洲av永久无码精品古装片| 韩国v欧美v亚洲v日本v| 成人av在线一区二区三区| 四虎免费大片aⅴ入口| jizz老师喷水|