佳能VR通話體驗：低門檻臨場通訊方案，但延遲、建模問題明顯

(資料圖片僅供參考)

此前，佳能曾在CES 2022上展示了一種沉浸式、交互式的VR通話方案：Kokomo，該方案的特點是兼容VR頭顯和手機，允許VR用戶和非VR用戶在3D場景或VST模式中通話。近期，該方案推出了搶先預覽版本，部分外媒對其進行體驗，并分享了實際體驗感。

據青亭網了解，Kokomo的原理聽起來很簡單，只需要一部手機和一臺VR頭顯，比如Quest 2。不過，它具體是如何操作的呢？原來，該方案允許VR用戶使用寫實的3D Avatar與其他VR用戶進行通話，整個過程如下：

首先用手機端app掃描人臉，并生成寫實的3D人像模型，該模型將代替VR用戶被頭顯遮住的面部。接著，你需要輸入身高，以調整3D虛擬形象的尺寸。

3D形象生成后，Kokomo允許你選擇沙漠等虛擬場景，然后便會在場景中疊加你的3D形象。不過由于3D圖像分割、建模等技術局限，Kokomo中顯示的3D人像并不完美，大部分時間有明顯的圖像缺失，模擬頭顯下面部的效果也不佳（只有20%時間有效）。

在進行通話時，VR用戶需要將手機放在面前幾步遠的位置（大概腰的高度），并戴上VR頭顯。VR中會顯示其他VR用戶的虛擬化身，而這些虛擬化身的動作，則是由手機攝像頭來實時捕捉。

盡管這種設置看起來比較復雜，但實際上比以往需要使用專業動捕、容積攝影工作室的方案成本更低，更容易使用。如果未來Kokomo的實時建模效果能繼續提升，將有望成為一種很好的低門檻遠程呈現（telepresence）方案。當然，實時傳輸3D內容在延遲等方面依然存在問題，短期內可能難以解決。體驗者表示：在測試過程中，與我通話的虛擬化身刷新率可能只有3-4fps，通話體驗并不順暢，打破了沉浸感。

Kokomo的另一個問題是，盡管加入了預先3D建模流程，但在通話中卻僅以2D形式顯示虛擬化身，這可能是出于對算力、數據傳輸限制的考慮。

因此，現階段佳能不打算對Kokomo服務收費，而是希望從早期用戶使用中獲得反饋，進一步完善產品。

責任編輯：Rex_20