通過(guò)UE4 的 INTEL REALSENSE 插件以新的方式觀察世界
2019/5/28??????點(diǎn)擊：
Intel 一直都對(duì)引入創(chuàng)新的工具和科技感興趣，這些工具能夠?yàn)槭澜缟蠠崆榈膬?nèi)容開(kāi)發(fā)者增加能量。如果你還不甚了解，Intel RealSense camera 在普通的 RGB 照片和視頻技術(shù)上，采用紅外光線來(lái)計(jì)算深度。為了幫助開(kāi)發(fā)這個(gè)技術(shù)的應(yīng)用程序，Intel 創(chuàng)建了 RealSense SDK，一個(gè)用來(lái)做可視化算法的庫(kù)，包括面部識(shí)別，圖片碎片化，以及 3D 掃描。
由于看到了這個(gè)技術(shù)在游戲中的潛在應(yīng)用，我們現(xiàn)在來(lái)為大家介紹 RealSense 插件，這是 Intel 的游戲工程師們合作的產(chǎn)物，將 RealSense SDK 中的各種特性提供出來(lái)以便在虛幻 4 的藍(lán)圖可視化腳本系統(tǒng)中使用。
插件概述
這個(gè)插件是一組 Actor 組件的形式存在，每個(gè)組件封裝了 RealSense SDK 中的一些特定的功能。通過(guò)使用這些相對(duì)輕量的組件，可以為游戲中幾乎每種 Actor 添加 3D 的感應(yīng)能力，并且訪問(wèn)這些數(shù)據(jù)也很簡(jiǎn)單，只需要對(duì)同一個(gè)組件在初始化一個(gè)實(shí)例即可。
插件組建
目前，插件有三個(gè) RealSense 組件：
- Camera Streams 組件： 提供 RealSense 攝像頭的原始顏色和深度的視頻流。
- 3D 掃描組件： 支持真實(shí)世界的物體掃描，以及人臉掃描（如上圖）。
- 頭部跟蹤組件（預(yù)覽）： 支持對(duì)用戶(hù)頭部的位置和角度的檢測(cè)和跟蹤。
接著很快就會(huì)更新，可以期待該插件即將到來(lái)的更多組建：
- 頭部跟蹤組件（完整版）： 用于檢測(cè)和跟蹤高達(dá) 76 面部標(biāo)志點(diǎn)，脈搏速率，和面部表情附加功能。
- 背景碎片組件： 將圖片的前景和背景分離開(kāi)，為實(shí)時(shí)視頻創(chuàng)建“綠幕”的效果（如上圖）。
- 場(chǎng)景掃描組件： 對(duì)大場(chǎng)景（約 2m x 2m 的區(qū)域）生成 3D 模型來(lái)協(xié)助創(chuàng)建用戶(hù)生成的內(nèi)容并加強(qiáng)現(xiàn)實(shí)世界的體驗(yàn)（如下圖）。
- 手部跟蹤組件： 檢測(cè)并跟蹤 22 個(gè)手部標(biāo)志點(diǎn)，識(shí)別 14 種手勢(shì)，或者跟蹤一個(gè)點(diǎn)來(lái)作為鼠標(biāo)類(lèi)型的交互響應(yīng)。
- 語(yǔ)音識(shí)別組建： 將輸入語(yǔ)音轉(zhuǎn)換為文本來(lái)翻譯，或者用于檢測(cè)關(guān)鍵字來(lái)作為語(yǔ)音控制功能輸入。
- 上一篇：Unity3d網(wǎng)絡(luò)通信 - NetWork組件使用 2019/5/28
- 下一篇：HOLOLENS的SOCKET網(wǎng)絡(luò)通訊1 2019/5/23
