• 联系我们   Contact
    您的位置:首页 > 新闻动态 > UE4

    通过UE4 的 INTEL REALSENSE 插件以新的方式观察世界

    2019/5/28      点击:

    Intel 一直都对引入创新的工具和科技感兴趣,这些工具能够为世界上热情的内容开发者增加能量。如果你还不甚了解,Intel RealSense camera 在普通的 RGB 照片和视频技术上,采用红外光线来计算深度。为了帮助开发这个技术的应用程序,Intel 创建了 RealSense SDK,一个用来做可视化算法的库,包括面部识别,图片碎片化,以及 3D 扫描。

    由于看到了这个技术在游戏中的潜在应用,我们现在来为大家介绍 RealSense 插件,这是 Intel 的游戏工程师们合作的产物,将 RealSense SDK 中的各种特性提供出来以便在虚幻 4 的蓝图可视化脚本系统中使用。

    插件概述

    这个插件是一组 Actor 组件的形式存在,每个组件封装了 RealSense SDK 中的一些特定的功能。通过使用这些相对轻量的组件,可以为游戏中几乎每种 Actor 添加 3D 的感应能力,并且访问这些数据也很简单,只需要对同一个组件在初始化一个实例即可。

    插件组建

    目前,插件有三个 RealSense 组件:

    1. Camera Streams 组件: 提供 RealSense 摄像头的原始颜色和深度的视频流。
    2. 3D 扫描组件: 支持真实世界的物体扫描,以及人脸扫描(如上图)。
    3. 头部跟踪组件(预览): 支持对用户头部的位置和角度的检测和跟踪。

    接着很快就会更新,可以期待该插件即将到来的更多组建:

    1. 头部跟踪组件(完整版): 用于检测和跟踪高达 76 面部标志点,脉搏速率,和面部表情附加功能。
    2. 背景碎片组件: 将图片的前景和背景分离开,为实时视频创建“绿幕”的效果(如上图)。
    3. 场景扫描组件: 对大场景(约 2m x 2m 的区域)生成 3D 模型来协助创建用户生成的内容并加强现实世界的体验(如下图)。
    4. 手部跟踪组件: 检测并跟踪 22 个手部标志点,识别 14 种手势,或者跟踪一个点来作为鼠标类型的交互响应。
    5. 语音识别组建: 将输入语音转换为文本来翻译,或者用于检测关键字来作为语音控制功能输入。