前言

视觉是人类感知信息最主要的途径，科学研究证明，人类超过80%的信息感知来自视觉。现在人们在社会活动中已经是随时随地利用摄像头来捕捉、获取信息。手机、平板电脑、计算机，基本上每个数字设备都在使用摄像头，无处不在地和人们进行交互。可是，现在绝大部分的摄像头是2D的摄像头，仅可以获取RGB（红、绿、蓝）色彩信息。而我们生活在一个三维的世界里，用普通摄像头获取RGB数字信息的同时却丢失了深度Z的信息，这让数字世界里再也无法还原原有的三维信息。深度摄像头就是通过主动或被动的方式来捕捉深度信息，真实地记录所拍摄的每个像素的深度，以保留现实世界的所有信息。现在，科研和市场上已有一些深度摄像头，而Intel^®RealSense^TM实感摄像头突破了尺寸大小、功耗、实时处理、精度等各方面的限制，这就极大地扩大了它的使用模式和场景。它不再局限于客厅里的电视体感游戏，而可以集成在笔记本电脑、平板电脑、手机等各种日常的计算设备里。更主要的是它还可以用于机器人、虚拟现实、增强现实、车舱甚至无人机上，充当这些无人设备的眼睛，使它们可以真正看到并感知到这个真实的三维世界，和人类进行真正的智能交互。

Intel RealSense摄像头能够实时输出深度数据，可是如何运用RGBD（红、绿、蓝和深度）数据牵涉很多计算机视觉方面的算法。这无形中加大了人们运用深度摄像头的难度。Intel RealSense SDK也就应运而生。RealSense SDK作为软件开发工具包，充分利用实时的RGBD信息，提供了手势交互、脸部识别、背景分割、场景感知、三维扫描重建、表情分析等一系列计算机视觉算法，通过极其优化的架构，经过严格的测试，提供给每一位开发者。而且这些SDK都是免费的资源，这样极大地降低了开发难度，使开发者可以将精力集中在擅长的使用模式和场景开发上。本书的目的正是为了帮助开发者更好地使用Intel RealSense SDK。本书不仅对SDK进行了详细的介绍，还提供了非常多的开发实例，让读者可以快速上手。当学习到一定程度时，读者可以拓展到各个新的领域，带来更多意想不到的应用惊喜。

本书第1章从自然人机交互出发介绍Intel RealSense技术概况、应用场景和组成。第2章着重介绍Intel RealSense SDK的架构与编程基础。第3~13章依次介绍3D扫描、团块跟踪、深度增强的摄影和录像、脸部跟踪、手势跟踪、物体识别、物体跟踪、场景解析、语音识别与合成、无接触控制、用户分割等核心算法。第14章和第15章分别介绍SDK算法工具及Unity工具集。第16章以Intel RealSense技术在机器人、虚拟教学、VR方面的实例展示了SDK的应用方法。

在Intel RealSense的推广过程中，产业界、工业界、学术界经常交流合作，大家都认为需要有一本这样的书来帮助开发者更好地使用RealSense SDK。本书由浙江大学王曰海、英特尔实感计算中国区总监汤振宇、英特尔RealSense SDK的首席架构师吴新天合作写成，希望对读者的开发工作有所帮助。在本书的写作过程中，得到许多朋友的帮助，包括清华大学杨毅老师和电子工程系核心课程媒体与认知课程项目组成员，浙江大学的毛颖、李竹一、韦笠、张佳鹏、华佳燊、胡文学、叶晓丹、张亮、龙阳祺、张宇翔，英特尔工程师赵飞等。本书向开发Intel RealSense SDK的工程师和团队致敬，他们是所有这一切的基石。我们衷心感谢英特尔中国区大学合作部的朱文利女士、王靖琪女士及其团队的大力支持，感谢英特尔副总裁及感知计算事业部总经理Achin Bhowmik博士的鼎力支持，也要感谢张国强先生积极地策划与推动了本书的成稿。