内嵌AI的智能深度相机Feynman M1

        

       基于自主研发的NE-D163A 主控SoC人工智能视觉芯片，面向机器人、安防、AR/VR、无感智能门禁、机器视觉、物联网、智能交通（客流统计）等行业推出内嵌AI智能深度相机Feynman系列，提供SDK，赋能客户部署差异化算法，支持客户深度定制，以满足各种智能设备定位、避障和智能分析等需求。Feynman系列深度相机的主控芯片内嵌几何和深度引擎DEP，AI加速引擎NPU与视觉加速引擎DSP，采用主动双目视觉技术，在室内外各种场景，均能生成高帧率和高精度的深度图，同时支持端侧实时智能AI算法的部署。整机具有深度图精度高、帧率高、AI算力强、ISP成像质量好、集成度高、功耗低、体积小等诸多优点。

 

                      ▲ Feynman M1 结构图

01. Feynman深度相机的卓越性能

      由于Feynman相机自带1.2Tops INT8 / 0.6Tops FP16 NPU（Neural Processing Unit）和666 DMIPS DSP（Digital Signal Processor）视觉加速算力，因此，在产生深度图的同时可以基于RGB图像或者深度图完成物体识别、检测和智能分析等功能。进而，利用DSP加速视觉算子，相机可定制实现高性能的深度图后处理，点云处理，以及对VSLAM算法关键函数的加速。这是目前业界唯一一款内嵌AI和DSP扩展算力的深度相机。

                 ▲ Feynman M1 Depth+CNN演示效果

     深度距离的精确程度取决于深度图的精度。Feynman相机具有强大的深度视觉处理能力，它无需外挂其他处理器，就可以产生性能高达720P 30FPS的深度图，且具有极低的空洞率。实测数据表明，在同一物品和同一光照条件的情况下，某国际巨头R* D435 的空洞率在1%附近，Feynman空洞率为0.2%。

                     ▲ Feynman M1深度图效果

      Feynman的深度图具有90°对角的广角视场，可以帮助智能设备看得更广，实现更好的避障和路径规划。下图可以看出，Feynman所看到的场景比常规深度相机看到的视野更宽广。

              ▲ 市面常规相机深度图58°*45°（左）

                   vs Feynman M1深度图84°*60°（右）

      Feynman相机内置的NE-D163A芯片还具有业内创新的自学习ISP流水线架构，从而在各种复杂光照环境下均能获得优质的图像。Feynman相机传感器支持极高动态的HDR，并且在低照度场景下依然能清晰成像。

                 ▲ 不同光照环境下的图像处理对比图

      在与市场上高端3D深度相机的性能指标进行比较之后（下表），可以看出Feynman 3D+AI深度相机的竞争优势，尤其在智能方面的亮点更加突出。相机的结构非常紧凑，尺寸为89.8mm x 25mm x 30.8mm，和市面主流深度相机的大小兼容。

         ▲ 某国际巨头R* D435 （左）与Feynman M1 （右） 

    ▲ 某国际巨头R* D435 vs Feynman M1性能参数比较 

 

02. 主控SoC AI 视觉芯片 NE-D163A

      这颗主控SoC芯片NE-D163A是由肇观电子自主研发，拥有高性能深度视觉处理独立硬件IP，专门应用于机器人、AR/VR、工业检测等领域的芯片，已在客户产品中通过了人脸支付、活体检测的BCTC增强级认证。下表是芯片的各项参数：

                       ▲ NE-D163A 视觉AI芯片

                  ▲视觉AI芯片NE-D163A参数

       NE-D163A 包含的NPU具有业界领先的硬件利用率。根据每TOPS下对典型网络的推理帧率，NE-D163A的性能比业界其它AI芯片相比要高2-3倍。其自带的AI编译器Infer Studio™ 支持Caffe，Tensorflow，NCNN，ONNX等框架以及CNN，RNN，LSTM，Transformer等网络类型。同时，NE-D163A的NPU重点支持FP16和INT8两种精度类型，FP16精度无损、INT8精度损失在1%以内，提供了更高的算法部署的准确度。

 ▲ 不同芯片跑几种经典网络模型每秒处理的图片帧数对比

  ▲经典网络模型在PC端和NE-D163A芯片上推理结果的精度实测对比，精度损失在1%以内

 

03. Feynman深度相机的应用场景

      Feynman相机不仅适用于室内，场景复杂的室外仍然适用，在阳光下也可以获得好的深度图。市面上常见的深度相机，其主动光在太阳光下容易受到干扰，从而无法获得良好的深度图。Feynman相机采用独特的光学设计，在室外阳光下应用时，能在降低太阳光干扰的同时，保持信噪比，从而保证深度图的准确性和完整性。

                ▲ Feynman M1室外阳光下深度图

     除了在机器人领域的广泛应用，Feynman相机也在工业场景有诸多应用，针对工业场景，Feynman提供了具有千兆以太网，电源和控制信号航插的扩展款。

                        ▲ Feynman M1扩展款

 

04. 易于开发者二次开发

      Feynman出厂自带标定参数，支持固件升级。为了方便开发者快速评测和集成，肇观电子还提供了丰富的软件工具和SDK支持：主机端SDK源码，包括Windows/Ubuntu(ROS)/Android平台的SDK支持。该SDK用于主机访问和控制相机设备端，代码开源在Github和Gitee上面。对于需要利用端侧AI和DSP算力的产品和深度定制的客户，Feynman提供了设备端SDK。

                            ▲ 各平台SDK支持

      Feynman Viewer是Windows应用，可以通过USB接口进行相机访问，实时控制相机，并完成各类图像获取及展示等功能。

                  ▲ Feynman Viewer 应用程序界面

         Feynman符合人眼安全相关认证标准 IEC60825 Class I，IEC62471，防尘防水等级IP54，通过了第三方可靠性及EMC相关测试。

                  ▲ Feynman 红外激光人眼安全等级

 

05. 结语

      近年来，伴随工业 4.0、人工智能、机器人等产业的蓬勃发展，3D视觉感知成为了限制目前包括机器人、安防、AR/VR、无感智能门禁、机器视觉、物联网、智能交通等众多领域发展的瓶颈，深度相机的需求迅速增长。尤其在移动服务机器人行业，包括送餐机器人、酒店服务机器人，商场机器人，巡检机器人、工厂AGV自主移动机器人、特种移动机器人等，机器人厂商不断寻求性能卓越，可靠，价格合适的深度相机。目前，Feynman系列相机已在诸多机器人产品中批量商用。