本文节选自《智慧农业（中英文）》2020年第2卷第3期，吴华瑞研究员团队的《设施温室影像采集与环境监测机器人系统设计及应用》，其引用格式如下，欢迎大家阅读、引用。

郭威, 吴华瑞, 朱华吉. 设施温室影像采集与环境监测机器人系统设计及应用[J]. 智慧农业（中英文） , 2020, 2(3): 48-60.

GUO Wei, WU Huarui, ZHU Huaji.

点击直达官网阅读（全文，免费）

温室影像采集与环境监测机器人系统设计与实现

1 机器人系统设计

机器人系统整体设计原则有以下几个方面。

（1）经济性：最大程度利用日光温室现有的环境条件，避免农民、科研人员不必要的投入；

（2）易用性：信息获取方式简单便捷，适用于高龄群体；

（3）先进性：采用物联网、大数据、人工智能信息处理技术；

（4）合理性：避免破坏植株生长环境，影响农事操作；

（5）安全性：现场人员安全、环境安全通过软硬件机制配合保障；

（6）可扩展性：基于机器人及软件模块的业务均可进行模块化扩展与集成。

1.1 机器人系统运行轨道部署

在长30 m，宽7.2 m，高3.8 m的拱形温室内进行机器人系统运行轨道安装。为方便进行全场景观测，吊装连接件上方焊接在棚顶钢管，间距为1 m，下方连接T型链接构件，通过T型链接构件固定轨道并使其保持水平（见图1），轨道单元每节3 m，由9组轨道单元连接成为27 m的水平滑轨。通过链条和齿轮将机器人固定在水平滑轨上。为避免温室高温高湿的环境导致电路故障，在滑轨上方安装保护构件。

图1 温室滑轨安装示意图

Fig. 1 Installation diagram of greenhouse slide rail

考虑到温室实际应用环境和机器人自身高度，在摄像头底部和温室内已安装用于悬挂番茄枝蔓的钢丝绳之间保留20~30 cm的安全距离，避免机器人在运动过程中将钢丝绳拉扯断。图2展示了机器人系统的具体安装位置。

图2 机器人系统安装位置

Fig. 2 Installation position of the robot system

1.2 机器人系统结构

本研究设计的机器人系统主要由感知中枢、执行中枢和决策中枢三部分组成，机器人内部结构如图3所示。

图 3 机器人内部结构示意图

Fig. 3 Internal structure schematic diagram of robot system

（1）感知中枢。用于获取360°全视角温室内作物影像，通过400万像素高清摄像头的变焦、调光、放大缩小、预置位设定等功能实现对作物整体长势、单植株表型等不同需求的精确观察，通过热红外成像监控监测温室内异常热源；同时根据温室内的监测参数需求在机器人内部装配空气温度、空气湿度、光照强度等传感器（性能指标见表1），并随机器人同步滑行，实现作物生长环境网格化动态监测。

表1传感器性能指标

Table 1 Sensor performance index

（2）决策中枢。由海量异构数据和针对不同类型作物、生长环境以及可实现用户目标的算法（包括应用于农业的目标检测、自然语言处理等深度学习模型和算法，如：卷积神经网络（Convolutional Neural Network，CNN）、支持向量机（Support Vector Machine，SVM）、K最近邻（K-Nearest Neighbor，KNN）算法等）构成。主要功能是将温室作物表型、生长期、环境、水肥需求等多源异构数据［17］汇总分析，以机器人运动时间和观测内容为决定要素，形成决策信息和机器人运动的执行依据。

（3）执行中枢。由可横向控制运动的滑轮、纵向控制升降的双柱结构和可多角度操控方向、焦距的高清摄像头机构组成。通过执行中枢横向和纵向四自由度运动，获取行间和株间最佳观察位置，同时与视角感知中枢的紧密配合实现精确定位。该结构水平移动最大距离27 m，移动速度为1~15 m/min，垂直升降最大距离1.5 m，升降速度为0.9~3.6 m/min。

1.3 机器人系统总体设计

将机器人系统的三大中枢集成并部署在石家庄赵县农业科技协同创新平台上，通过平台利用物联网、互联网、大数据、人工智能技术面向生产人员、科研人员提供全天候全地域精细服务。平台整体架构如图4所示，分为感知层、传输层、应用层，其中应用层包含数据解析层、存储层和业务层。

图 4 机器人系统整体架构

Fig. 4 Overall architecture of the robot system

1.3.1 感知层

在感知层，机器人搭载360°高清摄像头和环境监测传感器用于温室尺度图像、生长环境参数精准动态采集。通过机器人内置操作系统，可对必要的信息进行本地预处理，便于信息集群分布式管控，缩小传输体量，减少传输链路负载。

1.3.2 传输层

传输层汇集感知终端异构数据。其中高清图像和视频数据量较大，为保持大型数据传输的稳定性，采用有线的方式传输数据，从轨道汇聚至温室末端，通过无线网桥将数据传输至园区大数据中心。机器人需满足毫秒级控制和长期在线，故采用相对稳定的有线传输。而环境监测传感器数据体量较小，但对数据的稳定性、延续性要求较高，因此安装远程终端单元（Remote Terminal Unit，RTU）模块通过GPRS/3G/4G移动网络进行数据传输。

1.3.3 应用层

应用层涵盖数据解析、存储、web端与移动端业务，面向用户提供智能化决策支持服务。

（1）数据解析层

通过PELCO-D控制协议解析机器人四自由度控制指令；通过MODBUS通信协议解析传感器实时数据参数；通过RTP、RTSP、RTCP和PELCO-D协议分别支持视频监控摄像头的音频/视频播放，实时视频流播放和指令控制。

（2）存储层

负责存储和管理业务数据，主要由监测数据、控制指令数据和决策依据数据3部分组成。数据存储于易用性较强、运行速度较快、安全性较高的MySQL数据库中。

（3）业务层

建立园区级物联网设备及作物数据库（见图5），将用户、温室、作物、设备以及决策信息有机关联起来。通过作物生长期、环境监测数据和用户关注重点生成机器人最佳观测位置，作用于机器人横向、纵向移动和视频多角度监控，实现周期性自动巡检。此外，管控业务通过接口和软件开发工具（Software Development Kit，SDK）为web端和移动端提供业务接入服务。

图5 数据表概念实体-联系图

Fig. 5 Entity relationship diagram of database concept

1.4 系统主要功能模块

根据三大中枢划分系统业务模块，包括基础信息模块、视觉感知模块、环境数据采集模块、语音转换模块、分析决策模块和运动控制模块，各模块功能具体见图6。

图6 机器人系统主要功能模块

Fig. 6 Main function modules of the robot system

1.4.1 基础信息模块

如图6所示，该模块设置3类基础信息如下。用户信息：匹配用户操作要求、机器人运动轨迹和数据获取复合性反馈。种植作物信息：记录试验温室当前作物品种、垄距、株距和生长各阶段外观基本信息。温室基础信息：配置轨道起始点相对温室墙壁距离，机器人运动路径中障碍物距离，例如黄瓜、番茄等作物种植前布置的绳子和铁丝。

1.4.2 语音转换模块

实现语音指令发送，如上升、下降、前进、后退、放大、缩小、左转、右转、停止功能。语音识别流程如图7所示，通过语音转换为文字，转换后的文字在手机端进行语句分词匹配，通过用户确认后发送。

图7 语音识别流程图

Fig. 7 Flow chart of speech recognition

1.4.3 视觉感知模块

实现视觉中枢集成，包含温室内机器人视角、温室中央和入口处三个监控设备集成，分别进行大尺度长势和小尺度叶片与茎部特征实时监测，同步集成辅助摄像功能，包括观测范围视角切换、放大与缩小、焦距调整、光线调整、回放和照片截取。

1.4.4 运动控制模块

实现机器人系统执行中枢在水平和垂直运动方向和行进速度的控制，为高清摄像头预置位的设定与调取、精确控制与温室种植作物全视角监测提供基础条件。此外，运动控制模块可结合种植作物生长习性，监测参数反馈和生产科研人员的观测需要，实现运动轨迹智能规划。

操控机制方面，为最大程度避免因传输信号不良导致的安全隐患，通过服务端和手机端远程控制设计成按压式触发指令，即按压状态下机器人运动，松开按键机器人停止，与现场机械限位（即机器人行进过程中在轨道上遇到障碍物停止运动）形成双重保护。机器人运动状态如图8所示。

图8 机器人运动状态图

Fig. 8 Robot motion statechart diagram

1.4.5 环境数据采集模块

用于实现温室内空气温度、空气湿度、光照强度和CO2浓度实时数据网格化监测与历史数据的保存。用户进行每日数据查询，并导出Excel格式的信息，形成制定作物品种的环境数据以存档。

1.4.6 分析决策模块

以作物种类、种植信息、历史轨迹记录和观测者需求为数据采集决策依据。其中作物种类信息包含选中种植作物的高度、叶间距、形状等特征。种植信息包括温室环境、起始位置、垄距、株距、生长阶段等。历史估计记录包括常规的观测路线、暂停点、操作记录等。观测者需求分析是决策指令触发前最后一个步骤，对机器人运动有更加具体的要求，包括整体长势、叶片病害、茎秆病斑等。服务端结合温室尺寸和需求提交参数进行空间定位，将定位信息反馈至预置位的具体位置，随即触发机器人运动指令和摄像头调整指令，影像记录通过网络上传至用户端进行确认。如果符合要求，系统记录信息，形成下一个指令基准，如果不符合要求，则返回进行模型校正重复指令下达及之后的操作。为使系统运行稳定，在校正5次失败的情况下，结束本次任务，用户可选择手动控制定位获取影像。分析决策流程见图9。

图 9 分析决策流程图

Fig. 9 Flow chart of analytical decision

2 系统实现

2.1 开发运行环境

开发环境：服务端以Tomcat8.5.23为容器，前端服务采用Java Servlet技术，数据库采用MySQL 5.7.20。

开发工具：服务端和移动端均使用Java作为开发语言，版本为JDK1.8.0_231，软件为Eclipse Jee 2019-9和Android Studio3.6.3。其中，Android开发SDK版本为26.0.2，最低支持版本为4.0。

2.2 功能实现

2.2.1 数据采集

机器人系统采集的数据主要包括用户需求数据、影像数据、温室环境监测数据和机器人坐标数据，通过手机端无线网络与服务器端进行数据交互，实现异地实时数据上传与下载。

（1）用户需求数据：用户通过手机端发送操作需求，分别选定作物种类、温室内种植信息和观测类型需求，同时可发出语音控制指令。

（2）影像数据：包括摄像头的实时视频监控数据、预置位数据、设备状态数据和网络配置数据等。

（3）温室环境监测数据：实现以半小时为间隔的全周期网格化番茄数据集，包含温室内空气温度、空气湿度、CO2浓度和光照强度等。

2.2.2 数据处理

将机器人四自由度轨道坐标与视频监控空间参数进行融合转化，形成笛卡尔坐标系基准，匹配决策信息。

（1）基础数据转化。将作物种类、种植信息、观测需求三大类数据结合温室尺寸、设备安装位置形成笛卡尔坐标系空间坐标。如番茄采收阶段、氮肥试验区、病害观察，对应到坐标系中（X：10 m，Y：1.1 m，Z：1.2 m），其中X对应长度位置，Y对应宽度位置，Z对应高度位置。

根据空间位置分别换算为设备预置位设定数据，具体如下。

其中，Pveclim为机器人纵向预置位设定长度，m；Hbot为机器人挂载底部高度，m。

其中，PHorilim为机器人横向预置位设定长度，m；0.5 m为滑轨起始位置与温室入口墙距离。

（2）语音感知。在手机端集成讯飞语音听写功能，将末端语音转换为字符串。为满足农户与研究人员不同表达习惯，构建机器人管控语料库，如语义相近的词汇：“前进”“向前”“往前走”；“后退”“向后”“往后倒”等。通过文研究对比与匹配程度，确认待发送的控制指令。

（3）运动系统数据。运动系统数据缺省设定为横向15 m/min，纵向1 m/min，可根据实际测量要求改变速度，根据转化后的坐标系顺序，实现温室作物生长状态全程无人巡检。由于番茄、黄瓜等作物现场种植环境较复杂，特别是搭架和绑蔓会阻挡机器人巡检路线，因此，机器人根据现场垄距，轨迹配置为横向平移，暂停过程进行升降，直至纵向返回最高点，进行下一次平移。

（4）视觉感知数据。视觉感知作为机器人的功能之一，负责视频数据精确采集。本系统集成海康威视平台SDK管控功能和机器视觉算法平台部分算子，包括实时视频播放、图像获取、历史视频回放、预置位设定、焦距调整、亮度调整、间距测量和目标检测等功能。

感知数据获取后，根据病害识别的需要，将达到要求的图像进行快照，随后以接口的形式上传至服务器端，通过SVM、CNN等深度学习算法进行叶片病害识别，针对特定疮痂病、番茄早疫病、番茄健康、番茄晚疫病、番茄叶霉病、番茄斑枯病、茄斑点病、番茄花叶病、番茄黄化曲叶病毒病等公开数据库的十种病害以及现场采集的白粉病和早疫病两种常见病害，集成算法离线有效观测识别率达到90%以上。此外，机器人可根据获取的图像标定观测作物高度，根据株高的常规数值，判断整体长势。

（5）环境监测数据预警提醒。针对番茄病毒病实现监测设备状态判断、结合温室内空气温度和空气湿度两个参数与番茄病毒病发病条件模型关系进行判断，通过日历的形式对现场条件进行预警。参考模型如下。

其中，e是自然常数；P表示番茄病毒病是否发生的概率；T代表温度，℃；H代表湿度， %。

小

店

欢迎光临选购

微信交流服务群

为方便农业科学领域读者、作者和审稿专家学术交流，促进智慧农业发展，为更好地服务广大读者、作者和审稿人，编辑部建立了微信交流服务群，有关专业领域内的问题讨论、投稿相关的问题均可在群里咨询。

入群方法：加小编微信331760296，备注：姓名、单位、研究方向，小编拉您进群，机构营销广告人员勿扰。

信息发布

科研团队介绍及招聘信息、学术会议及相关活动的宣传推广