站内检索

农业大数据管理整个生命周期
作者:孙忠富 褚金翔 杜克明 郑飞翔 发表时间:2015年07月17日

 

  农业大数据就是运用大数据理念、技术和方法,解决农业或涉农领域数据的采集、存储、计算与应用等一系列问题,是大数据理念在农业上的应用和实践。农业涵盖区域广大,涉及领域和内容宽泛,影响因素众多,数据采集复杂,决策管理困难,正因如此,农业是产生大数据的无尽源泉。

  由于农业自身的特殊性,农业数据必然从过去的基于结构化的关系型数据,向半结构化和非结构化数据转变。相对于可以用二维表结构来逻辑表达实现的数据来说,农业更适用于非结构化的数据表达,如大量的文字、影像、图片、动画和声音等形式的超媒体素材,以及专家经验、知识库、模型库等。非结构化数据呈现出快速增长的势头,其数量将大大超过结构化数据。农业生产过程的主体是生物,易受外界环境影响,加上生物的多样性和不确定性、个体与群体差异性以及人的管理等因素,都决定了对数据的采集、处理和分析等有着很高的要求。

  农业大数据特点

  作为大数据的子集,农业大数据在大数据的共同特征之外,还具有如下特点:

  (1)涵盖面广

  从地域来看,以国内区域数据为核心,借鉴国际农业数据作为有效参考;不仅包括全国层面数据,还应涵盖省市数据,甚至地市级和基层部门的数据,为精准区域研究提供基础;从力度来看,不仅应包括统计数据,还包括涉农经济主体的基本信息、投资信息、股东信息、专利信息、进出口信息、招聘信息、媒体信息、GIS坐标信息等。

  (2)数据复杂

  从农业大数据所涉及的主体范围来看,包括农、林、牧、水产、兽医、园艺、土壤等整个农业科学领域,其中主要对象又涉及动物、植物、微生物、昆虫、生态等生命基础学科,以及环境科学、食品科学等。面对如此庞大的数据资源,从专业应用来看,应分步实施,首先是构建农业领域的专业数据资源,其次应逐步有序规划专业的子领域数据资源,例如针对某一作物或某一领域的全过程数据采集,挖掘分析,预测和决策等。

  (3)数据链长

  农业大数据以农业领域为核心(涵盖种植业、林业、畜牧业等子行业),逐步拓展到相关上下游产业(种子培育,化肥生产,农机生产,饲料生产,屠宰业,肉类加工业等),并整合宏观经济背景的数据,包括统计数据、进出口数据、价格数据、生产数据、乃至气象数据等,覆盖了整个农业产业链。

  (4)数据变异性大

  首先,影响农业的因素异常复杂,包括生物、环境、社会等方方面面,都决定了对数据的采集、挖掘与分析应用的难度。其次,农业生产过程的主体是生物,易受外界环境和管理等因素制约,致使在随机性与不确定性、多样性与变异性、个体形状与群体差异性等特征非常明显等。另外,整个农业生产过程的很多环节,目前距离标准化、指标化、定量化和精准化的要求相差甚远,都是农业大数据面临的技术挑战。

  智慧农业的核心内容

  关于智慧农业目前尚无公认的定义和统一的标准,综合多方资料与分析,智慧农业的核心内容可以归纳为以下几个方面:

  (1)涵盖范围:整个农业,是全部的而不是局部的,是全过程的而不是阶段性的;

  (2)技术手段:主要是基于各种先进的信息与网络技术,包括感知、传输和智能处理等技术,实现以自动化生产、最优化控制、数字化与网络化服务、智能化决策管理为主要生产方式;

  (3)整体目标:实现农业高效、优质、节能、环保可持续发展。“智慧农业”是个庞大的系统,或者说只是一个顶层的虚拟概念。其具体实现是由各领域的子系统组成,如智能设施农业、智能农情、智能植保、智能灌溉、智能市场管理等子系统。随着智慧农业不断深入发展,物联网、云计算、大数据等先进技术将更多地得到应用。充分融合各领域知识库、模型库、运用推理、分析等机制,进行预测并提供智能化控制和决策管理,是智慧农业的关键所在。

  智慧农业的发展方向

  现代设施农业因基础设施相对完备,可控环境条件较好。在设施农业中,通过自动化网络监控系统,实时采集温室大棚内各种环境要素参数(如空气温湿度、土壤温湿度、CO2、光照、露点温度等环境参数),自动开启或者关闭指定设备(如灌溉、遮阳、通风、加温制冷等设备);根据用户需求,既为设施农业综合信息提供自动监测手段,也能为环境自动化控制和智能化管理提供科学依据。另外,本研究团队近年来研发的全国小麦苗情物联网监控与诊断系统,通过实时监测农田现场作物与环境信息、各种灾害信息等,可以及时发布作物长势和灾情信息,为田间优化管理、采取有效的防灾减灾措施提供信息服务。这些技术正在改变农业管理理念和生产方式,尽管还很不完善,但已展示出智慧农业的初级形态。

  总体上看,目前智慧农业的发展尚处于初级阶段,距离真正的“智慧”型还相差很远。但通过大数据的挖掘分析,必然极大助推动智慧农业的发展。

  (1)在农业资源的精细监测和调度方面,利用卫星搭载高精度感知设备,获取了土壤、墒情、水文等极为精细的农业资源信息,可以配合农业资源调度专家系统,实现智慧决策;

  (2)在农业生态环境的监测和管理方面,利用传感器感知技术、信息融合传输技术和互联网技术,构建了农业生态环境监测网络,实现对农业生态环境的自动监测,获取了大量的监测数据,为智慧农业的发展提供了数据支持;

  (3)在农业生产过程的精细管理方面,在大田种植、设施农业、果园生产、畜禽水产养殖作业等方面,获得了大量的数据,为实现生产过程的智能化控制和科学化管理提供了数据依托,为提高资源利用率和劳动生产率奠定基础;

  (4)在农产品质量溯源方面,通过对农产品生产、流通、销售过程的全程信息感知、传输、融合和处理,实现农产品“从农田到餐桌”的全程追溯,获得了大量的中间数据,为农产品质量安全保驾护航;

  (5)在农产品物流方面,利用条形码技术和射频识别技术实现产品信息的采集跟踪,获得了大量的渠道数据,可大大提高农产品在仓储和货运中的效率,推动智慧物流的发展。

  面临的挑战

  农业大数据技术目前处于起步阶段,主要面临的以下几个问题。

  (1)非结构化数据的处理

  农业大数据的来源不同,有的来自物联网中的射频设备,有的来自农业信息化的网站,有的来自各种先进的移动终端等,这就导致数据类型从以结构化数据为主转向结构化、半结构化、非结构化三者的融合。结构化数据,即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现,而非结构化数据则不方便用数据库二维逻辑表来表现,非结构化包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音视频信息等。如何将这些非结构化的数据进行统一的存储,如何分析处理这些数据,以及如何对数据进行展示等,将是未来必须解决的问题。

  (2)实时性的保证

  随着时间的流逝,数据中所蕴含的知识价值往往也在衰减,因此实时性也是农业大数据分析过程中必须考虑的问题。尤其是在与天气、环境状况相关的数据分析的方面,大数据的分析不及时可能会导致农业生产灾害的发生。由于数据量的密集,能否在所能接受的时间内完成指定工作也成为农业大数据技术发展的关键问题。

  (3)数据的挖掘与分析

  农业大数据的异构性导致农业数据的类型多种多样,并且由于数据集过大,使得传统的数据挖掘、机器学习等算法不再适用于对农业大数据的挖掘。一方面,云计算是农业大数据处理的主要工具,传统的算法并不能直接适用于农业大数据的处理平台;另一方面,农业大数据的应用有一个很重要的特点就是实时性,算法的准确率不再是主要指标。如何在农业大数据处理的实时性和准确率之间取得平衡,将是未来农业大数据研究的热点。

  (4)数据质量与安全

  农业自身的复杂性决定了数据的多源复杂性,使数据质量控制异常困难,数据管理和质量控制技术难度大;另外,数据安全问题,数据共享和知识产权等问题,也给大数据研究带来了诸多挑战。农业作为中国的基础产业,面临着农产品需求不断增加、资源紧缺、气候变化导致灾害频发、生态安全脆弱、生物多样性持续下降等严峻挑战。夯实以农业物联网、云计算技术为核心的农业信息化基础,建立以大数据为支撑的农业信息化服务、开拓智慧农业新局面,实现农业信息化的跨越式发展,是农业现代化的必由之路。

  移动互联网、物联网和云计算发展的必然结果是走进大数据时代,从本质上看,这些都是获取数据和信息的手段,产生大数据、创造大智慧才是终极目标。在大数据时代,数据就是一切,拥有数据就意味着拥有价值,就可以产生智慧,产生财富。在新一轮农业现代化建设中,要将农业大数据纳入国家农业信息化发展战略,夯实智慧农业的基石,让大数据创造出真正的智慧,支撑智慧农业的稳健发展。

  作者单位:中国农业科学院农业环境与可持续发展研究所

  注:本文主要参考了《大数据在智慧农业中研究与应用展望》一文(孙忠富等,中国农业科技导报,2013,15(6):63-71,其它参考文献从略)

首页投稿广告关于我们联系我们

版权:《高科技与产业化》编辑部版权所有 京ICP备12041800号

地址:北京市海淀区中关村北四环西路33号 邮编:100080

联系电话:(010)82626611-6618 传真:(010)82627674 联系邮箱:hitech@mail.las.ac.cn