一、农业大数据的内涵
农业是产生大数据的无尽源泉,也是大数据应用的广阔天地。农业数据涵盖面广、数据源复杂。关于农业大数据,顾名思义,就是运用大数据理念、技术和方法,解决农业或涉农领域数据的采集、存储、计算与应用等一系列问题,是大数据理论和技术在农业上的应用和实践。农业大数据是大数据理论和技术的专业化应用,除了具备大数据的公共属性,必然具有农业数据自身的特点。通常所讲到的农业,实际上应涵盖农村、农业和农民三个层面,具有涵盖区域广、涉及领域和内容宽泛、影响因素众多、数据采集复杂、决策管理困难等特点。狭义的农业生产是指种植业,包括生产粮食作物、经济作物、饲料作物和绿肥等农作物的生产活动等,不仅仅涉及到耕地、播种、施肥、杀虫、收割、存储、育种等作物生产的全过程各环节,而且还涉及跨行业、跨专业、跨业务的数据分析与挖掘,以及结果的展示与应用,乃至整个产业链的资源、环境、过程、安全等监控与决策管理等。广义的农业生产是指包括种植业、林业、畜牧业、渔业和副业五种产业形式,均应该包含在农业大数据研究的范畴中。
随着精准农业、智慧农业、物联网和云计算的快速发展要求,农业数据也呈现出爆炸式的增加,数据从存储到挖掘应用都面临巨大挑战。物联网在农业各领域的渗透已经成为农业信息技术发展的必然趋势,也必将成为农业大数据最重要的数据源。大量的农业工作者和管理者,既是大数据的使用者,也是大数据的制造者。由于农业自身的复杂性和特殊性,农业数据必将从基于结构化的关系型数据类型,向半结构化和非结构化数据类型转变。相对于采用二维表来逻辑表达的关系型数据结构,农业领域更多的是非结构化的数据,如大量的文字、图表、图片、动画、语音/视频等形式的超媒体要素,以及专家经验和知识、农业模型等。大量事实已经证明,非结构化数据呈现出快速增长的势头,其数量已大大超过结构化数据。尤其是农业生产过程的主体是生物,易受外界环境和人的管理等因素影响,存在多样性和变异性、个体与群体差异性等,都决定了对数据的采集、挖掘与分析应用的难度。如何挖掘数据价值、提高数据分析应用能力、减少数据冗余和数据垃圾,是农业大数据面临的重要课题。
二、农业大数据的主要应用
基于目前农业信息技术主要应用领域和产生大数据的主要来源分析,大数据的主要应用领域包括以下几个方面:
①生产过程管理数据: 设施种植业、设施养殖业( 畜禽和水产等) 、精准农业等。提高整个生产过程的精准化监测、智能化决策、科学化管理和调控,是农业信息化的紧迫任务。
②农业资源管理数据:土地资源、水资源、农业生物资源、生产资料等。我国农业资源紧缺、生态环境与生物多样性退化,要在摸清家底的基础上,进一步优化配置、合理开发,实现农业高产优质、节能高效的可持续发展。
③农业生态环境管理数据: 土壤、大气、水质、气象、污染、灾害等。需要进行全面监测、精准管理。
④农产品与食品安全管理大数据:产地环境、产业链管理、产前产中产后、储藏加工、市场流通领域、物流、供应链与溯源系统等。
⑤农业装备与设施监控大数据: 设备和实施工况监控、远程诊断、服务调度等。
在上述应用中,关键是农业环境与资源、农业生产过程、农业产品安全、农业市场和消费的监测和预测等。
⑥各种科研活动产生的大数据,如大量的遥感数据,包括空间与地面数据; 大量的生物实验数据,如基因图谱、大规模测序、农业基因组数据、大分子与药物设计等。
三、农业大数据的主要任务
基于大数据的理论和技术,不断推进农业大数据技术的创新与应用实践,结合国家农业现代化和农业信息化发展战略,突破农业大数据的一些关键技术,谋划和凝练一批农业大数据的示范和应用项目,将大数据提升到与物联网和云计算同等重要的地位,抢占大数据这一新时代信息化技术制高点,推进智慧农业不断发展。
在市场经济条件下,农业的分散经营和生产模式,使得在参与市场竞争中对信息的依赖性比任何时候都更加重要: 信息和服务的滞后性,往往对整个产业链产生巨大的负面影响。由于市场经济的特点,农业生产很难在全国范围内形成统一规划,致使农业生产受市场波动影响颇大,而且农业生产很多方面是依靠感觉和经验,缺少量化的数据支撑。大数据时代,不仅可以通过建立综合的数据平台,调控农业生产,还可以记录分析农业种养过程、流通过程中的动态变化,通过分析数据,制定一系列调控和管理措施,使农业高效有序发展。
1、优化整合农业数据资源
我国农业信息技术在经历了多年的发展,研发了涵盖多层面、多领域的农业信息化系统,构建了很多不同级别、面向不同领域的数据资源,形成了庞大的信息资源财富。我国大量的涉农网站,汇集了很多信息资源。但由于体制和利益等原因,这些数据相互之间缺乏统一标准和规范,在功能上不能关联互补、信息不能共享互换、信息与业务流程和应用相互脱节,形成了所谓的信息孤岛。数据缺乏标准、难以共享,必然导致低水平重复建设、数据利用率低、信息资源凌乱分散和大量冗余等。基于云计算构架和大数据技术,整合数据资源、规范数据标准、统一标识和规范协议等,实现计算资源虚拟化建设,是消除数据鸿沟、发展农业大数据资源的关键所在,否则就构不成大数据,就会成为无水之源、无本之木,造成巧妇难为无米之炊的困境。通过构造虚拟化技术平台,实现 IT 资源的逻辑抽象和统一表示,将在大规模数据中心管理和解决方案交付方面发挥巨大的作用,是支撑云存储和云计算系统的基石。
2、农业大数据平台建设
为了不断推进农业经济的优化,实现可持续的产业发展和区域产业结构优化调整,进一步推动智慧农业发展进程,需要全面及时掌握农业的发展动态,这需要依托农业大数据及相关大数据分析处理技术,建设一个农业大数据分析应用平台。在技术上,该平台应该基于先进的大数据系统框架,充分融合物联网在数据获取以及云计算在数据处理方面的技术优势,建设具有高效性、先进性和开放性的业务化应用平台,例如探索构建基于 Hadoop + Map-Reduce 平台。结构上,该平台应具有良好的可配置性,满足资源扩展、业务流程的变化。平台应具有稳健的设计构架、良好的人机交互功能,便于一般技术人员开发使用。随着应用领域的拓宽、业务的发展、业务量的增加,系统也应该具有良好的扩展性和应用性。
平台建设:①针对所选择的优先发展领域,如智能农情( 苗情、墒情、灾情、病虫情) 监测、智能设施农业( 种植业和养殖业) 等,基于农业大数据相关技术,构建包括数据采集技术、存储技术、处理技术、分析挖掘技术、展现技术等一体化应用平台; ②基于大数据技术,研发智能化的决策支持系统,可提供大数据分析成果发布,决策管理信息发布,不仅可为科研院所、各级政府、涉农企业、社会公众等提供公共的业务服务,也可提供个性化的服务功能。
系统技术和功能:①通过规范数据接口和协议,实现各类相关数据库的交互访问; ②提供数据分析应用的算法库、模型库、知识库; ③能满足农业大数据研究的专业化和个性化需求,在数据采集、分析、发布等方面提供技术和方法支持; ④数据的浏览,对数据进行查询、展现和基础统计分析等初步应用; ⑤提供云存储和服务的功能等。
通过专业化处理,对海量数据快速“提纯”并获得有价值的信息,最终为政府、企业乃至各种类型单位的决策和发展提供支持。
中国乡村发现网转自:新三农研究(头条号)
(扫一扫,更多精彩内容!)