1Bureau of Hydrology伪娘 拳交, Changjiang Water Resources Commission, Wuhan Hubei
2Hunan Provincial Hydrology and Water Resources Survey Bureau, Changsha Hunan
3Nanjing Hydraulic Research Institute, Nanjing Jiangsu
Email: liuyw@cjh.com, liudongrun@163.com, chenxy@nhri.cn
Received: Sep. 29th, 2015; accepted: Oct. 14th, 2015; published: Oct. 28th, 2015
Copyright © 2015 by authors and Hans Publishers Inc.
This work is licensed under the Creative Commons Attribution International License (CC BY).
ABSTRACT
This paper introduces the basic concept of big data and its application in related field, analyses the existing problems both in current water resources management and its information system, based on the basic principle of big data and the development trend of information technology, borrowing big data application practice from other fields, taking the national water resources monitoring ability construction project as an example, analyses the data requirements in the water resources management and information system platform construction in the era of big data, taking the existing or possible problems in the actual work as examples, explores and prospects the application of big data in water resources management.
Keywords:Big Data, Water Resources Management, Application
大数据在水资源治理伪娘 拳交中的应用预测
刘予伟1，刘东润2，陈献耘3
1长江水利委员会水文局，湖北 武汉
2湖南省水文水资源勘探局，湖南 长沙
3南京水利科学商酌院，江苏 南京
Email: liuyw@cjh.com, liudongrun@163.com, chenxy@nhri.cn
收稿日历：2015年9月29日；拜托日历：2015年10月14日；发布日历：2015年10月28日
摘 要
本文先容了大数据的基本成见极度在相关范畴的应用实例，分析了面前水资源治理极度现存信息系统存在的问题，依据大数据的基快乐趣和信息技艺的发展趋势，鉴戒和参考其他范畴大数据的应用实践，以国度水资源监控才气成立情势为例，分析了大数据时期水资源治理数据需求与信息系统平台的构建要求，并吞并践诺责任中照旧或可能出现的问题例如，探讨和预测大数据在水资源治理中的应用远景。
重要词 :大数据，水资源治理，应用
1. 小序
频年来，表象变化和东说念主类当作的影响，水资源时空分散变化卓越，水顶点事件频发，尤其跟着城镇化、工业化和农业当代化进度的加速，万般用水户多数加多，用水类型增多，水资源诈欺形式越来越复杂，水量分析计较和设立监控越来越繁重，加上退水增多，退水水质搀杂，浑水处理难以到位，退水影响越来越难以准确计较和评估，致使水资源治理难度加大，其中雄伟的原因之一等于现存的技艺技巧很难与日益进步的水资源治理要求相稳妥，水资源信息枯竭分享和详尽诈欺，水资源治理信息技艺技巧过期于面前主流发展趋势。已有的相关信息系统，比如水文信息采集系统，防汛信息系统，水资源信息治理平台，均枯竭跨部门、跨行业数据分享和详尽诈欺的机制和技巧，基本上还莫得或很少应用大数据极度相关新技艺。
面前，跟着万般通讯和计较机技艺深度交融，迁徙互联网、智能传感网、物联网和云计较等新技艺发展日眉月异，渗入并改动着东说念主类社会的各个方面，数据信息和学问呈爆炸式增长，大数据时期已悄然走来。比拟较而言，大数据应用已在买卖和金融范畴开展较为凡俗，但水资源极度相关范畴还尚未开展或正在起步，由于水资源在社会经济发展中的作用和地位越来越雄伟，水资源治理所触及的面越来越广，难度越来越大，尤其是国度出台最严格的水资源治理轨制，要紧需要选拔大数据等新技艺来翻新治理，本文试图依据大数据表面，鉴戒和参考其他范畴的应用实践，探讨和预测大数据在水资源治理中的应用远景。
2. 大数据概述
2.1. 大数据的基本成见
大数据成见的提倡不错回顾到《当然》杂志2008年9月专刊中发表的著述“Big Data: Science in the Petabyte Era”。尔后，大数据成见被凡俗应用和传播。维基百科对大数据的界说是：“大数据是由于范畴、复杂性、实时而导致的使之无法在一定期间内用通例软件用具对其进行获取、存贮、搜索、分享、分析、可视化的数据麇集”。互联网数据中心将大数据界说为：为更经济地从高频率的、大容量的、不同结构和类型的数据中获取价值而设想的新一代架构和技艺 [1] 。
现在，对大数据成见有多种解析和界说，但基本一致的是所谓大数据的“4V”表面，即所具备的4个基本特征：范畴化(volume)、万般性(variety)、高速率(velocity)和真正性(veracity)。但还有另一种极度雷同的4V表面，其前边的3V内容界说疏通，而第4项变成了有价值(value)。另外，还有学者提倡大数据呈现出“4V + 1C”的特质，除了对“volume”、“variety”和“velocity”赋予了一些新的释义，又提倡第4V——“vitality”，即数据可动态陆续的不休更新与扩充，响应速率快，时效性强，有凡俗应用的活力等；对于对1C——“complexity”的姿色，主如果指鉴于数据结构的复杂，需要有新的技艺范例，来抖擞异构数据结伙接入和实时数据处理等方面的需求 [2] 。
总而言之，大数据的成见尚莫得极度结伙的界说和表述方式，但其中枢和践诺内容是基本一致的，即：数据容量大，数据容貌万般化、非结构化特征较着，数据存储、处理和挖掘极度繁重，其中蕴含着巨大的应用价值。多年来，东说念主们练习的主如果基于结构化数据的分析与应用。有贵府裸露，在践诺应用中有跨越85%的数据属于半结构化或非结构化数据，这些数据凡俗存在于酬酢汇聚、互联网、物联网、电子商务之中，如办公文档、文本、XML、HTML、万般报表、图片、图像、音频和视频信息等。获取、存储、挖掘处理上述非结构化或半结构化的数据，是大数据应用所面对的雄伟挑战。
2.2. 大数据的应用价值
投入大数据时期，东说念主们在商酌与分析某个场合时，将会更多地依赖和使用全部数据而非抽样数据；不需要一味地追求数据的精准性，而要稳妥数据的万般性、丰富性；应用大数据之是以存在巨大的后劲，其重要是有可能从一鳞半瓜的、看似冗余和无序的、绝不联系的海量数据中抽真金不怕火出真知烁见，从中发现新问题，找到惩办问题的新道路和新范例。东说念主们通过对大数据的分析，更容易获取或更关心的是事件产生的收尾(是什么)，而不是产生的原因(为什么)。对数据之间的相关性分析，胜于对因果关系的探索，虽然对相关性有充足的了解，势必促进对因果关系的明白。大数据领受了统计科学的一些特质，但又不同于传统的逻辑推理商酌。大数据的应用更多的是战胜“从数据径直到价值”的想路。数据范畴越大，处理难度也就越大，对其进行挖掘分析所能得到的价值也就越大。大数据既能快捷准确地提供社会经济的举座变化用于决策，也能让泛泛的社会公众获取径直可靠的信息工作。
在一些范畴，照旧生息出许多基于大数据分析的模式，最典型的案例是谷歌公司的“流感预告”，其范例是构建一个基于每天来自全球的30多亿条搜索辅导的系统，这个系统在2009年甲型流感爆发之前就开动对好意思国各地区得胜地进行“流感预告”和“谷歌流感趋势”工作。在农业范畴，硅谷有个表象公司，从好意思国风光局等数据库中获取几十年的天气数据，将各地降雨、气温、泥土景象与积年农作物产量的相关度作念成精密图表，预测农业产量，向农户出售个性化保障。在买卖范畴，沃尔玛公司通过分析销售数据，了解主顾购物风气，得出相宜搭配在一皆出售的商品，还可从中细分主顾群体，提供个性化工作。在金融范畴，阿里巴巴公司字据淘宝网上中小企业的交往景象，筛选出财务健康和肃肃诚信的企业，对他们披发无需担保的贷款 [1] [3] 。
大数据的这种脾阵容必也相宜在水资源治理上的应用，水资源在时空上变化大、周期长、影响因子复杂。在水资源治理上，关联范畴多，触及 面凡俗，信息资源雄壮，对于出现的问题通常很难径直找到原因，治理和决策难度大，但通过大数据应用技艺可获取万般相关信息，找出问题产生的主要影响因子，为水资源治理提供技艺援手。
3. 基于大数据应用的水资源治理数据需求分析
现存的水资源治理系统是由水利部门成立和治理，其数据需求多从水利行业启程进行分析，所建立系统受数据着手的限定，其功能、作用、时效性和工作面相应受到限定；同期，由于受其时信息技艺条款的限定，无法处理和分析数据结构不同、数据着手犬牙交错的雄壮的信息资源，因此，基于大数据应用的水资源治理，等于要冲破行业和部门界限，全面分析其数据需求。
3.1. 基础数据
水资源治理的目的是结束对水资源的合理开垦、详尽治理、优化设立、全面省俭、有用保护，其首要条款是实时防御掌合手水资源及水资源开垦、诈欺和保护景象，准确把合手水资源变化特征和国法，这需要多数的基础数据援手。这些数据主要包括：
(1) 水文及水资源监测、水环境及水生态监测数据、雨水情测报数据等，这些数据主要着手于水文部门；
(2) 用水总量相关数据，包括地表和地下水取用水监测数据、水量分派、汲水许可、水资源调治、用水户及水权交往等数据， 这些数据主要着手于水行政驾驭部门；
(3) 用水效率相关数据，包括节水方针、有计划用水方针、用水定额、用水效率，极度规水等数据。 这些数据主要着手于工业极度相关行业治理部门；
(4) 水功能区纳污量相关数据，包括水功能区画、水域纳污才气遒劲、水功能区水质监测及达标评价、入河排污口探听监测、饮用水源地保护等数据。这些数据主要着手于水利环保等部门；
(5) 水资源经济核算数据，包括耗水总量核算、排污总量核算数据，水资源费核算、分行业给水水费核算、水权转让交往核算、生态赔偿圭表定量核算等数据。这些数据主要着手于经济极度相关治理部门。
3.2. 关联数据
我国现存的水资源治理，是以水利部门为主、环保、农业、国土等其他政府部门兼有职责，要稳妥社会经济发展和最严格的水资源治理，必须惩办数据关联和分享的问题。同期，社会其他部门、相关团体和公民也越来越多地参与或触及水资源监督和治理，由此而产生的与水资源联系的(包括系统和非系统的、迤逦相关的)数据，比如通过互联网以网站、论坛、微信、微博和博客等方式发布的联系信息，不错被诈欺和挖掘，不错弥补已建信息监控汇聚未覆盖范围的信息，并不错鉴戒这些数据，对通例渠说念的信息进行佐证性评估分析。水资源治理链条上各个相关部门网罗或发布的宽阔信息中，随机存在不合称或相反性，通过数据溯源和分析，不错对数据的准确性和真正性作出评估，尤其是有的突发水事件信息，通常领先是从非正规监控部门得到的，因此，对这类数据的关联、分享、挖掘和诈欺，是进步水资源治理效力的雄伟道路。
四色播4. 水资源大数据应用预测
4.1. 数据采集与整合
上述基础数据和关联数据的麇集即基本组成水资源大数据。水利环保等部门主要借助卫星遥感技艺、全球定位系统、地舆信息系统、无线传感汇聚等当代化量测技艺和数据采集技巧，快速有用获取并存储其各自统领范围内的基础数据，这些数据都分散存储在各自的数据库。现在，还莫得酿成各行业部门之间数据分享的机制，要结束对流域水量水质、给水水源地、范畴以上取用水、进出境水量、地下水超采区、入河排污口的在线实时监测等数据的整合与分享，需要构建面向各级部门的水资源治理信息系统平台。
另外，对于分散在不同机构和企业、各工场和灌溉系总揽理单元、住户和工业园区等相对分散的关联数据(包括结构化、非结构化和半结构化数据)，需要借助于迁徙互联网、酬酢网、云计较等技艺将其整合到一个活泼、绽放的高性能平台上，加向前述的基础数据，酿成一个互联互通的数据分享汇聚体系，即所谓水资源大数据云平台。
现在，各相关行业和部门对数据的治理多选拔传统关系型数据库，其数据是用结伙的结构来暴露，即称之为结构化数据，但跟着互联网的发展，不错把超文本文献传送到用户的浏览器里，不仅不错援手笔墨、图形、图像、声息、视频等多媒体信息，还不错援手一些较为复杂的对象，比如电子表格。此类信息根柢无法用数字粗略结伙的结构暴露，即称之为非结构化数据。因此，基于大数据的应用，等于要在原相相关数据库的基础上，补充构建非结构化数据库。这两类数据库将是水资源大数据云平台的基础。
通过云平台对分散在各部门和行业数据库的数据进行关联、清洗、甄别、挖掘和索取，登第有用和有用的数据，供决策者对水资源引申动态有用的监控、调配和治理，如图1所示。
图1. 信息系统云平台暴露图
4.2. 实例分析
正在成立中的国度水资源监控才气成立情势，其目的是初步酿成与实行最严格水资源治理轨制近期想法相稳妥的国度水资源监控才气，为援手水资源治理定量捕快责任奠定基础。
字据情势成立总体设想有有计划 [4] ，系统的业务应用主要包括：水资源信息工作、水资源业务治理、水资源济急治理、水资源调配决策四大方面。其数据范围包括基础信息、监测信息、业务信息、空间信息和多媒体信息：在纵朝上结束水利部、世界7个流域机构、31个省(自治区、直辖市)水利(水务)厅(局)及新疆坐蓐成立兵团水利局的水资源数据分享交换；在横朝上结束与水利防汛抗旱、电子政务系统等水利业务系统的交互关联，同期在技艺上酌量结束与农业、环保、统计、风光等部门的交互，结束表里网之间的数据交换。从系统总体构架来看，该情势成立具有大数据应用的理念和场地，是现在为止我国引申水利信息化情势中应用当代信息技艺较全面、较先进的信息系统，在改日的拓展应用开垦中，跟着海量数据的扩大，将加入迁徙互联网、云计较、数据挖掘等新技艺的应用，从而酿成基于大数据应用的水资源监控云平台。图2裸露了该成立情势数据交换分享框架。
4.3. 应用预测例如
大数据应用不同于传统数据应用的最大别离等于如何通过海量数据，挖掘出通盘的隐敝信息。 这些数据通常是通过万般不同内、外部渠说念网罗的，况兼好多诟谇结构化数据。尤其是在水资源突发事件的济急治理、水资源不法违法的监管难点和盲点、水资源探听评价、论证和水资源开垦诈欺保护策画等方面，有着极度雄伟而深化的应用远景。为了领略大数据分析的价值和在大数据分析的匡助下如何惩办复杂的问题。以下是一些例如分析。
(1) 环保或水文部门发现某一个地方或水域发生严重欺凌事件，通过水资源大数据应用平台，可立时作出欺凌对水环境以及支配的影响预测；水利部门和自来水公司可立即字据季节和用水量，实时调养水库蓄泄水量和给水分派；所在地环保、水利、市政等部门不错实时知道城镇用水和调配情况，并选拔相应的济急法子。
(2) 一些城镇和企业的浑水处理厂永恒未按设想坐蓐才气运行、践诺处理浑水量未达到核算认定要求，超标排放等问题极度盛大，监管难度大，但用电量是臆度浑水处理厂运行效益的一个雄伟方针，通过电网的关联数据，不错查到浑水处理厂时段总的耗电量，从而监测评价其浑水践诺处理量。大数据应用平台建立，不错达到
图2. 国度水资源监控才气成立情势数据交换分享框架图
实时监控的目的。
(3) 一般来说，政府引申水资源治理与治理，其治理和治理的历程及后果，除了由政府自己来监督和评估外，很难有用通过阛阓来结束，毕竟阛阓带有盈利动机，以致阛阓的某些取用水或排污当作恰正是政府需要治理和治理的对象。因此，监督和评价水资源治理联系法子落实情况和后果，关靠政府部门监管可能存在难点和盲点，需要社会和公民参入。一些非谋利组织、社会团体和公民，通过汇聚以微博、微信、论坛等方式发布的笔墨、图像、视频信息，揭露和响应一些违刑场合和事件，起到了有用的监督作用，通过对这些数据和关联信息的挖掘，为水资源治理和治理提供实时有用的工作。
(4) 通过某批次大米查出重金属超标，可回顾到大米产地泥土和水的欺凌景象，从而溯源到当地或上游化工、冶真金不怕火、化肥、采矿等企业的超标排放以及监管缝隙等违法当作，继而监测到水域的水质景象。这些数据通常来自质检部门和新闻媒体。
5. 结语
跟着大范畴水资源监测汇聚的成立和运行，水资源基础数据量日趋雄壮，同期，水资源治理链上的关联数据和社会化数据，亦然水资源治理可诈欺的有价值的信息资源，信息分享和网格化治理的技艺日趋锻练，为海量异构数据的预处理、存储创造了条款，在此配景下，催生了云计较、大数据应用技艺。大数据在水资源治理中的应用，能更有用地对水资源数据进行甄别和质地评估，可结束多身分、多区域的水资源变化趋势分析和预测、为万般水资源治理商酌、为水资源内行事件的监测和预警、为水资源治理中的决策与战略评估提供强有劲的信息和技艺援手。
基金情势
973有计划资助情势：长江中游通江湖泊江湖关系演变及环境生态效应与调控(情势编号：2012CB417000)。
著述援用
刘予伟,刘东润,陈献耘. 大数据在水资源治理中的应用预测Prospect for Big Data Applications in Water Resources Management[J]. 水资源商酌, 2015, 04(05): 470-476.
参考文献 (References)伪娘 拳交