首页 解决方案 环保云大数据平台解决方案
解决方案 / Solution
环保云大数据平台解决方案
【概述】

       信息化是社会发展的先导力量,在国家“互联网+”战略的部署下,各领域信息化建设都将发生显著变化。未来环境信息化的建设,要顺应“互联网+”和大数据发展的历史潮流,在环境管理思路上做出大转变、大提高,充分发挥信息化的作用,运用云计算、大数据推动资源整合,数据共享,从而促进数据的应用水平,根本性提高环境监管、宏观决策、公众服务的水平。

       大数据开启了一次重大的时代转型。借助大数据采集技术,将收集到大量关于各项环境质量指标的信息,通过传输到数据中心进行大数据分析,直接指导下一步环境治理方案的制定,并实时监测环境治理效果,动态更新治理方案。这对我国乃至世界的环境保护造成了翻天覆地的变化。人们将能够通过数据准确、快速地了解环境问题的成因、变化趋势,从而更科学地应对,而不是依靠经验和猜测。

【总体架构】

       环保云设计充分考虑网络、数据、应用和安全等方面的多样化需求,采用多层次、强解耦性的体系架构,既保证有良好的扩展性和灵活性,又保证其规范性和安全性,系统基于Hadoop体系的分布式技术,统一考虑数据量大,应用开发复杂等各个层面的需求,提供灵活的资源管理和灵活的数据服务机制,对应用层提供各种数据服务,以适应开发不同应用的需求。平台总体架构设计如下图所示:





       基础资源服务

       利用云计算池化技术,建设计算资源池、存储资源池、网络资源池、灾备资源池,根据应用情况,实现动态拓展、按需分配,资源共享。基于大数据的技术要求,搭建大数据服务集群,包含Hadoop集群、Nosql集群、分布式索引集群。

       信息资源服务

       依托ETL、MQ、SOA、分布式计算、流式计算、分布式搜索引擎等技术,支持服务化架构和多种服务协议的接入,为各种数据服务提供管理和聚合的中心,对外提供服务的检索、订阅等功能,并实现服务调用的安全访问控制、调度和监控等,这些服务能力的动态组合和混搭促成了更加丰富的应用创新。在环保云大数据平台架构中,信息资源服务平台同时承担企业服务总线的角色,是连接服务提供者和消费者之间的桥梁和纽带。

       云应用

       云搜索,具备强大实战效能的智能化搜索引擎,内置大数据深度挖掘工具和实战应用技战法。对海量环保信息横向关联、秒级查询,实现信息的无缝对接和立体展现。打破部门界限,为合成应用、高端应用提供全方位、多层次、高精准、广覆盖的实战应用工具。

疑似造假分析,建立数据分析模型,根据监测数据的波动幅度、超出上下限控的频率、与原材料消耗(生产量)的关联程度、日(月)平均值跳幅等,对企业数据进行分析,产生量化结果,输出可疑企业名单。

       溯源分析,目前仅考虑针对河流建立污染源溯源分析。同时采集河流各个采集点数据,根据污染浓度大小,逐段找出可能排污的企业。

       限排暂关分析,根据上级单位要求阶段性关闭污染企业,由系统根据计划关闭的排污量、企业生产量、所属行业、所处区域、最近被关闭日期等因素,自动产生拟关闭企业建议清单。

       阶梯价格制定,对区域内过去一年的污染情况进行统计,统计出每一时间段(例如季度)内的污染数值,以此为基准,制定出每个时间段内的排污价格。

       污染贡献率统计,计算出区域内每个排污企业的排污总量数值,以此为依据统计出区域内排污量排名靠前的企业名单。

       产能分析,根据不同的行业,统计出每家企业的年生产总量和排污总量,对两项数据相除,得出企业的产能数据。以此为依据,为环保单位人员提供低产能企业清单,作为关停企业的依据。

       环境质量VS排污量,对各个区域的环境质量数值和排污总量进行对比分析。划定时间间隔(例如按照月份划分),统计每一时间段内平均环境质量和排污量。以此为依据,便于环保人员制定不同时间的排污总量控制计划。

       舆情分析,建立网络爬虫集群,指定舆情爬取范围和过滤条件。以NoSql集群存储爬取的网页数据,并结合分布式搜索引擎实现对网页关键词的快速查询和统计分析功能。

       数据公开,建立数据资源目录系统,通过SOA或MQ方式对异构系统提供数据接口服务。