大数据一体化管理平台(精选12篇)
1.大数据一体化管理平台 篇一
密级:内部公开
环境数据中心
大数据平台分析
Big data platform analysis
SOFTWARE PRODUCT
聚光科技(杭州)股份有限公司
内部资料 注意保密
目 录
1.大数据背景...............................................................................................................1
1.1.什么是大数据................................................................................................1 1.2.发展现状........................................................................................................1 1.3.大数据的应用................................................................................................2 2.大数据平台介绍.......................................................................................................4
2.1.定位................................................................................................................4
2.1.1.产品概述............................................................................................4 2.2.功能................................................................................................................4 2.3.设计................................................................................................................4 2.4.技术..............................................................................错误!未定义书签。2.5.总结................................................................................................................4 3.环境数据中心...........................................................................................................5
3.1.背景定位........................................................................................................5 3.2.功能................................................................................................................5
3.2.1...............................................................................................................5 3.2.2.............................................................................错误!未定义书签。3.3.设计................................................................................................................6 3.4.技术..............................................................................错误!未定义书签。4.总结...........................................................................................................................6
I
内部资料 注意保密
1.大数据背景
1.1.什么是大数据
大数据最早在上世纪90年代被提出,是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。
现在,业界普遍认同所谓“大数据”具有明显的“3V特征”:量级(Volume),速度(Velocity)和多样性(Variety)。大数据普遍具有量级大,要求处理速度快,数据本身具有丰富的多样性。在甲骨文公司和中国移动研究院的相关研究文档里,都追加了第四个V——Value,价值;而IBM在其相关文档中给出的第四个“V”则是真实性(Veracity)。
大数据的价值:在海量的规则或不规则数据之中,用新的数据处理手段,以很快的速度计算或分析出潜在规律性、根本性的判断、趋势或预见。
1.2.发展现状
随着移动互联网的带宽的增加和智能设备销售量的上升,互联网业迎来了“云计算”和“大数据”。世界经济论坛一份有关大数据的研究报告称,每天全球几十亿人使用计算机、GPS设备、电话和医疗设备,产生海量的数据信息。这些用户大部分来自发展中国家,他们的需求和习惯尚未被真正理解,如果能够借助大数据相关技术分析和挖掘数据背后的信息,将有助于认识需求、提供预测和防范危机。
大数据的真正意义并不在于大带宽和大存储,而在于对容量大且种类繁多的数据进行分析并从中萃取大价值。采用大数据处理方法,生物制药、新材料研制生产的流程会发生革命性的变化,可以通过数据处理能力极高的计算机并行处理,同时进行大批量的仿真比较和筛选,大大提高科研和生产效率。数据已成为矿物和化学元素一样的原始材料,未来可能形成“数据探矿”、“数据化学”等新学科和新工艺模式。大数据处理的兴起也将改变云计算的发展方向,云计算正在进入以AaaS(分析即服务)为主要标志的Cloud 2.0时代。
内部资料 注意保密
项目使得卫生单位及早研制预防疫苗,及早控制疫情的扩散,大幅降低了流感的传播。
3、飞机票价高低和多早预购的关系
也许大家会直觉地认为越早买机票就越可以买到较便宜的机票。一家叫Farecast公司的创始人从他的亲身经验启发了一个新的服务。他发现坐他旁边的人比他晚好几天购买机票却比他的购买价格还低。于是他搜集了所有航空公司的票价与提前订购时间的数据关系,并建立了数学模型。现在我们任何人可以上到他的网站:farecast.com,输入你的出发地和目的地,加上你要出发的时间,马上这个网页能告诉你是现在就赶快买票还是再等几天才买。
内部资料 注意保密
3.环境数据中心
3.1.背景定位
环境管理部门每天要面对大量的数据,如环境监测数据、排污收费数据、排污申报数据、环境统计数据、环保信访数据、行政处罚数据、总量减排数据等。这些数据,往往存在来源复杂、格式多样、不一致、不准确、不完整、存放分散等问题,给环境管理带来诸多困难。各业务系统也彼此独立,从而形成了一个个信息孤岛,数据难以共享,环境决策缺乏有效的数据支持,难以做到科学决策。因此,需要建立统一的环境数据中心,全面整合各类环境资源数据,实现数据的集中管理。使之成为环保各业务科室之间协同工作的数据中心,成为多媒体、文档资料和政策法规的存储中心,成为环保决策所需的数据仓库中心。
3.2.功能
3.2.1.数据的管理
数据中心的数据来源主要于:
1.国家下发的软件系统,如污染源普查软件、环境统计软件; 2.已有的业务系统,如排污申报与收费管理系统、12369环保热线等。3.Excel表格、电子文档、图片、视频、扫描件等;
4.数据直报系统:系统提供定制的录入界面,用户手工填报。
对于这些来源复杂、格式多样、不一致、不准确、不完整、存放分散的数据进行统一的标准建立,实现信息共享,数据交互
3.2.2.数据的管理
1.文件的上传、修改、删除 2.元数据的编辑
2.大数据一体化管理平台 篇二
关键词:大数据,科技管理,创新平台
互联网技术的应用和实施,使世界都发生了时代性的转变,我国逐渐实现了现代化社会的快速转型,并使人们的生活发生了巨大的改变。随之而来的大数据时代, 为我国的科技发展创造出了新的发展契机,使其可以在现代化的社会当中得以稳定提升。在大数据背景下,科技管理中的新型特点也日益凸显出来,成为许多相关学者所重点关注的内容,并通过不断的应用与完善,为人们提供了更加丰富的信息资源。
1大数据背景下科技管理的特点
1.1实验数据的激增性、复杂性
信息全球化时代的到来,为我国的科学技术发展提供了更丰富的信息资源,同时在大数据背景的影响下, 科学技术的实验数据也呈现出了激增性的特点。在传感器的作用下,任何物质都可以成为信息的传递者和接受者,这不仅可以实现对信息资源的丰富化,同时也将有利于科学技术实验数据的有效传递,从而进一步实现科技水平的提升[1]。据相关统计调查发现,2011年全球被创建和复制的数据总量超过了1.8ZB,根据对其增长定量的分析,预计到2020年,全球的数据总量将超过35ZB,这充分说明大数据背景下的激增性特点。而与传统的信息采集模式相比,大数据背景下的实验数据将更具复杂性,其主要是由于不断激增的数据,逐渐形成了非结构化的特点,并在某种程度上增加了科技信息管理人员的信息处理量的同时,也加大了工作难度。与此同时,科技实验的数据内容也发生了一定的转变,比如数据的表现形式、价值密度等,都产生了相应的改变,这也在一定程度上加深了科技管理的难度。
1.2科技研究成本的提高
在大数据背景时代的要求下,传统的科技实验方法已经不适应当前社会的发展需求,甚至在某种程度上阻碍了科研工作的有效开展。因此,相关人员不得不通过对科研研究设备的更新,以及对科研技术手段的提升, 来适应当前社会的快速发展,并确保实验数据的真实性、 可靠性。先进科研技术设备的购进,已经成为科研工作开展的核心环节,而这也在一定程度上增加了科技研究的成本,甚至导致部分科研企业由于经费不足,而阻碍了科研工作的开展,使其面临着更大的难题[2]。
2大数据背景下科技管理创新平台的构建途径
通过对上文的分析可以发现,大数据时代的到来, 在为我国科技管理水平的提升带来发展契机的同时,也带来了更大的挑战。因此,本文将对大数据背景下,科技管理创新平台的构建途径进行分析,并从科技战略、 政策、转化以及研发等几方面进行综合阐述。
2.1科技战略平台
科技战略平台,作为实现科研工作开展的核心保障之一,为科技管理创新平台的构建起到了至关重要的积极作用。在科技管理工作开展的过程中,只有确保战略的科学性、合理性,才能确保科研工作的顺利实施[3]。 在构建科技战略平台的过程中,应当充分发挥出现代化的思想和理念,确保战略的长期性,并通过在日常工作开展中的不断完善和优化,确保战略的先进性,使其适应当前社会的快速发展,并为科研工作产生积极的影响。
2.2科技政策平台
相较于科技战略平台而言,科技政策平台是衡量其战略制定方向的核心标准,同时也是战略制定的主要体现之一。在构建科技管理创新平台的过程中,科技政策可以直接对科研工作的开展范围、领域等,产生不可或缺的决定性影响,同时其也是我国科技水平稳步提升的基础保障。在科技政策平台建立时,其可能包括多种领域的相关政策,如金融政策等,这主要是由于若只在同领域内建立相关的政策,则会出现矛盾重叠的现象,而通过对多种政策的统一制定,则会起到相互约束的积极作用,以此来提高政策的实施效率。
2.3科技转化平台
科技转化平台,主要是实现对科技与经济的综合转换。在我国进行科技管理的过程中,科技与经济之间的相互转换,一直是我国所面临的主要问题之一,这不仅阻碍了科研工作的顺利开展,同时也将影响我国经济的健康发展[4]。因此,必须实现对科技转化平台的有效构建,才能确保科技与经济之间的有效互换和交融,并为科技管理平台的构建提供稳定的发展基础。通常而言, 科技转化平台的建立,是确保科研成果价值发挥的主要途径,其可以实现与产业链的有效连接,从而进一步加强工作人员之间的相互交流,以此来加强人们对科研成果的有效推广,以科学技术来促进我国的经济发展。
2.4科技研发平台
科技研发平台,作为科技创新管理中的核心环节, 也是创新平台构建中的首要任务。在大数据背景下,科技研发平台的设立既要满足当前科技管理的基本需求, 同时也要满足社会的发展需要,并通过对计算机技术、 互联网技术等的综合应用和融合,实现对科技资源的合理利用,并可以在一定程度上实现科研成本的有效节约, 最终对科技管理创新平台的构建产生积极的影响。一方面,相关人员可以构建物联网云平台,从大数据中获得丰富的信息资源,并确保资源的价值性特点,以此来实现对科研技术的顺利研发;另一方面,应当从科学管理的角度,实现对科研设备的综合管理,避免出现由于重复购买而带来的经济损失,并以此来实现科技管理水平的稳定提高,最终为我国科研事业的发展做出巨大的贡献。
3结论
第二次工业革命的到来,使科技逐渐成为社会各界所重点关注的内容,并日益成为各国提升国际竞争力的主要途径之一。科技管理创新平台的构建,不仅可以实现我国人民生活水平的有效提高,同时也积极促进了我国经济的稳定发展,是我国当前发展中的重要组成部分。 而在大数据背景的要求下,其为我国的科技管理提出了更高的要求,并使其逐渐呈现出研究数据的复杂性、科技研究成本的提高等基本特点,阻碍了科研工作的顺利开展。因此,本文对大数据背景下的科技管理创新平台构建进行研究,以此来促进我国科研事业的稳定发展。
参考文献
[1]蔡宁,王节祥,杨大鹏.产业融合背景下平台包络战略选择与竞争优势构建——基于浙报传媒的案例研究[J].中国工业经济,2015,9(5):96-109.
[2]肖艳.大数据时代地方高校实现协同创新信息管理平台构建及路径[J].情报科学,2015,7(11):39-43.
[3]李莉,顾春霞,杨雅楠.大数据背景下科技型中小企业信用信息平台建设——基于消除“隐性壁垒”问题的探讨[J].中国流通经济,2014,2(8):63-69.
3.大数据一体化管理平台 篇三
摘要:目前高校档案管理存在管理内容独立、管理不全面、重馆藏轻利用等问题,通过引入“云平台+大数据”技术,实现高校档案管理向全面化、智能化方向发展。
关键词:高校;档案管理;云平台;大数据
一、引言
随着信息技术的发展,我国高校教育信息化已日趋完善。高校每天从各个信息管理平台产生了大量的电子文档,特别是教学平台产生的大量音频视频文件,日积月累,将给高校各信息系统的正常运行和档案管理带来巨大挑战。以前针对大量的电子文档一般采用措施是:增加硬盘存贮空间、提高硬件性能或只保留规定年限内的,其余删除。目前,有一种新的解决方案:引入“云平台+大数据”技术。云平台可通过对大量普通PC机的集群,实现存贮空间的以快速低廉的成本进行扩充。大数据是以海量的信息、多种数据类型、知识密集度低等特征为高校档案信息资源实现数据分析与数据挖掘提供技术上的支撑。
二、高校档案管理现状
目前高校档案管理主要存在如下几方面的问题:1、由于历史原因,档案管理信息系统一般都独立存在,如:教师信息有教师信息管理系统、学生信息有学生信息管理系统、图书馆有图书馆信息管理系统、教学有专门的网站等,系统之间数据基本独立。2、由于技术的限制,目前一般的信息管理系统都采用关系型数据库存贮数据,对结构化数据信息存取比较方便,但对非结构化电子文件,如文档、表格、网页、音频视频等存贮比较困难,所以目前这些非结构化文件在档案处理过程中,很多高校依然采用纸质或统一以普通文件存放,造成管理不全面。3、目前国内高校档案管理中普遍存在“重馆藏轻利用”的现象[1],档案管理员对馆藏数量比较重视,但对如何提高档案信息的利用率及应用服务不够重视。
三、高校档案的特性
与一般档案相比,高校档案有其自身的特征,大致可归纳为如下几个方面:
1、档案形式广泛、内容多样。高校档案包括教师个人档案、教师教学档案、教师科研档案、学生个人档案、学校行政档案、各分院行政档案、资产档案、图书资料档案等。如果将目前网络教学平台资料、学校OA平台各类文件、各分院网络平台资料也归入档案进行统一存贮管理,内容将更全面、丰富。
2、档案存贮形式多样。由于高校档案来源广泛,势必造成有多种存贮形式,如教师个人档案、学生个人档案、资产档案等以结构化数据存贮为主;但对不少教学资料档案、行政档案、图书资料档案、各类教师学生获奖证书等,大多还以纸质形式存贮,或以电子扫描文件存贮;网络教学平台、学校OA平台等发送的文件,一般以文档、音视频文件等形式存贮[2]。
3、档案调用频繁,利用率高。高校档案大多都需要频繁调用,如学生每学年的评优、每一届毕业生的调档;教师每年晋升职称查档;上级主管部门的教学评估和学校内部教学质量检查调档;学生转专业、教师人事调动调档等。
4、档案价值密度较大。由于高校档案资源主要来自校内已有的信息系统,从这些系统中获取的资料格式规范、内容完整,其档案信息的价值密度较高。
四、云平台+大数据的应用
云平台分公有云和私有云[3],主要用于解决大容量存贮问题。公有云目前常用的有阿里云服务器、腾迅云服务器、百度云服务器等,可通过租赁的方式获取云空间。私有云目前常用Hadoop框架进行搭建,相对公有云,私有云的优势在于采用自主管理,在扩充存贮空间方面相对比较方便,并能对数据、安全性提供有效控制。
大数据技术是在合理时间内完成海量数据的采集与处理,最后将处理结果反馈给用户,给用户决策提供帮助。大数据有4V特征,分别是:数量(Volume),即数据巨大,从TB级别跃升到PB级别;多样性(Variety),即数据类型繁多,不仅包括传统的格式化数据,还包括来自互联网的网络日志、视频、图片、地理位置信息等;速度(Velocity),即处理速度快;真实性(Veracity),即追求高质量的数据[4]。
根据高校档案的特性,采用云平台+大数据技术可以很好的解决目前高校档案管理中存在的问题。图1是结合“云平台+大数据”的高校档案管理系统设想。在该图中,通过建立Hadoop私有云平台,在该平台下,采用HDFS和Database相结合的数据库存贮方式,将结构化数据和非结构化数据进行分别存贮,根据需要由大数据引擎的数据处理层进行调配。HDFS和Database相结合的数据库处理方式有利于充分发挥关系型数据库和非关系型数据库的优势,使系统的处理效率更高。数据来源通过对已有的不同信息系统建立相应的接口进行处理,通过在休息时间由系统自动调用接口,更新高校档案管理系统数据库。在应用层,通过不同的业务访问档案管理系统时,可通过应用接口层访问数据库处理层,再由数据库处理层访问到HDFS/Database数据库。
五、结束语
通过结合“云平台+大数据”的高校档案管理系统,由于将高校各种档案管理或教学网站等信息系统的数据库集成到一起,不但能解决目前高校档案管理各自为战,信息不全,且查询不方便的问题,而且如果能引入大数据中的数据挖掘技术,还可找出档案信息之间、用户之间以及档案与用户之间潜在的逻辑关联规则,从而能够为学校教学、学生综合素质评价提供帮助与决策。
参考文献:
[1]李小晨. 大数据时代背景下的档案管理探讨[J].云南档案,2013.6:48-50.
[2]陈峰,孙淼洋. 大数据在高校档案信息管理中的应用研究[J].管理信息化,2015.7:54-55.
[3]孟宇,张涛,赵政文.数字档案云平台的构建与研究[J].微处理机,2013,34(6):49-52.
4.渤海粮仓科技示范工程大数据平台 篇四
作者:农业大数据研究中心 宋长青 来源:《山东农大报》 发布时间:2014-06-06 00:00
5月23日上午11时20分,中共中央政治局委员、国务院副总理汪洋,在山东省委副书记、省长郭树清陪同下来到滨州市无棣县万亩盐碱地改造试验示范基地,考察“渤海粮仓”科技示范工程实施情况。作为“渤海粮仓增产增效的大数据支撑研究”
项目和“渤海粮仓科技示范工程大数据平台”建设的参与者和实施者,我亲眼目睹了这次考察,留下了难忘的记忆。
汪副总理一下车,首先与等候在现场的科技人员一一握手,然后走到展板前认真听取了中国科学院关于“渤海粮仓”
项目实施情况的汇报,查看了摆放在现场的小麦玉米良种、生物菌肥等实物,不时与科技人员进行交流。当来到山东农业大学研发的 “渤海粮仓科技示范工程大数据平台”汇报现场时,我们现场的人员异常激动,也非常冷静。我们知道,这次汇报的大数据平台研发过程中,山东省科技厅和学校有关领导、课题组研发人员付出了多大的辛劳。我校科技人员将平台的数据采集、挖掘分析、监测预警、决策服务等四个模块,一一向汪副总理做了汇报演示,并请他通过摄像头远程查看德州、东营示范区的小麦长势。汪副总理了解了平台功能和已发挥的作用,并通过平台看到三地市小麦长势喜人、丰收在望,露出了满意的笑容。
记得今年年初,省科技厅把我和柳平增博士、高明秀博士等一行召集到济南,研讨如何进一步发挥物联网和大数据技术优势,更好地推进“渤海粮仓”山东区建设;同时下达并启动“渤海粮仓科技示范工程大数据平台”建设研究。回来后,给学校和科技处领导作了汇报,大家就投入到紧张的工作中。
记得今年4月底,省科技厅通知,5月份上级领导可能来山东考察,要求山东农业大学积极做好准备,抓紧完善物联网设备和平台软件。5月10日左右,得到确切消息,上级领导要到滨州市无棣县万亩盐碱地改造试验示范基地,考察“渤海粮仓”科技示范工程实施情况。山东将以 “渤海粮仓科技示范工程大数据平台”建设为切入点,汇报“渤海粮仓”山东项目区27个试验示范区16.3万亩小麦生产情况,而汇报任务则由山东农大来完成。
温孚江校长非常重视,要求学校科技处、农业大数据研究中心会同课题组及相关专家务必做好准备。5月12日,科技厅会同中国科学院、滨州市政府、山东农业大学等单位在无棣核心区召开现场调度会,观看“渤海粮仓科技示范工程大数据平台”建设的汇报演示,肯定了前期平台的研发成绩,提出了汇报演示的要求:直观精简、突出重点、呈现亮点,在尽量短的时间内,尽可能全面呈现平台的功能和作用。回到学校,在科技处米庆华处长的调度下,由信息科学与工程学院、农学院、资源与环境学院、水利土木工程学院、网络信息技术中心、农业大数据研究中心等单位的科研人员组成工作小组,明确了“汇报演示平台”与原研发平台的区别与联系,合理分工,进行攻关。研发小组多次与省厅领导沟通,进一步明确了演示平台完善的针对性、有效性、及时性和科学性原则,突出展示平台针对环渤海低平原区特点,采用物联网和大数据技术协同体系,实时采集数据,科学挖掘分析,进行监测预警并提供决策服务的功能和已发挥的作用。总体思路明确之后,以柳平增团队为主,张承明团队、鞠达青团队为辅,按照各自的分工,在原有研发平台的基础上,不分昼夜连续作战。农学院贺明荣教授、陈国庆博士,资环学院赵庚星教授、高明秀博士,对采集的数据及分析结果进行指导、校正,提供多年积累的历史数据,并负责汇报材料的撰写工作。期间,省科技厅领导来到学校研发现场坐阵指导。在多学科协同作战下,演示平台反复修改,汇报材料几易其稿。5月21日凌晨1点左右,演示平台终告完成。22日一大早,大家就赶赴无棣核心区进行联调联试。
由于研发平台的数据传输模式为无线传输,气象、土壤、地下水等各类数据毫无问题,但要保证分布在德州、滨州、东营的视频远程传输及现场演示效果,就需要借助互联网有线传输。工程技术人员张焕远、柳平增、车路、高明秀、周虎及研究生巩腾飞、张自清等提前研讨解决方案、协调当地网络运营商和施工人员,在三地市科技局和相关单位的鼎力帮助下,利用短短7天时间,完成相关设备的安装、调试,保障了汇报演示成功。
回想这些天的战斗历程,得到了许多有益的启示,算是对今后工作的借鉴。
理清思路是前提。在平台研发与 “演示平台”完善过程中,课题组成员与省科技厅主管领导之间,课题组成员之间进行了多次沟通交流,明确了工作基本思路。这对最后的成功起到了至关重要的作用。古人云:“磨刀不误砍柴工”,否则就会南辕北辙。“凡事预则立,不预则废”,无论是科学研究还是行政事务,预先搞好顶层设计是前提。只有事先充分交流,充分沟通,充分论证,理清思路,才能明确职责,明确分工,有条不紊地开展工作,不至于头痛医头,脚痛医脚。
协同攻关是关键。在演示平台完善过程中,学校有四个学院、两个部门参与其中,信息学院两个团队负责平台研发,农学院、资环学院负责数据分析、生产指导意见拟定、平台文字修正及汇报材料撰写,水土学院艺术设计系负责网站美工,网络信息技术中心负责平台的安全、链接、迁移等,科技处、农业大数据研究中心负责组织、协调、分工等。通过这次工作,充分感悟到协同攻关力量无穷。当今社会的发展,靠“单枪匹马”不可能干成大事,协同创新才是工作和研究的必由之路。
加强领导是保障。这次工作牵动着许多领导的心,温孚江校长多次调看平台研发情况,并提出修改意见。科技厅郭久成副厅长提出汇报平台建设的框架和思路,农村科技处王守宝、刘赤兵两位处长来校一同参与研发工作。校办、科技处、财务处、资产处、网络信息技术中心、四个学院领导都给予了大力支持。领导的支持与关心极大地提升了研发人员的信心,激发了大家的斗志。大家深深感到,能为“渤海粮仓”科技示范工程建设出一份力,再苦再累也心甘。
虽然数据平台研发工作已经告一段落,但“渤海粮仓”科技示范工程建设和我们的研究任务依然繁重。如何利用农业大数据技术和物联网技术为工程建设提供更多更好的服务,为农民增收、领导决策和科技工作者服务,仍然是摆在我们面前的重大课题。“我们的饭碗主要装中国粮”的任务十分艰巨,农业高校有义务、有责任勇于担当。让我们更加努力工作,为“渤海粮仓”建设,为保障国家粮食安全作出更大贡献。
· 执行抗灾救灾任务对战斗精神培育的启示 · 财政金融学院举行“挑战杯”创业设计大赛答辩会 · CGAFA4(高级财务)课程全球考我校邓淑文获得第一名 · 寒梅飘香时“百花”竞芬芳———2009年研究生冬季活动月扫描 · 天津市委常委苟利军受聘我校教授应邀作“加快滨海新区发展”专题报告 ·(图)地震天不塌 大灾有大爱我院以“共产党员特殊党费”形式再向灾区捐款 · 省委副书记、省长罗保铭慰问郭力华
· 我校调整2008年在四川省招生计划“四川延考”招生计划专业全覆盖 · “一院一品一景”:打造特色校园文化品牌■黄二宁 · 亿万学生“阳光体育与奥运同行冬季长跑”启动
情系“渤海粮仓”
作者:农业大数据研究中心 宋长青 来源:《山东农大报》 发布时间:2014-06-06 00:00
5月23日上午11时20分,中共中央政治局委员、国务院副总理汪洋,在山东省委副书记、省长郭树清陪同下来到滨州市无棣县万亩盐碱地改造试验示范基地,考察“渤海粮仓”科技示范工程实施情况。作为“渤海粮仓增产增效的大数据支撑研究”
项目和“渤海粮仓科技示范工程大数据平台”建设的参与者和实施者,我亲眼目睹了这次考察,留下了难忘的记忆。
汪副总理一下车,首先与等候在现场的科技人员一一握手,然后走到展板前认真听取了中国科学院关于“渤海粮仓”
项目实施情况的汇报,查看了摆放在现场的小麦玉米良种、生物菌肥等实物,不时与科技人员进行交流。当来到山东农业大学研发的 “渤海粮仓科技示范工程大数据平台”汇报现场时,我们现场的人员异常激动,也非常冷静。我们知道,这次汇报的大数据平台研发过程中,山东省科技厅和学校有关领导、课题组研发人员付出了多大的辛劳。我校科技人员将平台的数据采集、挖掘分析、监测预警、决策服务等四个模块,一一向汪副总理做了汇报演示,并请他通过摄像头远程查看德州、东营示范区的小麦长势。汪副总理了解了平台功能和已发挥的作用,并通过平台看到三地市小麦长势喜人、丰收在望,露出了满意的笑容。
记得今年年初,省科技厅把我和柳平增博士、高明秀博士等一行召集到济南,研讨如何进一步发挥物联网和大数据技术优势,更好地推进“渤海粮仓”山东区建设;同时下达并启动“渤海粮仓科技示范工程大数据平台”建设研究。回来后,给学校和科技处领导作了汇报,大家就投入到紧张的工作中。
记得今年4月底,省科技厅通知,5月份上级领导可能来山东考察,要求山东农业大学积极做好准备,抓紧完善物联网设备和平台软件。5月10日左右,得到确切消息,上级领导要到滨州市无棣县万亩盐碱地改造试验示范基地,考察“渤海粮仓”科技示范工程实施情况。山东将以 “渤海粮仓科技示范工程大数据平台”建设为切入点,汇报“渤海粮仓”山东项目区27个试验示范区16.3万亩小麦生产情况,而汇报任务则由山东农大来完成。
温孚江校长非常重视,要求学校科技处、农业大数据研究中心会同课题组及相关专家务必做好准备。5月12日,科技厅会同中国科学院、滨州市政府、山东农业大学等单位在无棣核心区召开现场调度会,观看“渤海粮仓科技示范工程大数据平台”建设的汇报演示,肯定了前期平台的研发成绩,提出了汇报演示的要求:直观精简、突出重点、呈现亮点,在尽量短的时间内,尽可能全面呈现平台的功能和作用。回到学校,在科技处米庆华处长的调度下,由信息科学与工程学院、农学院、资源与环境学院、水利土木工程学院、网络信息技术中心、农业大数据研究中心等单位的科研人员组成工作小组,明确了“汇报演示平台”与原研发平台的区别与联系,合理分工,进行攻关。研发小组多次与省厅领导沟通,进一步明确了演示平台完善的针对性、有效性、及时性和科学性原则,突出展示平台针对环渤海低平原区特点,采用物联网和大数据技术协同体系,实时采集数据,科学挖掘分析,进行监测预警并提供决策服务的功能和已发挥的作用。总体思路明确之后,以柳平增团队为主,张承明团队、鞠达青团队为辅,按照各自的分工,在原有研发平台的基础上,不分昼夜连续作战。农学院贺明荣教授、陈国庆博士,资环学院赵庚星教授、高明秀博士,对采集的数据及分析结果进行指导、校正,提供多年积累的历史数据,并负责汇报材料的撰写工作。期间,省科技厅领导来到学校研发现场坐阵指导。在多学科协同作战下,演示平台反复修改,汇报材料几易其稿。5月21日凌晨1点左右,演示平台终告完成。22日一大早,大家就赶赴无棣核心区进行联调联试。
由于研发平台的数据传输模式为无线传输,气象、土壤、地下水等各类数据毫无问题,但要保证分布在德州、滨州、东营的视频远程传输及现场演示效果,就需要借助互联网有线传输。工程技术人员张焕远、柳平增、车路、高明秀、周虎及研究生巩腾飞、张自清等提前研讨解决方案、协调当地网络运营商和施工人员,在三地市科技局和相关单位的鼎力帮助下,利用短短7天时间,完成相关设备的安装、调试,保障了汇报演示成功。
回想这些天的战斗历程,得到了许多有益的启示,算是对今后工作的借鉴。
理清思路是前提。在平台研发与 “演示平台”完善过程中,课题组成员与省科技厅主管领导之间,课题组成员之间进行了多次沟通交流,明确了工作基本思路。这对最后的成功起到了至关重要的作用。古人云:“磨刀不误砍柴工”,否则就会南辕北辙。“凡事预则立,不预则废”,无论是科学研究还是行政事务,预先搞好顶层设计是前提。只有事先充分交流,充分沟通,充分论证,理清思路,才能明确职责,明确分工,有条不紊地开展工作,不至于头痛医头,脚痛医脚。
协同攻关是关键。在演示平台完善过程中,学校有四个学院、两个部门参与其中,信息学院两个团队负责平台研发,农学院、资环学院负责数据分析、生产指导意见拟定、平台文字修正及汇报材料撰写,水土学院艺术设计系负责网站美工,网络信息技术中心负责平台的安全、链接、迁移等,科技处、农业大数据研究中心负责组织、协调、分工等。通过这次工作,充分感悟到协同攻关力量无穷。当今社会的发展,靠“单枪匹马”不可能干成大事,协同创新才是工作和研究的必由之路。
加强领导是保障。这次工作牵动着许多领导的心,温孚江校长多次调看平台研发情况,并提出修改意见。科技厅郭久成副厅长提出汇报平台建设的框架和思路,农村科技处王守宝、刘赤兵两位处长来校一同参与研发工作。校办、科技处、财务处、资产处、网络信息技术中心、四个学院领导都给予了大力支持。领导的支持与关心极大地提升了研发人员的信心,激发了大家的斗志。大家深深感到,能为“渤海粮仓”科技示范工程建设出一份力,再苦再累也心甘。
虽然数据平台研发工作已经告一段落,但“渤海粮仓”科技示范工程建设和我们的研究任务依然繁重。如何利用农业大数据技术和物联网技术为工程建设提供更多更好的服务,为农民增收、领导决策和科技工作者服务,仍然是摆在我们面前的重大课题。“我们的饭碗主要装中国粮”的任务十分艰巨,农业高校有义务、有责任勇于担当。让我们更加努力工作,为“渤海粮仓”建设,为保障国家粮食安全作出更大贡献。
· 执行抗灾救灾任务对战斗精神培育的启示 · 财政金融学院举行“挑战杯”创业设计大赛答辩会 · CGAFA4(高级财务)课程全球考我校邓淑文获得第一名 · 寒梅飘香时“百花”竞芬芳———2009年研究生冬季活动月扫描 · 天津市委常委苟利军受聘我校教授应邀作“加快滨海新区发展”专题报告 ·(图)地震天不塌 大灾有大爱我院以“共产党员特殊党费”形式再向灾区捐款 · 省委副书记、省长罗保铭慰问郭力华
· 我校调整2008年在四川省招生计划“四川延考”招生计划专业全覆盖 · “一院一品一景”:打造特色校园文化品牌■黄二宁 · 亿万学生“阳光体育与奥运同行冬季长跑”启动
5.大数据一体化管理平台 篇五
这些“数据”和“信息”都来源于盐城移动搭建的大数据采集与分析平台。走进大丰区旅游数据中心,十几名工作人员正在电脑上进行数据分析,巨大的屏幕上实时展现着整个大丰的各类旅游信息。就在不久前,大丰区成功申报成为“国家全域旅游示范区”首批创建单位,大数据采集与分析平台在其中发挥了不可或缺的作用。
盐城移动大数据采集与分析平台旨在构建覆盖全域旅游的产业运行监测体系,通过监管调度、监测预警、应急指挥、信息发布等多种功能,为旅游突发事件和应急救援提供指挥调度中枢。同时,平台还能结合全国范围内其他行业的数据,整合各类旅游相关信息,做好数据分析和预测,进行游客群体行为追踪和偏好分析,在目的地进行精准营销。
6.大数据一体化管理平台 篇六
近20种缴费方式供客户选择
本报讯(记者 侯俊 通讯员 段静)如果想交电费,你可以登陆95598供电服务网站进行直接交费,也可以打开手机GIS地图寻找最近的缴费网点缴费……3月13日,随着河南省电力公司一体化缴费接入管理平台正式上线运行,我省电费缴纳方式实现多样化、智能化。
在现有缴费渠道中,缴费业务处理和缴费数据信息分布在各个缴费系统中,造成供电部门不能对缴费业务流程和缴费数据信息进行统一管理。而随着人们生活节奏的加快及智能通讯方式的发展,建设智能用电服务互动体系,实现多种渠道智能缴费,有效提高缴费服务能力,是摆在电力公司面前亟待解决的问题。
为方便电力客户缴纳电费,有效提升供电部门的缴费服务能力,2011年初,河南省电力公司启动一体化缴费接入管理平台建设工作,并按照“统一缴费业务标准、遵循省级部署、集中管理分布式应用”的原则,整合现有缴费渠道,发展缴费终端、金融及非金融代收机构,增加了缴费网点,拓展了银联卡缴费、网上缴费、手机缴费、电话缴费及充值卡缴费等多种缴费方式,实现新型互动营业厅、自助缴费终端、POS终端缴费、电话手机银行等新型缴费方式的一体化管理,并完成金融机构渠道、非金融机构渠道的统一渠道接入和渠道管理功能。
该平台的上线运行,实现了多种缴费渠道、缴费方式的统一接入和管理,既减轻了营销业务系统对外数据交互压力、降低了建设营业厅的成本、提高了缴费信息的安全性,也增强了服务的集中互动性和智能互动性,实现了电费缴纳方式多样化,可满足不同客户群体个性化缴费需求,并对拓展电动汽车充换电缴费渠道及推广电动汽车及建设低碳环保节约型社会具有重要意义。
7.大数据一体化管理平台 篇七
一、大数据平台下的大学生班级“2+2”安全管理体系分析
当前高校大学生班级管理情况复杂, 受到多方面因素的影响。首先, 高校大学生主要以90后为主, 他们生活的家庭背景和生活环境, 促使他们具备一定的特殊性, 具有强烈的批判意识、个性极其张扬、抗挫的能力较差、自我与自主意识较强、缺乏一定的团队合作能力, 与此同时他们的时代感强, 善于运用新事物, 功利心比较显著。其次, 部分大学生班级的管理主要依赖辅导员, 忽视了班主任和专业任课老师的协调作用, 管理力量的单薄促使大学生班级在管理方面存在一定的安全隐患。再次, 一些大学生班级还过分强调管理模式的“组群”作用, 它将大学生个体完全处于被外部控制的模式下, 以此达到对大学生的有序管理。这种管理模式不但不能充分发掘和激发大学生作为成人所应具有的自我教育、自我管理、自我服务的能力, 而且在一定程度上会磨灭大学生的创造性思维。
大学生班级管理形式趋于多样化, 如通过校园文化建设引导、借鉴学风建设促进、凭借入学教育强化、利用专业氛围营造等。但面临社会新形势的刺激, 网络环境的复杂化, 迫切需要建构大数据平台下的大学生“2+2”安全管理体系。
2015年10月, 《中共中央关于制定国民经济和社会发展第十三个五年规划的建议》发布, 提出要“实施国家大数据战略, 推进数据资源开放共享。”可以发现大数据的运用将越来越广泛。大数据 (Big data或Megadata) , 或称巨量数据、海量数据、大资料, 指的是所涉及的数据量规模巨大到无法通过人工或者计算机, 在合理时间内达到截取、管理、处理、并整理成为人类所能解读的形式的信息①。大数据平台就是借鉴大数据的功能进行问题相关的数据管理。
大数据平台下的大学生“2+2”安全管理体系, 是以大学生班级“2+2”安全管理为准绳, 运用班级“2+2”管理和大数据平台的相关理论, 基于大数据平台下的大学生班级“2+2”安全管理体系建构研究。它旨在促进该学段学生的安全认知能力的发展和形成集体主义思维, 从而实现对大数据平台下的大学生班级“2+2”安全管理体系建构的理解, 进而能在一定程度上引导大学生共同探索班级凝聚力。此外, 通过对大数据平台发展动向和班级“2+2”安全管理发展趋势的了解, 加强大学生自我认同和集体主义的意识, 形成高校安全管理的科学模式。加强高校安全教育工作的重视, 将学校的发展与师生的发展作为安全教育的出发点, 规范安全教育模式, 提高高校安全教育质量②。
二、大数据平台下的大学生班级“2+2”安全管理体系建构
基于大数据平台下的大学生班级“2+2”安全管理体系, 运用大数据的相关理论, 促使班级管理格局具有科学性、透明性和系统性。大学生班级“2+2”安全管理体系的建构, 以大数据平台为媒介, 从宏观层面和微观层面, 由现实空间联系虚拟空间, 通过对班级集体活动和网络交流软件中, 通过数据的形式分析个体出现的频次, 进而总结班级群体的安全状况。
第一, 从宏观层面而言, 大数据平台下的大学生班级“2+2”安全管理体系建构, 包括现学校的宏观统筹与学院的具体实施。第二, 从微观层面来说, 大数据平台下的大学生班级“2+2”安全管理体系建构, 则为班级群体、班级个体、班级小团体 (如寝室、班团、安全护送队、兴趣小组成员等, 一般不超过8个人) ;空间层面而言, 包括现实空间模式与虚拟空间模式, 如对班级集体活动和网络交流软件中 (如QQ、微博、微信、邮件等) 个体出现频次进行统计。通过大数据的形式进行分析个体的安全情况, 进而总结班级群体的安全状况。
以大数据为平台, 运用班级“2+2”管理和大数据平台的相关理论, 研究基于大数据平台下的大学生班级“2+2”安全管理体系建构。通过大数据平台的建构, 激发该学段学生的安全认知能力的发展和形成集体主义的价值取向, 从而实现对大数据平台下的大学生班级“2+2”安全管理体系建构的有效实施, 进而能在一定程度上引导大学生共同探索班级凝聚力。
综上所述, 大数据平台下的大学生班级“2+2”安全管理体系建构, 结合大数据平台, 在日常安全管理中, 筛选大数据平台下的大学生班级“2+2”安全管理体系的存在问题, 了解大学生对大数据平台下的大学生班级“2+2”安全管理体系的认知与理解。从而建构大学生“2+2”的班级管理的“大数据”平台, 一方面更加深入的关心大学生的安全学习与生活环境, 另一方面, 加强大数据载体的宣传力量, 开设微博、微信、QQ等多个宣传平台, 开设数据平台化专栏, 创建虚拟安全管理平台, 通过大数据出现的频次分析, 多维度深化关注与了解学生的状况。将在今后加强大学生安全管理工作, 尝试借用大数据平台, 建构虚实班级管理安全空间, 进一步扩大安全管理的社会影响和关注度, 吸引多方关注, 从而发挥更大的育人作用。
注释
1 维基百科:https://zh.wikipedia.org/wiki/%E5%A4%A7%E6%95%B8%E6%93%9A
8.面向大数据的校园社交平台 篇八
课程格子是一款面向校园、基于课程表的移动社交产品,目前已经突破1300万注册用户。课程格子在帮助学生们了解课程安排的同时,还可以展开各种社交功能:除编辑创建课程表外,可以添加课程笔记、评价老师;与同学打招呼、聊天,认识更多新朋友;查看其他学校的课程安排,更容易蹭课;校园社区格子BBS,支持匿名发表内容,提供更多隐私保护等。李天放介绍说,在课程格子之前,没有类似的商业模式可以借鉴,因此很多功能都得靠自己研发,“必须要找到自己的方向”。课程格子有两个特色,一个是同学们很方便添加课程表后那种“WOW”的体验,一个是校园社交BBS。
其中,校园社交BBS是课程格子目前重点打造的特色功能。为什么BBS社区反而回归了90后的校园?李天放解释说,现在的90后反而更喜欢匿名社交,因为对于90后大学生来说,有的时候做自己很累,因此需要一个匿名的地方,展开校园社交。在内容审核方面,由于课程格子是开放注册,但只有提供实名认证的VIP用户才可以匿名发帖,因此BBS里不会出现比较乱的内容。
课程格子通过“课程表”这个校园的刚需吸引学生用户注册,提供便捷的用户体验,让用户在30秒即可定制自己的课程表,获得“WOW”的用户体验,再通过校园BBS黏住用户,吸引用户不断回头全用课程格子。“可能学生一周只有一半的时间在使用课程表,但使用校园BBS的可能性高达八九成。”李天放说。
接下来,课程格子准备提供校园O2O功能,作为课程表、校园社交BBS的下一步。
宋师伟新近加入课程格子,成为公司的CTO,课程格子的研发实力得到了强化。目前,课程格子有30余名员工,全部从事产品开发。虽然课程格子的下一步是校园O2O,但从李天放与宋师伟的背景来看,课程格子的目标远远不止于校园O2O,李天放的目标是要做一家市值超过10亿美元的公司。课程格子团队在大数据与云计算领域的深厚实力,将是课程格子长期的核心竞争力。
9.大数据时代的大数据管理研究论文 篇九
数据库管理形式是大数据管理不断发展的重要成果,也是到目前为止最后的一个阶段。在计算机技术不断发展的过程中,计算机内部的容量得到了很大程度的提高,并且大数据的管理和维护成本也相应的有所下降。同时,在大数据管理形式不断发展的过程中,对其系统管理内存不足等现象,进行了全面的提高,有效的实现了资源共享,也在最大程度上保证了大数据的安全、稳定等性能。另外,在大数据时代的大数据库管理的过程中,不在近几年只是固定在某一个计算技术应用体系,而是面向整个管理体系,以此在最大程度上提高了大数据共享的性能,使大数据与大数据形成一个独立的个体,对其大数据进行了全面、有效的、统一的管理,为我国信息技术的发展提供了重要方向。
10.大数据时代的监狱管理 篇十
根据数据分析对管理的重要性,在《孙子兵法》中已有深刻的认识:“央未战而算胜者,得算多也。”,数据始终贯穿在监狱管理的预案、组织、实施、控制和创新中。在进入大数据时代后,如何更好的利用信息爆炸时代产生的海量数据为监管服务和利用数据创新监管模式是不可回避的命题。监狱管理决策日益基于数据和分析作出,而并非基于经验和直觉,对监狱正确的制度发展计划与合理安排警力资源有重要意义。其中预测在监狱中有重要的意义,在大数据时代,预测的准确度或许能够更上一个台阶,将促进监狱监管更加安全。
一、大数据时代的特点:
从古至今,从未有一个时代出现过如此大规模的数据爆增。信息技术的发展,互联网的普及,随之而产生的数据也呈现出爆发性的增长。① 到2012年为止,人类的所有印刷材料的数据是200PB,全人类历史上说过的所有话的数据量大约是5EB,而过去两年产生的数据占人类历史数据总量的90%。② 到2006年,全世界的电子数据存储量为18万拍字节,如今这个数据已达到180万拍字节,短短时间内已经增长了一个数量级。根据预测,2015年这个数字甚至会达到800万拍字节的规模。
大数据时代的典型特点是预测变得更为精确,艾伯特—拉斯洛·巴拉巴西提出:人类93%的行为是可以预测的。目前人类的数据处理能力在庞大的数据量面前还是太渺小,当数据处理能力的提示足以克服这一切后,混沌理论是否会黯然失色呢?一切都将变得清晰起来,偶然性也将因为盖然性变得不那么模糊?或许人类处理能力提升的速度远远都无法赶上数据的增长速度,混沌理论也将一直伴随着人类的发展。但不可否认的是,即使是现在的处理能力,大数据也能极大的提升预测的精准度。
二、大数据指教下的预测
预测对监狱的各项职能活动包括狱政管理、刑罚执行、习艺劳动、生活卫生等需要依据狱情进行调整的活动有重要意义。预测是整个监管系统的重要依据,具体地将,其重要性可以从以下几个方面来考虑:
① 对于狱政部门而言,预测可以提供决策的依据; ② 对习艺劳动部门而言,预测是监狱编制习艺计划的基础,是生产产值编制的主要输入;
③ 对生活卫生部门而言,为补充生活物资提供依据;
④ 对狱侦部门而言,预测是消灭狱内违纪,违法事件的参考; „„
其中,概率论在预测中不可代替的作用,当中的泊松公布P(入)是在概率论中常用的一种离散型概率分布,由于其适于描述单位时间(或空间)内随机时间发生的次数,因此泊松分布在管理科学,学以及自然科学的某些问题中都占有重要的地位。例如,在单位战略制定以及物资需求分析等方面有极大的应用空间。
但在大数据时代,泊松分布对人类社会的预测有极大的提升空间。
但在大数据时代,泊松分布对人类社会的预测有极大的提升空间。在数据不够充分的情况下,泊松分布在预测人类社会的事件时,事件的预测性与偶然性是等同视之。人具有主观能动性,从表面上看增大了预测的难度,但是在大数据的视角下,人的活动其实有极大的可
预测空间,偶然性对人类活动的影响是相对来说小得多的影响因素。我们不能忽视的一点是:每个人都是习惯的奴隶。大数据的意义在于经过整理大量数据后,那些本难以察觉的现象规律可以被发现,使它从一个变量成为常量。偏离了随机性通常意味着某种基本规律有待人类发现,因为预测时,将各种无法一时明了的因素都作为随机变量,而结果的不准确性也恰恰说明了其中的一些“变量”自有其韵律。大数据的典型特点就是区分可预测性与偶然性的时间,提升预测与管理水平。
合理而充分地运用大数据来提升预测水平,监管水平是在进入大数据时代后所必须面对的。信息时代的监管,不是警力谁加的监管,而是知识谁加的监管。数据是信息的载体,是知识的源泉。基于知识的监管,将集中表现为基于数据的监管,而这种数据的监管将成为监管发展的必然。这种监管要求监狱制主流线型的监管过程,各个过程之间必须无缝隙、无摩擦地对接,保证每一个管理决策明智,正确,在管理的过程中不犯错误。监狱要做到这些,必须广泛的推行以事实为基础的决策方法。在战略层面,大量使用数据分析来预测制定监狱发展计划;在监管层面,通过数据分析来优化监狱的各个环节,激发每位民警潜在的价值,从而节约警力保证监狱安全。
三、大数据与制度趋同
现在,各种分析模型以及深入到单位的制度制定中,包括:战略框架、基准化分析法、价值导向模型等等,随着各种模型不断的被应用,虽然这些看似差异的模型,却都指向合理地制度计划,这不可避免的出现了一个现象:制度趋同。产生的原因不外这些:
其一,表现为领导人的“从众”心态和追求“平安”的心理。在监区监管安全时期,制度趋同自然无可非议——谁能抵挡安全的诱惑呢?而在监管不稳定时期战略受挫也很好找到理由——我们都错了。
其二,参与和影响制度制定的领头雁同行体系、思维模式的同一化。我们现在的管理理论正日益成为一种要协执法的体系,而在形式差异化的外衣下该体系的核心正在不断被接受。
最后,安全性和确定性更加恶劣的监管环境也是促成战略趋同的因素之一。监区领导者的目标很简单,就是确保安全,实现产值增长。
在种种关键的情节下,不论是先进监区还是不那么先进监区谁能快速响应狱情和承揽加工情况谁才能从中胜出,此时此刻他每一个决策都直接影响监区的发展:作为先进集体,稍有迟钝,优势将不复存在,并将为此付出代价;作为不那么先进集中,能够敏捷地发现新的契机将实现管区的大发展。两者是利益相互对立的双方,高度复杂的狱情和承揽加工情况,两者的竞争将更加激烈。
但大数据时代是两面的,加剧竞争的同时,透过大数据也使决策更加精确,能以从前无法想象的速度快速响应情况变化。利用大数据,先进集体的决策能够极大地接近实际,在第一时间就做出符合情况变化的决策。不那么先进进体在这样的环境拥有极大的优势,充分利用变化能快速发现机会,凭借大数据能在极短的时间内作出正确判断。
在对大环境进行的分析和判断以确定制度制定时,有效的狱情分析和预测是前提,监区制度制定所需要的主要外部信息包括:单个罪犯、入监评估值、接见情况、身体健康情况、习艺完成情况、管区犯群年龄分布情况、余刑分布情况、困难户情况等等。管区定制必须要做调研,但调研也好、统计数据也好、都有人为因素。只有大数据,加上分析技术,才可能是接近狱情真实信息。大数据和调研相互印证,更能提高定制度的正确概率。
四、大数据在监狱管理中的具体应用
1、真正实时的了解罪犯 在过去,监狱普遍通过积分系统找出听话罪犯和违纪次数找出不听话罪犯,对罪犯的好与坏的判断,往往是经验主义的指挥,而利用大数据,这种状况将不再发生,大数据能够帮助监狱完全勾勒出罪犯的实时状态,充分了解罪犯是有效的与改造罪犯的关键。当然,监狱
要确保罪犯的权利不受威胁,大数据可以为罪犯提供针对个体罪犯的十分个性化的改造措施。使用各类数据分析,监狱可以充分了解每一名罪犯,实时的知道罪犯想要什么,以及何时想要。
2、监狱制定,改进和创新改造措施
大数据分析可以帮助监狱更好地了解犯群的情况。通过狱政,狱侦等科室收集数据,特别是当这些信息是实时收集时,监狱可以立即有针对性的对可能存在的问题做出改进。这样不仅可以很好的评估现有改造措施,同时还能够收集到警群与犯群对该项措施的评价。
3、确定监狱面临的风险有多大
确定监狱所面临的风险是今天监狱管理的一个重要方面。为了确定一个潜在的罪犯的风险,需要对罪犯进行归类,每名罪犯都有自己的风险水平。更多的时候,如果罪犯被归类到一个错误的类被,无疑将导致错误的风险。利用大数据可以针对每名罪犯过去和现在的实时数据有针对性的确定风险类别。
4、更有效地组织监狱以节省资金
11.软硬一体应对“大数据”挑战 篇十一
自2009年收购Sun之后,甲骨文对Sun的核心技术进行了持续的投资。根据甲骨文方面的表述,通过提供Sun服务器、存储器、操作系统和虚拟化技术,甲骨文成为唯一一家能够提供从应用到磁盘全面技术产品的公司。
软硬一体化趋势明显
近年来,在多产品技术的推动下,甲骨文的产品重心之一就是将其数据库、应用软件与服务器、存储进行整合和集成,然后对集成在一起的数据库、商业智能、数据分析等与服务器、存储等基础设施进行整体调优,以实现性能的最大化。目前,甲骨文在集合Sun技术后推出的一体化产品包括Oracle Exadata数据库云服务器、Oracle Exalogic中间件云服务器、Oracle Exalytics商务智能云服务器、Oracle大数据机、Oracle数据库机以及Oracle SPARC SuperCluster T4-4等。
应该说,这种软硬件一体化的整合趋势已十分明显,并不仅仅是甲骨文一家所独揽。目前,包括惠普、EMC等在内的很多业内大厂商,都已经在数据库、商业智能、数据分析等原本被软件产品独占的领域推出了软硬件整合的一体化产品和解决方案。
那么,这种软硬件整合的一体化方案是否会让用户陷入“厂商锁定”的尴尬境遇?对此甲骨文亚太及日本地区系统事业销售咨询高级总监Stuart Long表示,一体化类型的产品不仅为用户的采购提供了方便,而且在服务上也能实现统一。“这就类似于买汽车,谁会自己买零件去‘攒’一辆呢?”为了打消用户的顾虑,甲骨文还对外喊出了“大道至简(Simplify I.T.)”的口号。
抢占“大数据”市场
Oracle大数据机(Big Data Appliance)是本次甲骨文巡展活动的重点产品之一。甲骨文方面表示,这一产品主要面向大数据时代的高性能数据应用。
作为甲骨文2011年所推出的重要产品之一,Oracle大数据机是一款针对数据分析应用的集成设计系统,其中包括开源的Apache Hadoop、Oracle NoSQL数据库、Oracle数据集成Hadoop应用适配器以及Oracle Hadoop装载器等应用。根据甲骨文方面的介绍,Oracle大数据机能够快速与Oracle数据库11g、Oracle Exadata数据库云服务器和Oracle Exalytics商务智能云服务器集成,对所有数据类型提供数据分析能力。
同时,Oracle大数据机还可以通过InfiniBand连接,与Oracle Exadata数据库云服务器、Oracle Exalytics商务智能云服务器进行集成,构成Oracle大数据解决方案体系,对PB量级的大数据进行存取分析,支撑百TB量级的数据仓库计算。
甲骨文公司大中华区系统事业销售咨询部高级总监潘榆奇表示:“甲骨文将继续通过软硬件一体化的技术创新,充分发挥全面、开放、集成的自身独特优势,帮助企业以最简单的IT部署实现战略成功。”
12.全国耕地质量大数据平台设计 篇十二
1 国内外研究进展
1.1 国外概况
1972年加拿大土壤信息系统 (CSIS) 建成[5], 在此之前各省已相继建立土壤数据库[6,7], 如1966年British Columbian建立了土壤数据库, 1967年Alberta建立了空间土壤分析数据库。1975年英国Macauly土壤信息研究所在苏格兰试建第一个土壤数据库[8], 但是由于各专业部门加入的信息没有采取统一的接口标准, 因此数据的传输调用极为不便, 直到1983年建立联合土壤数据库后这一状况才有所改善。美国在20世纪70年代初创建土壤数据库, 20世纪80年代初州级土壤地理数据库系统及国家土壤地理数据库系统均建设完成[9]。1986年国际土壤学会开始着手建立1∶100万世界土壤和地形数字化数据库 (world soils and terrain digital data base, 简称SOTER) , 目的是建立一个包含数字化地图单元及其属性数据的世界土壤-地形体数据库[10]。20世纪80年代末, 随着“3S”技术和自动制图技术等高新技术的发展与应用, 在数据更新、动态评价、评价精度等方面取得很大进展, 并能快速完成多维、多元信息复合分析。目前, 世界上许多国家都建立了有一定影响的土地资源信息系统[11,12], 如美国纽约土地利用与自然资源信息系统 (LUNR) 、美国明尼苏达土地管理信息系统 (MLMIS) 、新西兰微型计算机土地信息系统 (MIDGE, Giltap) 、澳大利亚SIRO土地利用规划信息系统、日本国家土地资源数据库系统、法国国土信息系统以及英国土地资源信息系统等。随着地理信息系统技术的发展, 耕地质量的数据越来越丰富, 人们通过地理信息系统建立了各自的耕地质量数据库, 实现了耕地资源的数字化、信息化管理。
1.2 国内概况
20世纪80年代中期我国开始建立土壤数据库。1986年, 北京大学遥感中心建立了区域土壤侵蚀信息系统。1989年南京土壤研究所研究完成1∶50万东北三江平原土壤信息系统。浙江省建立了1∶5万大比例尺土壤数据库[13,14,15]。2004年南京土壤研究所建成1∶100万土壤数据库[16], 2007年建立中国土壤信息系统 (SISChina, soil information system of China) , 它包含了不同尺度的土壤空间数据、土壤剖面属性数据、土壤空间与属性融合后的土壤专题空间化数据、土壤类型参比数据以及应用国际土壤主流分类的中国土壤分布特征数据[17]。设在中国农科院的国家土壤信息中心对全国第二次土壤普查资料进行了搜集整理, 建立了相关的数据库。上述这些成果在我国耕地管理方面都发挥了一定的作用, 但由于缺乏统一的描述标准, 没有信息资源相互融合的数据平台, 影响了数据资源的有效管理和应用[18]。
2 平台设计
2.1 需求分析
建国以来, 我国分别于20世纪50年代和80年代组织了2次全国规模的耕地调查, 于21世纪初组织了全国范围的耕地质量调查与质量评价[19];新中国成立60多年来, 我国农业科研和推广部门做了大量的田间试验, 积累了海量的试验数据[20]。这些数据目前大多分散在各个地区、各个部门的档案柜或电脑中, 利用率很低, 甚至同一地区的不同部门都无法共享将之应用于实际的农业生产。更严重的情况是由于机构调整、人员调动、办公地点搬迁等情况, 许多宝贵的资料正在迅速流失或遗失。为了保护这些珍贵的数据资源并将之应用于耕地质量管理和农业生产, 农业部委托扬州市耕地质量保护站在已有的工作基础上建设集耕地、肥料、墒情、环境等数据于一体的全国耕地质量大数据平台, 通过数据的标准化管理、高效云平台服务、多形式的信息发布模式以及安全运维管理机制, 为社会各种需求提供数据服务。
政府行政部门为农业部以及省、市、县各级农业部门提供地图浏览、信息查询、统计、成果输出等服务。涉及数据内容包括土壤类型、面积、分布, 土壤养分状况 (p H值、有机质、全氮、有效磷、速效钾等以及变化趋势) , 土地利用现状, 耕地地力等级, 耕地环境质量, 主要作物类型、分布、产量, 土壤墒情 (实时、历史) , 肥料生产、销售、价格情况, 高标准粮田分布、面积、建设内容, 补充耕地和设施农业等内容。
研究及农业技术部门为国家、省、市、县专业技术人员提供地图浏览、信息查询、成果输出, 以及数据准备、制作、管理、上报等服务。社会大众为广大农民提供承包田块的基础数据以及关于耕种、施肥、灌溉等农事措施的具体建议。这些建议可通过手机短信、微信、数据客户端、触摸屏一体机、网页浏览器等方便快捷的方式送达农民。
2.2 设计原则
2.2.1 整体性和开放性的原则。
在本项目系统设计时将充分考虑国家、省、市、县不同用户的需求和数据流动的规律, 整体设计规划, 既注重各种信息资源的有机整合, 同时也考虑具有一定的开放性, 把握好信息集中存放和共享的协调。
2.2.2 可扩展性和易维护性的原则。
在设计时应具有一定的前瞻性, 充分考虑系统升级、扩容、扩充和维护的可行性。针对本系统涉及用户多、业务繁杂的特点, 充分考虑提高业务处理的响应速度以及统计汇总的速度和精度。
2.2.3 经济性和实用性的原则。
系统的设计实施尽量节省项目投资, 具有较好的性能价格比, 设计面向实际, 注重实效, 坚持实用、经济的原则, 合理利用现有设备和信息资源。
2.2.4 先进性和成熟性的原则。
在系统设计时, 将充分应用先进和成熟的技术, 满足建设的要求, 把科学的管理理念与先进的技术手段紧密结合起来, 提出先进合理的业务流程。系统将使用先进成熟的技术手段和标准化产品, 使系统具有较高性能, 符合当今技术发展方向, 确保系统具有较强的生命力, 有长期的使用价值, 符合未来的发展趋势。
2.2.5 可靠性和稳定性的原则。
在设计时采用了可靠的技术, 系统各环节具备故障分析与恢复和容错能力, 并在安全体系建设、复杂环节解决方案和系统切换等各方面考虑周到、切实可行, 建成的系统将安全可靠、稳定性强, 把各种可能的风险降至最低。
2.2.6 安全性和保密性的原则。
在系统设计把安全性放在首位, 既考虑信息资源的充分共享, 也考虑了信息的保护和隔离;系统在各个层次对访问都进行了控制, 设置了严格的操作权限;并充分利用日志系统、健全的备份和恢复策略增强系统的安全性。
2.3 框架结构
全国耕地质量大数据平台由网络硬件系统、数据存储管理系统、服务端系统、内网客户端系统、外网客户端系统组成 (图1) 。用户分为国家、省、市、县级行政领导, 国家、省、市、县级专业技术人员和社会公众。行政领导通过内网专线访问全国耕地质量大数据平台, 应用数据统计、分析、汇总、浏览以及成果输出等功能;专业技术人员也是通过内网专线定期向全国耕地质量大数据平台上传、制作相关数据;社会公众通过手机短信、微信、数据客户端、触摸屏一体机、网页浏览器等方式通过外网浏览、查询全国耕地质量大数据平台发布的信息。内网与外网之间通过网闸隔离确保数据的安全。
2.4 系统开发环境
服务端系统采用Web Service结构进行开发, 具体采用微软的WCF (Windows Communication Foundation) 技术, 开发环境为Microsoft Visual Studio 2010, 开发语言为VB.NET和C#等, 地理信息系统环境为Arc Engine SDK和Arc Objects SDK。
客户端系统开发环境为Microsoft Visual Studio 2010, 开发语言为VB.NET和C#等, 地理信息系统环境为Arc Engine SDK、Arc GIS Runtime of.NET、Arc GIS Runtime of Java、Arc GIS Runtime of Android、Arc GIS Runtime of i OS等。不同的系统开发环境有所不同, 其中Arc GIS Runtime of Android、Arc GIS Runtime of i OS用于开发用户移动手机端应用。
2.5 系统运行环境
服务端运行环境为.NET 3.5或以上版本、Arc GIS for Desktop、Arc GIS for Server、Arc Engine Runtime等。客户端根据不同的系统运行环境采用不同的工具软件, 主要包括.NET 3.5或以上版本、Arc Engine Runtime、Arc GIS Runtime of.NET、Arc GIS Runtime of Java等。
2.6 数据库设计
全国耕地质量大数据平台包括耕地质量监测、耕地质量评价、测土配方施肥、土壤墒情监测等工作和项目的结构化数据、半结构化数据和非结构化数据。该平台数据量大、数据类型复杂、数据保密要求高, 单一的、传统的数据库已经不能满足数据存储管理的要求, 平台按照项目进行划分, 根据不同工作、项目数据的特点分别使用不同类型的数据库软件和大数据管理软件对数据进行存储管理。采用Microsoft SQL Server、Oracle、Greenplum等数据库存储管理结构化数据;采用Arc SDE管理空间数据;Hadoop管理非结构化数据。
3 平台关键技术
3.1 数据规范与数据预处理
耕地质量评价项目数据由各项目单位采集, 有的项目单位在实施项目没有使用规定的数据标准, 这些数据进入耕地质量大数据平台前需要进一步规范处理。目前测土配方施肥数据采用SQL Server数据库存储管理, 数据标准相对比较规范。耕地质量评价项目数据进入耕地质量大数据平台Oracle数据库需要做数据预处理, 其他项目数据也需要根据数据库的特点进行预处理。
3.2 硬件框架
服务器虚拟化可以提高资源的利用率, 简化系统管理, 实现服务器整合。将服务器物理资源抽象成逻辑资源, 让一台服务器变成若干台相互隔离的虚拟服务器, 不再受限于物理上的界限, 且CPU、内存、磁盘、I/O等硬件可以成为动态管理的“资源池”, 从而提高资源的利用率, 简化系统管理。
3.3 构建全国地图
耕地质量大数据平台需要分别展示全国、省、地市、县、乡镇及以下级别的成果, 构建全国地图需要应用Arc GIS Server缓存服务。地图缓存服务就是能够利用静态图片快速提供地图的服务。Arc GIS Server缓存服务由Arc GIS Server预生成的一套地图图片快速显示, 满足用户对地图的请求。构建全国地图首先需要制定缓存方案, 缓存方案中如果等级过少、分配不合理、直接影响地图浏览效果, 如果等级过多, 工作量成几何倍数增加。制定一个科学合理的地图切片方案非常重要, 国内外不同的地图服务提供商都有适合自己的切片方案。耕地质量大数据平台是参照Google、Bing、Arc GIS等公司的切片方案, 按照表1方案进行切片, 共20个级别。第0、1、2个级别在全国地图上一般不需要使用, 为世界地图预留展示空间, 这3个级别是否显示通过软件开发控制, 第19个级别一般不使用, 仅为特殊需求, 做全国母图时预留。
具体全国地图制作流程: (1) 制作国家级地图, 并按照缓存方案进行发布, 对所有级别进行切片; (2) 分别省市、地市、县市、乡镇及以下级别地图, 并按照缓存方案进行发布, 对相应级别进行切片; (3) 省市、地市、县市、乡镇及以下级别地图切片导出, 导出后再分别导入到国家级地图中, 覆盖国家级地图相应的级别和范围; (4) 最终形成全国一张图。
3.4 功能模块
3.4.1 安全认证模块。
为了确保数据安全, 耕地质量大数据平台除了用户名和密码管理外还使用了软件狗进行认证, 对数据上传、发布、编辑和删除操作需要验证软件狗, 不插入软件狗或者软件狗验证不通过只能浏览数据, 不能修改数据。
3.4.2数据上报模块。
数据上报模块分客户发送模块和服务端接收模块, 由客户模块发出数据上报的请求, 等待服务端接收模块响应并建立数据上传通讯, 然后客户模块每次发送100 K二进制内容, 服务端模块进行接收, 直达文件传输结束。
3.4.3地图发布模块。
地图发布需要使用Arc GIS for Desktop的数据共享功能。Arc GIS中不提供相应的接口, 如何实现程序后台自动发布是个技术难点。通过查阅大量的技术文档, 发现可以通过执行Python脚本后台发布。首先根据上次的MXD文件自动生成数据发布的Python脚本, 再调用Arc GIS进程执行Python脚本, 脚本执行完毕地图就自动发布成功。
3.4.4 地图浏览模块。
全国耕地质量大数据平台 (应用版) 采用Microsoft Visual Studio 2010开发环境, Windows Presen-tation Foundation (WPF) 框架, Arc GIS Runtime of.NET环境进行开发, 实现了全国地图浏览查询的功能。
4 平台运行
4.1 行政领导
各级行政领导通过“全国耕地质量大数据平台 (应用版) ”客户端软件 (图2) 访问浏览全国耕地质量大数据平台中的数据。“全国耕地质量大数据平台 (应用版) ”分若干个专题地图展示全国耕地质量数据, 每一个专题地图分20个等级的比例尺分别从国家、省市、地市、县市到乡镇及以下进行展示。全国耕地质量大数据平台已经生成14个专题图:土地利用现状图、农用地地块图、土壤类型图、行政区划图、耕地地力评价图、水稻适宜性评价图、小麦适宜性评价图、施肥方案推荐图、耕地地力调查点点位图、耕地土壤有机质含量分布图、耕地土壤p H值分布图、耕地土壤全氮含量分布图、耕地土壤有效磷含量分布图、耕地土壤速效钾含量分布图。
4.2 专业技术人员
各级专业技术人员通过“全国耕地质量大数据平台 (管理版) ”客户端软件 (图3) 访问浏览全国耕地质量大数据平台中的数据, 定期上报、制作、更新相关数据。
4.3 社会公众
社会公众通过手机短信、手机微信、手机客户端、触摸屏一体机、网页浏览器等方式浏览、查询全国耕地质量大数据平台发布的信息。
5 应用情况与展望
全国耕地质量大数据平台一期工作已于2016年7月开发完成并投入运行, 目前已有黑龙江、内蒙古、江苏等省 (区) 100多个县向全国耕地质量大数据平台上报了耕地质量评价和测土配方施肥有关数据。通过“全国耕地质量大数据平台 (应用版) ”软件可以查询耕地地力评价图、土壤有机质含量分布图、耕地土壤p H值分布图、耕地土壤全氮含量分布图、耕地土壤有效磷含量分布图、耕地土壤速效钾含量分布图等专题地图;通过“全国耕地质量大数据平台 (手机APP) ”软件可以查询区域地块的土壤理化性状、立地条件、土壤养分、施肥方案等信息;通过手机微信、手机短信可以查询这些区域具体地块的耕地经营权、地力等级、施肥方案等信息。通过与苏农集团、绿云科技等农企进行合作, 全国耕地质量大数据平台为农企提供数据访问接口。全国耕地质量大数据平台将成为耕地质量数据采集、存储、管理、分析、应用的中枢, 在我国耕地质量管理工作中发挥重要的作用。
摘要:首先阐述了耕地质量数据的重要性以及国内外研究现状, 分析了现有耕地质量数据的特点和用户需求, 针对需要建立面向行政领导、农业技术人员、农户等对象的全国耕地质量大数据平台, 实现数据的统一和标准化管理, 科学分析、深度挖掘数据价值, 为全国政府部门、技术推广服务机构以及社会大众提供各类服务。
【大数据一体化管理平台】推荐阅读:
信访大数据平台11-08
金融监管大数据平台07-17
旅游大数据平台运营11-06
智慧营销大数据云平台07-17
大数据时代管理会计变革的思考论文08-12
大数据发展对建筑企业信息化管理的影响07-05
运营商大数据平台系统10-10
读《大数据时代》有感:大数据与小生活08-01
大数据挖掘与数据分析07-13
大数据征文10-11