大数据挖掘与数据分析

大数据挖掘与数据分析（精选12篇）

1.大数据挖掘与数据分析 篇一

近些年来，信息科技和网络的通信技术已经得到了飞速的发展，并且全国的信息基础设施也得到了完善，在全球的数据已经呈现出了极速增长的模式状态。在此种情况下，传统的数据处理方式已经满足不了现代化的处理需求，因此需要利用大数据的自动分析和数据挖掘来实现对数据的有效分享和利用。大数据科学已经成为了一个横跨信息科学、社会科学以及网络科学的新型交叉学科，受到了学术界的广泛关注。

一、遥感大数据的概述以及特征

在现代社会当中，遥感大数据已经成为了大数据的重要代表，成为了科学研究方面的重点研究方面，但是在现阶段当中还需要对其科学理论和方式进行不断的深入研究。遥感大数据具有大数据的特征，并且也具有自身独特的特征。在外部特征方面，首先具有海量的特征。遥感大数据的数据具有海量的特点，并且对着遥感技术的不断发展，在现阶段当中的高分辨率和高动态的新型卫星传感器在单位时间之内可以捕获到更多的数据量；其次还具有数据异构的特点，也就是说在数据生产过程当中所依赖到的业务系统之间会呈现出的不同状态，都需要由不同的数据中心来进行提供的，并且在逻辑结构或者组织方式上也呈现出了不同的特点；另外，还具有数据多源的特点，集中体现在数据的来源和捕获信息的手段方面，是可以拥有多种获取形式的，包括全球的观察网络点接收到的实时信息，以及民众手中的用户端的个性化信息。在内部特征方面，首先具有高维度性的特点，遥感大数据的数据类型呈现出了多样化的特点，因此数据当中的维度也变得越来越高，集中体现在了空间维度、时间维度以及光谱维度等。其次还具有多尺度性的特点，成为了遥感大数据的重要特点，也就是说在进行数据的获取过程当中，可以根据不同的遥感技术和相对应的技术水平，来进行有效的划分，在空间和时间上呈现出多尺度的特点。另外，还具有非平稳性的特点，由于遥感大数据广泛的获取方式和物理意义，在信息理论的角度上来说，就属于典型的非平稳信号，呈现出分布参数或者规律随时发生变化的特点。

二、遥感大数据的自动分析和数据挖掘

2.1自动分析。首先，需要对遥感大数据的表达进行了解，在这个过程当中需要抽取多元化的特征来进行表示，从而建立起遥感大数据的目标一体化，在研究过程当中主要包括对遥感大数据的多元离散特征的有效提取，形成在不同的传感器当中的提取方式和方法。还要对若干大数据的多元特征进行归一化的表达，从而提升对大数据的处理能力和处理效率。其次就需要对遥感大数据进行相关的检索，在检索过程当中，需要利用网络化和集成化的方式进行检索，制定出基础设施的计划，提升对其数据的访问和检索效率。并且针对海量的遥感大数据来会说，需要检索出符合用户需求和感兴趣的内容和数据，就需要对数据内容进行比对，从而判断出用户所需要的内容，从大量的数据当中进行快速的检索到目标。在检索的过程当中，发展知识驱动的遥感大数据的检索方式是最有效的方式之一，可以分为场景检索服务、多源海量复杂场景数据的智能检索以及信息数据的检索等。另外，就是对遥感大数据的理解的，通过遥感大数据的科学，可以实现数据向知识的有效转变，在这个过程当中就需要根据遥感大数据本身的特征和数据检索的方式来对数据内容实现有效的提取。最后就是遥感大数据云的技术，可以将各种方式的遥感信息资源进行有效的整合，建立起遥感云服务的相关新型业务应用和服务模式，可以将在天空当中的传感器所捕捉到的信息通过软件的计算和整合来实现数据资源的有效存储和处理，从而使得用户可以在很快的时间之内获取到有效的服务。

2.2数据挖掘。首先需要对遥感大数据的数据挖掘过程进行了解，包括数据的获取、存储以及处理和整合等，在整个过程当中都具有大数据的特点。在进行捕获数据的过程当中可以从各种不同的传感器当中进行获取，然后对数据进行采样和过滤，之后就可以对采集到的数据进行处理和分析，最后将其数据用可视化的模式进行显示，方便了客户的使用和利用。其次，就是遥感大数据和广义的遥感大数据的综合挖掘的过程，利用此种方式，一方面可以与其他的数据方式形成良好的互补关系，另外一方面也可以对其数据当中的变化规律以及其他信息进行更好的挖掘和采集。在广义的遥感时空大数据当中，存储的费用是相当昂贵的，并且在数据的分析能力方面也存在严重不足的现象，因此在现代社会的智慧城市的建设过程当中发挥不了其巨大的作用，因此需要利用其他自动化的数据智能处理和挖掘的方式来对其空间地理分布的数据进行全新的挖掘和过滤。在时空分布的视频数据挖掘过程当中，在对智能数据进行处理和信息提取的同时，还要通过时空当中所分布的视频数据进行自动化的区分，来有效的区分正常和非正常的状态。在对时空数据的挖掘过程当中，主要可以从时空数据当中进行提取出隐藏的有用的信息知识，利用各种综合性的方式和方法，比如统计法、聚类法、归纳法以及云理论等。在遥感大数据的挖掘应用方面，可以适用于地球各种尺度和方位的变化，还可以在很大程度上对未知的信息进行良好的筛选和挖掘，推动国家的科学技术的发展，实现社会的可持续化发展。

综上所述，在不断的发展过程当中，我国的遥感数据的种类和数量将呈现出飞速增长的模式，在很多方面以及领域当中已经开展了遥感大数据的研究工作。值得注意的是，现阶段当中需要将遥感大数据的理论知识进行实践化的转变，从而实现遥感大数据的自动分析和数据挖掘功能，推动科学信息的不断进步。

参考文献

[1]宋维静,刘鹏,王力哲,等.遥感大数据的智能处理:现状与挑战[J].工程研究-跨学科视野中的工程,2014,(3):259-265.

2.大数据挖掘与数据分析 篇二

2005年6月至2007年12月海洋表面洋流示意图。数据源:海面高度数据来自美国航空航天局 (NASA) 的Topex/Poseidon卫星、Jason-1卫星, 以及海形图任务/Jason-2卫星测高仪;重力数据来自NASA/德国航空航天中心的重力恢复及气候实验任务;表面风压数据来自NASA的Quik Scat任务;海平面温度数据来自NASA/日本宇宙航空研究开发机构的先进微波扫描辐射计——地球观测系统;海冰浓度和速度数据来自被动微波辐射计;温度和咸度分布来自船载、系泊式测量仪器, 以及国际Argo海洋观测系统

泄密者爱德华·斯诺登 (Edward Snowden) 还在寻求容身之所的时候, 美国国家安全局 (NSA) 全方位收集电话和电子邮件记录之事经过他的披露, 已经引发了不安和愤怒。

奥巴马当局声称, 监听数据带来了安全, 然而左翼和右翼都在谴责这种窥探行为是对隐私的侵犯。

数据不是信息, 而是有待理解的原材料。但有一件事是确定无疑的:当NSA为了从其海量数据中“挖掘”出信息, 耗资数十亿改善新手段时, 它正受益于陡然降落的计算机存储和处理价格。

数据挖掘这一术语含义广泛, 指代一些通常由软件实现的机制, 目的是从巨量数据中提取出信息。数据挖掘往往又被称作算法。

威斯康星探索学院主任大卫·克拉考尔 (David Krakauer) 说, 数据量的增长——以及提取信息的能力的提高——也在影响着科学。“计算机的处理能力和存储空间在呈指数增长, 成本却在指数级下降。从这个意义上来讲, 很多科学研究如今也遵循摩尔定律。”

在2005年, 一块1TB的硬盘价格大约为1, 000美元, “但是现在一枚不到100美元的U盘就有那么大的容量。”研究智能演化的克拉考尔说。现下关于大数据和数据挖掘的讨论“之所以发生是因为我们正处于惊天动地的变革当中, 而且我们正以前所未有的方式感知它。”克拉劳尔说。

随着我们通过电话、信用卡、电子商务、互联网和电子邮件留下更多的生活痕迹, 大数据不断增长的商业影响也在如下时刻表现出来:

·你搜索一条飞往塔斯卡鲁萨的航班, 然后便看到网站上出现了塔斯卡鲁萨的宾馆打折信息

·你观赏的电影采用了以几十万G数据为基础的计算机图形图像技术

·你光顾的商店在对顾客行为进行数据挖掘的基础上获取最大化的利润

·用算法预测人们购票需求, 航空公司以不可预知的方式调整价格

·智能手机的应用识别到你的位置, 因此你收到附近餐厅的服务信息

大数据在看着你吗?

除了安全和商业, 大数据和数据挖掘在科研领域也正在风起云涌。越来越多的设备带着更加精密的传感器, 传回愈发难以驾驭的数据流, 于是人们需要日益强大的分析能力。在气象学、石油勘探和天文学等领域, 数据量的井喷式增长对更高层次的分析和洞察提供了支持, 甚至提出了要求。

这幅2005年6月至2007年12月海洋表面洋流的示意图集成了带有数值模型的卫星数据。漩涡和窄洋流在海洋中传送热量和碳。海洋环流和气候评估项目提供了所有深度的洋流, 但这里仅仅使用了表层洋流。这些示意图用来测量海洋在全球碳循环中的作用, 并监测地球系统的不同部分内部及之间的热量、水和化学交换。

在医学领域, 2003年算是大数据涌现过程中的一个里程碑。那一年第一例人类基因组完成了测序。那次突破性的进展之后, 数以千计人类、灵长类、老鼠和细菌的基因组扩充着人们所掌握的数据。每个基因组上有几十亿个“字母”, 计算时出现纰漏的危险, 催生了生物信息学。这一学科借助软件、硬件以及复杂算法之力, 支撑着新的科学类型。

另一例生物信息学的应用来自美国国家癌症研究所。该所的苏珊·霍尔贝克 (Susan Holbeck) 在60种细胞系上测试了5000对美国食品和药品管理局批准的抗癌药品。经过30万次试验之后, 霍尔贝克说:“我们知道每种细胞系里面每一条基因的RNA表达水平。我们掌握了序列数据、蛋白质数据, 以及微观RNA表达的数据。我们可以取用所有这些数据进行数据挖掘, 看一看为什么一种细胞系对混合药剂有良好的反应, 而另一种没有。我们可以抽取一对观察结果, 开发出合适的靶向药品, 并在临床测试。”

互联网上的火眼金睛

当医学家忙于应对癌症、细菌和病毒之时, 互联网上的政治言论已呈燎原之势。整个推特圈上每天要出现超过5亿条推文, 其政治影响力与日俱增, 使廉洁政府团体面临着数据挖掘技术带来的巨大挑战。

印第安纳大学Truthy (意:可信) 项目的目标是从这种每日的信息泛滥中发掘出深层意义, 博士后研究员埃米利奥·费拉拉 (Emilio Ferrara) 说。“Truthy是一种能让研究者研究推特上信息扩散的工具。通过识别关键词以及追踪在线用户的活动, 我们研究正在进行的讨论。”

Truthy是由印第安纳研究者菲尔·孟泽 (Fil Menczer) 和亚力桑德罗·弗拉米尼 (Alessandro Flammini) 开发的。每一天, 该项目的计算机过滤多达5千万条推文, 试图找出其中蕴含的模式。

一个主要的兴趣点是“水军”, 费拉拉说:协调一致的造势运动本应来自草根阶层, 但实际上是由“热衷传播虚假信息的个人和组织”发起的。

2012年美国大选期间, 一系列推文声称共和党总统候选人米特·罗姆尼 (Mitt Romney) 在脸谱网上获得了可疑的大批粉丝。“调查者发现共和党人和民主党人皆与此事无关。”费拉拉说, “幕后另有主使。这是一次旨在令人们相信罗姆尼在买粉从而抹黑他的造势运动。”

水军的造势运动通常很有特点, 费拉拉说。“要想发起一场大规模的抹黑运动, 你需要很多推特账号, ”包括由程序自动运行、反复发布选定信息的假账号。“我们通过分析推文的特征, 能够辨别出这种自动行为。”

推文的数量年复一年地倍增, 有什么能够保证线上政治的透明呢?“我们这个项目的目的是让技术掌握一点这样的信息。”费拉拉说, “找到一切是不可能的, 但哪怕我们能够发现一点, 也比没有强。”

头脑里的大数据

人脑是终极的计算机器, 也是终极的大数据困境, 因为在独立的神经元之间有无数可能的连接。人类连接组项目是一项雄心勃勃地试图绘制出不同脑区之间相互作用的计划。

除了连接组, 还有很多充满数据的“组”:

·基因组:由DNA编码的, 或者由RNA编码的 (比如病毒) ——全部基因信息

·转录组:由一个有机体的DNA产生的全套RNA“读数”

精神障碍通常是具体病例具体分析, 但是一项对150万名病人病例的研究表明, 相当多的病人患有超过同一种疾病。芝加哥大学的西尔维奥·康特中心利用数据挖掘理解神经精神障碍的成因以及之间的关系。“好几个 (研究) 团队都在致力于这个问题的解决。”中心主任安德烈·柴斯基 (Andrey Rzhetsky) 说, “我们正试图把它们全部纳入模型, 统一分析那些数据类型……寻找可能的环境因素。”图片来源:Andrey Rzhetsky, 芝加哥大学

大数据盯着“bigdata” (意为大数据) 。这些是在推特上发布过“bigdata”的用户之间的连接, 用户图标的尺寸代表了其粉丝数多寡。蓝线表示一次回复或者提及, 绿线表示一个用户是另一个的粉丝。图片来源:Marc Smith

20名健康人类受试者处于休息状态下接受核磁共振扫描, 得到的大脑皮层不同区域间新陈代谢活动的关联关系, 并用不同的颜色表现出来。黄色和红色区域在功能上与右半脑顶叶中的“种子”位置 (右上角黄斑) 相关。绿色和蓝色区域则与之关联较弱或者根本没有关联。图片来源:M.F.Glasser and S.M.Smith

这是星系动物园志愿者们发现的差不多2000个背光星系之一。它被其后方的另一个星系照亮。来自背后的光令前景星系中的尘埃清晰可辨。星际尘埃在恒星的形成中扮演了关键的角色, 但它本身也是由恒星制造的, 因此检测其数量和位置对于了解星系的历史至关重要。图片来源:WIYN望远镜, Anna Manning, Chris Lintott, William Keel

随着数据及通讯价格持续下跌, 新的思路和方法应运而生。如果你想了解你家中每一件设备消耗了多少水和能量, 麦克阿瑟奖获得者西瓦塔克·帕特尔 (Shwetak Patel) 有个解决方案:用无线传感器识别每一台设备的唯一数字签名。帕特尔的智能算法配合外挂传感器, 以低廉的成本找到耗电多的电器。位于加利福尼亚州海沃德市的这个家庭惊讶地得知, 录像机消耗了他们家11%的电力。图片来源:Peter Menzel/The Human Face of Big Data

·蛋白质组:所有可以用基因表达的蛋白质

·代谢组:一个有机体新陈代谢过程中的所有小分子, 包括中间产物和最终产物

连接组项目的目标是“从1, 200位神经健康的人身上收集先进的神经影像数据, 以及认知、行为和人口数据”, 圣路易斯市华盛顿大学的连接组项目办事处的信息学主任丹尼尔·马库斯 (Daniel Marcus) 说。

项目使用三种磁共振造影观察脑的结构、功能和连接。根据马库斯的预期, 两年之后数据收集工作完成之时, 连接组研究人员将埋首于大约100万G数据。

绘制脑区分布图的“分区”是一项关键的任务, 这些脑区最早于两到三世纪之前通过对少量大脑染色被识别出来。“我们将拥有1, 200个人的数据, ”马库斯说, “因此我们可以观察个人之间脑区分布的差别, 以及脑区之间是如何关联的。”

为了识别脑区之间的连接, 马库斯说, “我们在受试者休息时获取的扫描图中, 观察脑中的自发活动在不同区域之间有何关联。”比如, 如果区域A和区域B自发地以每秒18个周期的频率产生脑波, “这就说明它们处于同一网络中。”马库斯说。“我们将利用整个大脑中的这些关联数据创建一个表现出脑中的每一个点如何与其他每一个点关联的矩阵。” (这些点将比磁共振成像无法“看到”的细胞大得多。)

星系动物园:把天空转包给大众

星系动物园项目打破了大数据的规矩:它没有对数据进行大规模的计算机数据挖掘, 而是把图像交给活跃的志愿者, 由他们对星系做基础性的分类。该项目2007年启动于英国牛津, 当时天文学家凯文·沙文斯基 (Kevin Schawinski) 刚刚蹬着眼睛瞧完了斯隆数字巡天计划拍摄的5万张图片。

阿拉巴马大学天文学教授、星系动物园科学团队成员威廉·基尔 (William Keel) 说, 沙文斯基的导师建议他完成95万张图像。“他的眼睛累得快要掉出眼窝了, 便去了一家酒馆。他在那里遇到了克里斯·林托特 (Chris Lintott) 。两人以经典的方式, 在一张餐巾的背面画出了星系动物园的网络结构。”

星系是一个经典的大数据问题:一台最先进的望远镜扫描整个天空, 可能会看到2000亿个这样的恒星世界。然而, “一系列与宇宙学和星系统计学相关的问题可以通过让许多人做相当简单的分类工作得以解决。”基尔说, “五分钟的辅导过后, 分类便是一项琐碎的工作, 直到今日也并不适合以算法实现。”

星系动物园的启动相当成功, 用户流量让一台服务器瘫痪了, 基尔说。

斯隆巡天的全部95万张图片平均每张被看过60次之后, 动物园的管理者们转向了更大规模的巡天数据。科学受益匪浅, 基尔说。“我的很多重要成果都来自人们发现的奇怪物体, ”包括背光星系。

星系动物园依赖统计学、众多观察者以及处理、检查数据的逻辑。假如观察某个特定星系的人增加时, 而认为它是椭圆星系的人数比例保持不变, 这个星系就不必再被观察了。

然而, 对一些稀有的物体, 基尔说, “你可能需要40至50名观察者。”

大众科学正在发展自己的法则, 基尔补充道。志愿者们的工作“已经对一个真实存在的重大问题做出了贡献, 是现存的任何软件都无法实现的。鼠标的点击不该被浪费。”

这种动物园方法在zooniverse.org网站上得到了复制和优化。这是一个运行着大约20项目的机构, 这些项目的处理对象包括热带气旋、火星表面和船只航行日志上的气象数据。

最终, 软件可能会取代志愿者, 基尔说。但是计算机和人类之间的界线是可互换的。比如说超新星动物园项目在软件学会了任务之后就关闭了。

我们惊讶地得知志愿者们积累的庞大数据是计算机学习分类的理想材料。“一些星系动物园用户真的很反感这一点。”基尔说, “他们对于自己的点击被用来训练软件表达出明显的怨恨。但是我们说, 不要浪费点击。如果某人带来了同样有效的新算法, 人们就不必做那些事情了。”

学习的渴望

人们长久以来改进对图像和语音的模式识别的努力已经受益于更多的训练, 威斯康星大学麦迪逊分校的克拉考尔说。“它不仅仅是有所改善, 更是有了实际的效果。5到10年之前, i Phone上的Siri是个想都不敢想的点子, 语音识别一塌糊涂。现在我们拥有了这样一批庞大的数据来训练算法, 忽然之间它们就管用了。”

等到处理能力一次相对较小的改变令结果出现突破性的进展, 克拉考尔补充道, 大数据的应用可能会经历一次“相变”。

“大数据”是一个相对的说法, 不是绝对的, 克拉考尔指出。“大数据可以被视作一种比率—我们能计算的数据比上我们必须计算的数据。大数据一直存在。如果你想一下收集行星位置数据的丹麦天文学家第谷·布拉赫 (Tycho Brahe, 1546-1601) , 当时还没有解释行星运动的开普勒理论, 因此这个比率是歪曲的。这是那个年代的大数据。”

大数据成为问题“是在技术允许我们收集和存储的数据超过了我们对系统精推细研的能力之后。”克拉考尔说。

我们好奇, 当软件继续在大到无法想象的数据库上执行复杂计算, 以此为基础在科学、商业和安全领域制定决策, 我们是不是把过多的权力交给了机器。在我们无法觑探之处, 决策在没人理解输入与输出、数据与决策之间的关系的情况下被自动做出。“这正是我所从事的领域, ”克拉考尔回应道, “我的研究对象是宇宙中的智能演化, 从大爆炸到大脑。我毫不怀疑你说的。” (本文编译自:The Why Files, Data Dance, Big Data and Data Mining;原创人员:编辑/Terry Devitt;设计制图/S.V.Medaris;项目助理/Yilang Peng;专题作者/David J.Tenen Baum;内容制作总监/Amy Toburen)

知识链接

“大数据” (Big data) 作为时下最火热的IT行业的词汇, 随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。

早在1980年, 著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中, 将大数据热情地赞颂为“第三次浪潮的华彩乐章”。不过, 大约从2009年开始, “大数据”才成为互联网信息技术行业的流行词汇。美国互联网数据中心指出, 互联网上的数据每年将增长50%, 每两年便将翻一番, 而目前世界上90%以上的数据是最近几年才产生的。此外, 数据又并非单纯指人们在互联网上发布的信息, 全世界的工业设备、汽车、电表上有着无数的数码传感器, 随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化, 也产生了海量的数据信息。大数据技术的战略意义不在于掌握庞大的数据信息, 而在于对这些含有意义的数据进行专业化处理。换言之, 如果把大数据比作一种产业, 那么这种产业实现盈利的关键, 在于提高对数据的“加工能力”, 通过“加工”实现数据的“增值”。且中国物联网校企联盟认为, 物联网的发展离不开大数据, 依靠大数据可以提供足够有利的资源。

随着云时代的来临, 大数据也吸引了越来越多的关注。《著云台》的分析师团队认为, 大数据通常用来形容一个公司创造的大量非结构化和半结构化数据, 这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起, 因为实时的大型数据集分析需要像Map Reduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

大数据分析相比于传统的数据仓库应用, 具有数据量大、查询分析复杂等特点。《计算机学报》刊登的“架构大数据:挑战、现状与展望”一文列举了大数据分析平台需要具备的几个重要特性, 对当前的主流实现平台——并行数据库、Map Reduce及基于两者的混合架构进行了分析归纳, 指出了各自的优势及不足, 同时也对各个方向的研究现状及作者在大数据分析方面的努力进行了介绍, 对未来研究做了展望。

3.大数据技术与档案数据挖掘 篇三

关键词：大数据技术；数据挖掘；档案管理

伴随着大数据时代的到来，数据挖掘技术在档案管理中的应用将进入一个新的发展时期。尽管档案学术界很早就提出知识管理与知识挖掘，但知识挖掘尚停留在概念和理论探讨阶段[1]。大数据挖掘，即从大数据中挖掘知识，大数据挖掘技术有效地解决了数据和知识之间的鸿沟，是将数据转变成知识的有效方式[2]。因此，有档案学研究者认为“档案馆的传统业务将向档案资源的数据分析、数据挖掘方向转移，对大量数据的分析处理将成为档案馆的主要业务”[3]，“档案信息服务的底层基础可能不再是检索，而是智能化的数据挖掘”[4]。

大数据时代给数据挖掘技术带来的根本性改变是使数据的深度挖掘成为可能，对大量数据进行分析处理和智能化挖掘，从管理角度来看，要达到最优的结果，不仅数据要全面、可靠、有价值，而且需要对数据进行深度挖掘。

1 数据深度挖掘是大数据技术应用于档案管理中的主要特点

数据挖掘技术是通过对海量数据进行建模，并通过数理模型对企业的海量数据进行整理与分析，以帮助企业了解其不同的客户或不同的市场划分的一种从海量数据中找出企业所需知识的技术方法[5]。数据深度挖掘，是一个对数据进行建模的过程，并对数据进行分类与统计，查找得出数据分布的关联性，这也是探索规律的过程。

如，档案人员想要做好档案编研选题，不仅要对用户利用档案数据，包括档案调卷数量、档案利用次数、复制档案数量、制发档案证明数量等进行深度挖掘，而且还需要对用户访问记录，包括网页采用的关键字、下载记录、检索词、用户利用网页时间和频度等信息进行深度挖掘，然后利用分类功能及数据分析，建立档案编研选题的用户模型，一是按需确定不同类型的编研选题，提供个性化的服务；二是根据档案用户需求特点，预测其未来趋向，结合社会热点选定档案编研题目，从而使档案编研部门推出用户满意的编研成果。在档案利用方面，对档案利用登记数据库进行深度挖掘，分别选取不同方面数据进行建模，可以得出不同档案利用形式的变化趋势，从而对档案利用趋势进行分析和预测，对利用频率高的档案进行全文数字化，既可以提高档案利用效率，又可以起到保护档案原件的作用。

因此，档案数据的深度挖掘是大数据时代的主要特点，档案学的发展历程告诉我们，每一次重大的技术变革都必然影响着档案学的发展，如计算机和网络技术的引入，引起了档案管理理念与实践的变革，改变了文件与档案的处理流程[5]。大数据技术对档案数据的深度挖掘为档案管理流程由粗放走向精细化提供了可能。

2 大数据技术对档案数据深度挖掘使档案管理模式走向精细化

大数据挖掘技术基于传统的数据挖掘，使用的是数据仓库，构造的是“泛关系”的聚分类模型，采取的是海量数据分析方法，机器与人类一样具备语义知识，提供的是可视化视图来揭示信息，可以说是传统数据挖掘方法的深化。由中国人民大学网络与移动数据管理实验室开发ScholarSpace，大数据处理的最基本流程由数据来源、数据抽取与集成、数据分析、数据解释等过程组成[6]，分析认为大数据技术对档案数据挖掘由数据采集层、数据整理层、数据分析层、数据展示层组成。

2.1 数据采集层收集高质量的档案数据，为档案管理精细化奠定基础。数据采集是大数据技术处理流程中最为基础的一步，高质量的数据是大数据技术发挥效能的前提，大数据技术只有在高质量的大数据环境下才能提取出隐含的、有用的信息。由于大数据具有实时与动态性特征，“在线”、“近线”和“离线”的各种数字资源均是采集对象。为了使所获得的数据更具有代表性，通过什么方式获取数据信息显得格外重要。数据采集层要收集不同数据源产生的数据，为档案数据挖掘的后续工作做好准备。

2.2 数据整理层改变传统数据处理方式，凸显档案管理精细化过程。经过各种渠道获取的档案数据种类繁杂、结构多样，通过处理、集成、存储可以做到：

一是将结构复杂的数据转换为单一的或便于处理结构的数据。现代互联网应用呈现出半结构化和非结构化数据大幅度增长的趋势，这些资源将成为馆藏的重要来源。如，对档案系统运行日志资料等数据，就需要转换成结构化数据，形成档案统一的语言。二是对采集到的数据进行“去噪”和“清洗”，以保证数据的质量和可靠性。由于原始数据中有噪声数据、冗余数据等问题，对数据进行解析、清洗、重构，以提高待挖掘数据的质量。三是对整理好的数据进行存储，建立专门的数据库分门别类地放置，减少数据查询和访问的时间，提高数据提取速度。

2.3 数据分析层对档案数据的精细分析，凸显档案管理精细化的思维模式。数据分析是整个大数据处理流程最为核心的部分。“相关性”分析是大数据技术重要的思维模式，通过对数据彼此关联性的分析，能够更清楚地看到隐藏在背后的看似不相关的数据之间彼此的密切联系，使档案数据挖掘从常规分析向广度、深度分析转变。

“相关性”分析可激活数字档案资源，大数据技术的核心作用就是挖掘出庞大的数据仓库独有的价值，不管是网络实时运算的“热数据”，还是非在线的“冷数据”，通过对档案数据的综合挖掘、深度整合和数据分析，激活休眠状态的档案资源，展现数据价值，创造出新知识、新价值。“相关性”分析能有效破除信息孤岛的数据壁垒，使各个孤立的、互不联通的数据库之间资源实现充分共享。

2.4 数据展示层为档案用户提供更加精准服务，凸显档案管理精细化“以人为本”的价值追求。对档案用户来说，最关心的不是数据分析处理过程，而是对大数据分析结果的解释与展示。若数据分析的结果不能得到精准的展示，会对档案用户产生困扰，甚至会误导用户。通过档案管理信息系统，将深度挖掘的数据可视化，可以使用户清楚地看到未来发展的方向，从而对决策结果作出评价，这也是决定整个系统挖掘技术是否成功的标准。

3 大数据技术对档案数据深度挖掘，将档案管理精细化发挥到极致

大数据技术在档案管理中的应用从两个方向进行描述：从横向上看，以大数据挖掘技术为中心沿数据收集、整理、分析到展示等技术解决方案；从纵向上看，以数据产品为中心沿档案资源挖掘、用户数据挖掘及关系洞察及趋势预测逐级递进。大数据技术对档案数据深度挖掘使档案资源与用户需求的双向控制达到最优化，凸显管理精细化趋势。

3.1 档案资源挖掘。由于缺乏综合数据挖掘和深度整合，档案资源存在着重藏轻用深度挖掘不够的问题，因此，通过对档案资源数据的深度挖掘，展现数据价值，创造出新价值。

首先，大数据时代树立“大档案”工作思路，重视数据积累，不仅要建立档案资源体系，还要建立数据资源体系观。其次，建立共享档案数据资源库。以省级为单位，建立集中的、规范的、可供共享的档案数据资源库，使各档案馆藏之间相互关联，成为一个内容丰富且不拘泥于实体存储的，信息互联共享的档案数据资源网。最后，利用云计算平台和处理技术构建档案数据资源网，可以用于实时性档案数据的接收，也可以对非实时性数据进行分类处理，使其成为档案用户提供服务的平台。

3.2 用户数据挖掘。通过对用户数据挖掘做到精确洞察，精准服务，提升档案用户认同感，实现档案服务价值。用户数据挖掘包括以下方面：

一是对用户信息进行数据挖掘。提取用户的信息需求，查看用户访问服务器时留下的日志文件，跟踪用户行为，推测用户兴趣，提供个性化利用服务。二是对用户统计检索和浏览记录进行挖掘。如，利用统计分析的方法，通过分析用户对档案目录的点击率，选取点击率高的档案进行数字化；通过分析用户检索时使用的档案检索词，充实和完善数据仓库中的检索关键词，以提高查准率；通过统计分析用户对网页的访问频率，进而开展深层次的信息服务。

3.3 关系洞察及趋势分析。无论是档案资源和用户数据，通过挖掘得到的仅是某一方面的数据，这些数据往往是孤立的数据点，因此，要使这些数据集成为一个完整的网络，必须对数据网络后面的数据关系进行深入分析。如，单单对档案收集情况进行挖掘，得到的仅仅是档案人员与档案之间的关系，对档案利用情况进行挖掘，得到的仅仅是档案与用户之间的数据关系。然而，要想精准洞察档案之间、用户之间及档案与用户之间关系，必须将以上各个孤立的数据点进行整合，得到一个完整的档案网络，才能使档案发展、社会服务等趋势的预测成为可能。

4 积极探索综合性的对策促进档案数据深度挖掘的实现

在融合数据，精细分析后，我们应通过综合性的策略保证大数据技术在档案数据挖掘中的应用落到实处，保障大数据技术在档案管理应用中的有效实现与良性循环。

4.1 建立以大数据技术为核心的数据资源体系，使档案数据挖掘具有时代特色。构建一个“以数字资源为主体，以文本、图片、音频、视频等为形式，为中华民族集体记忆的建构和传承提供文献支撑的‘中国记忆数字资源库”[7]，是时代赋予我们的目标与使命。

首先，扩大数据总量，构建现代化的档案资源体系，加强实体资源的建设，完善档案门类，优化馆藏结构。其次，加强数字资源建设，按照“存量数据化，增量电子化”战略，组建数字化档案资源库，加强电子文件的收集归档。最后，积极开放数据，整合数据资源，增强知识挖掘，实现数据增值。大数据技术为档案管理的深度挖掘提供了数据管理方面的保障，而对数据的深度挖掘使档案馆的功能扩展到发现与预测。

4.2 构建以人为本的用户关系管理，使得档案数据内在关联得以深度挖掘。大数据时代最大转变是放弃对因果关系的渴求，取而代之关注相互关系，只要知道“是什么”，而不需要知道“为什么”[8]，这一转变将使我们以新的视角去理解档案用户数据挖掘。

利用大数据技术可以掌握用户此前的行为、正在进行的实时行为，还可以对用户未来行为进行预测分析，深度挖掘数据内在关联，促进资源集成创新，实现档案数据资源的增值服务。借助大数据技术，对用户搜索方式、行为轨迹、使用习惯、利用兴趣、存储行为等数据进行分析，有效发现用户隐性诉求。如，针对不同用户，产生动态推荐超级链接列表。建立以用户名为单位的个性化数据库，把用户想要的东西、挖掘分析结果放入。

4.3 在挖掘数据同时保护数据隐私安全，为档案数据深度挖掘提供良好的环境保证。大数据时代的隐私保护面临着技术和人力层面的双重考验，如果将这些数据合理利用，将为档案预测决策提供必要的情报信息。如何在保护隐私的前提下对档案数据进行有效的挖掘，我们应做到：一是健全法律规范对个人的隐私权利给予保护，建立健全数据安全管理规划体系，避免因个人隐私数据被随意挖掘滥用而造成影响社会稳定的事件发生。二是使用保护数据隐私的数据挖掘方法，合理界定哪些信息是属于私人信息，在保护私人信息安全的情况下进行数据挖掘。

4.4 借力“智慧因子”完善大数据技术在档案数据挖掘中的应用。随着“智慧城市”的提出，智慧的概念涉及各个领域，智慧档案馆也应运而生，智慧档案馆的核心理念是智慧服务，在大数据技术中植入智慧因子，依托物联网技术将馆舍、档案、网络、数据以及用户统一在智能网络中，达到有效整合和深度挖掘，深层次推动档案服务智慧化。大数据技术不仅将档案资源、用户数据、关系洞察及趋势分析产生的各种数据资源进行汇聚融合，而且利用智慧服务理念创新开发个性化的服务手段，使得档案知识的隐性知识显性化，为用户提供精细化的服务体验，推进档案信息资源智慧服务和知识空间的构建。

5 结论

大数据时代，大档案、大服务、智慧档案等成为档案工作的新发展，随着档案管理创新的深入推进，大数据技术将真正落实到档案管理各个环节，数据挖掘技术将更加娴熟地在档案管理中得到运用。通过本文分析我们得出以下结论：

（1）档案数据的深度挖掘是大数据时代数据挖掘技术在档案管理应用中最主要特点，促进档案管理模式发生改变。因此，在开展档案管理流程研究时，应当立足于这一点，从而达到整体的最优化。

（2）大数据技术对档案数据的深度挖掘历经不同过程环节，我们应当在厘清各环节的基础上，采取有效措施促进整个过程的有效运行，实现整个过程的良性循环与互动。

（3）大数据技术对档案数据挖掘的实现除了依赖大档案数据资源作为基础外，还需要有“以人为本”的用户关系管理、智慧服务理念、规范化的数据安全管理环境等，因此，档案部门应当加强与各部门之间的协同合作，实现大数据技术在档案管理中的应用。

参考文献：

[1] 于英香.档案大数据研究热的冷思考[J].档案学通讯，2015（2）：5.

[2] 王雅洁等.大数据挖掘在食品安全预警领域的应用[J].安徽农业科学，2015（8）：332.

[3] 周枫.资源 技术 思维——大数据时代档案馆的三维诠释[J].档案学研究，2013（6）：63～64.

[4] 张芳霖，唐霜.大数据影响下档案学发展趋势的思考[J].北京档案，2014（9）：12.

[5] 曹莉.刍议大数据时代的数据挖掘与精细管理[J].经营管理者，2013（18）：191～192.

[6] 孟小峰，慈祥.大数据管理：概念、技术与挑战[J].计算机研究与发展，2013（1）：150～151.

[7] 冯惠玲.档案记忆观、资源观与“中国记忆”数字资源建设[J].档案学通讯，2012（3）：6.

4.大数据与《数值分析》教学实践 篇四

摘 要：联系时代发展，数值分析列为应用统计专业的专业基础课。考虑信息时代与数据时代的特点，对应用统计专业的数值分析课程教学内容进行再梳理，教学模式进行更新。开设专题，突出大数据与数值分析的联系，促使大家共同思考，逐步树立大数据理念。数值分析课程教学的深度改革以及教师与学生间的深度配合，培养创新性人才。通过系统学习和改革措施，取得一系列优秀成果。

关键词：大学教育 数值分析 大数据 专业课

中图分类号：G420 文献标识码：A 文章编号：1674-098X（2016）01（b）-0115-02

大型线性方程组，特别是大型稀疏矩阵方程组，为减少计算量、节约内存、充分利用系数矩阵拥有大量零元素的特点，使用迭代法更为合适[1]。插值、拟合、逼近、数值积分与数值微分、范数等无一不是在建构数据关系。

大数据是新事物吗？天气、地震、量子物理、基因、医学等都是大数据所在，借鉴他们的方法有益。过去多用统计类方法，如用抽样调查。这正是应用统计专业人士擅长的。互联网数据挖掘方法论也如此，不同的是：因为人的复杂性，所以更难。既然是关于人的研究就需应用所有研究人的方法梳理大数据。只要懂编程、懂调动数据的人就可以做大数据挖掘的说法显然不准确，因为移动互联网对社会生活的影响本质是时间与空间的解构。

2013年一年产生的全球信息量已经相当于人类文明史当中资料的总和。处在一个数字时代，价值判断主要通过大数据分析，颠覆性的创新以一个不可思议的速度在进行着，每个人必须要去适应。2015年李克强总理曾提出“数据是基础性资源，也是重要生产力”的重要论断，强调中国发展大数据产业空间无限。“海量数据如果能彼此打通，从这中间可以产生出大量的新知识。”中国工程院院士潘云鹤在由中国工程院主办的国际工程科技知识中心2015国际高端研讨会上说，“大数据的出现，表明信息开始独立于人，开始形成单独的空间，今后大数据一定会走向大知识时代。”

必然的时代变化，可怕吗？正视、拥抱？在变化中似乎更能感受到数学专业、尤其是应用统计专业的优点：韧性好、潜力足、回旋空间大。不过，相应的调整与变化也是必须的。数值分析曾经是我校应用统计学专业的选修课程。考虑到信息时代与数据时代的新特点，也在努力地用心地迈向大知识时代，而今数值分析已经成为我校应用统计专业的必修课，一门专业基础课。教学与成长

身为教师，都明白：从改变和提高自己开始，才有成功的教育。与学生们一起经历那一段无可替代的完整的生命体验，自然不是能由碎片讯息和夸张视频可以取代的。因此我们一直都在学习，不断提高教学的本领与技巧，更好地直面生活中众多的选择，并由此观察、体会、领悟全新的生活方式：改变着我们对自身以及人类关系的理解；影响着城市的建造和经济的变革；甚至改变我们成长与成年的方式，也改变着人类老去甚至去世的方式。

尽情地用心做足诗外功夫。尽心尽力地完成教研工作，认真钻研、用心备课、与时俱进，切实把握好重点难点和必要的知识细节，不断改进教案，启发创新思维，开展研究型教学，拓展相关应用的前沿、热点，通过理论分析与数值编程两个手段相结合，拓展研究前沿和实际应用，提供有益的研究信息和潜在思路。精心制作教学课件、算法编程与可视结果，调试正确高效的源程序代码，必要时可以运用多种模式教学、布置大作业。

学生维度方面，发挥主观能动性与学习自主性。不论课堂内外或是线上线下，我们都努力贯彻这样的学习过程：自学（寻疑）、互帮（答疑）、倾听（释疑）、群言（辨疑）、练习（测疑）和反思（质疑）。答疑、释疑和辨疑过程可以出现在同学之间以及师生之间。努力充分开发理解的认识性、道德性、感情性、实践性与创造性及其综合而成的理解的特殊本性，借此更好地提高教育实践的合理性。这样，无论教师还是学生，都处于理解的教育之中，可以更好地理解自己和他人，因而能被别人更好地理解。同时，作为影响其他教育条件更好地发挥作用的关键因素，在其他教育教学条件基本稳定的前提下，更好地发挥多角度理解的作用，从而收获更好的教育教学效果。

习题采用书面撰写与上机编程相配合来完成，布置有关实践应用的大作业，力求考试学术和创新素质的结合与统一。通过教学、科研、动手编写和调试程序，使学生掌握数值算法的构造原理和分析过程，熟悉设计算法的原则和思路，把握已有算法的优缺点、应用面和发展前景，提升知识的融会贯通，能够结合自己的专业和问题来考虑新数值算法的改进与应用。尝试面对科研实际中遇到的问题选择、应用和改进相应的计算方法，从而提升知识应用和思维创新。

每章学习过程中，我们都一起思考相应的数据复杂性、计算复杂性、系统复杂性和学习复杂性等多个方面带来的挑战；同时思考从数值分析出发的相应对策与处理措施。而且，我们开设几个专题，如从数据出发的建模与数值分析、大数据与计算方法的加速处理、大数据中误差的优化及与新方法的生成等等，突出大数据与数值分析的联系，促使大家共同思考，希望因此逐步树立大数据理念，加强目标、模型、数据、技术等多个方面的协同创新。尝试着对数值分析课程教学的深度改革、教师同学生间的深度配合，希望能超越因材施教，也盼望着能接收到超出想象的答案，从而让创新性人才凸现。

整个数值分析课程教学过程中，关注学生的成长过程，更加注意到学生正在寻找自己，构建自己的知识结构，以及他们的变化和发展。若以此为目标进行教改，改革必然会持续进行，一定能帮助学生了解自己，准确定位，为学生必然发生的变化做准备，而非将学生当作已经固定的人才实施因材施教。坚持抓反思、求提升，抓精细、求完美，抓执行、求速度，抓流程、求效果。期望着大家能有超越数据的视野与胸怀。成效

通过系统学习和改革措施，促使教学双方充分发挥“教师的主导作用，学生的主体作用”。教师的教学与科研得到良性发展，促进研究型教学展示，为在新时期培养创新型、复合型、高素质人才做出点滴贡献；学生掌握经典算法和了解了应用前沿，提高数值算法效率和数据分析能力，为利用计算机有效解决科学计算中的问题打好基础；也为更从容地面对世界的柔性、智能、精细发展奠定了基础。

用心投入实践中的好课与好课的实践[2]，发表了一系列相关教学论文。持续开展：数值计算方法及相关课程教学改革的研究与实践；模块化、互衔接的数学类课程群优化的研究与实践；数学教育实验中心运行机制与管理模式的研究与实践；多元化人才培养模式的研究与实践。有如下书籍出版：

《应用数理统计》，机械工业出版社，2008。

《数学物理方程》，科学出版社，2008。

《数据库基础教程》，电子工业出版社，2009。

《基于MINITAB的现代实用统计》，中国人民大学出版社，2009。

《气象统计预报》，气象出版社，2009。

《Numerical Analysis and Computational》，MethodWorld Academic Press，2011。

《数值分析与计算方法》，科学出版社，2012。

《数值计算方法理论与典型例题选讲》，科学出版社，2012。

《Minitab软件入门：最易学实用的统计分析教程》，高等教育出版社，2012。

2012年，这里被确立了教育部专业综合改革试点专业。同年，拥有了中央财政支持地方高校发展――科研平台和专业能力实践基地建设项目，以及多项江苏省及国家级大学生实践创新训练计划项目，如基于地面以及CHAMP卫星数据的地球磁场区域建模研究，基于GPS和实时数据的青奥会期间公共交通调度优化研究，南京市PM2.5监测站分布合理性调查与分析。

2011获年教育部颁发全国大学生数学建模竞赛全国特等奖（高教社杯），全国唯一。2012年摘下全球仅7项的美国大学生数学建模竞赛ICM特等奖。

2015年全国大学生数学建模竞赛获国家一等奖四项、二等奖六项；2015首届中国“互联网+”大学生创新创业大赛金奖；在2015年全国大学生电子设计竞赛中获全国一等奖3项、全国二等奖4项。获奖数量和质量均取得历史性突破，展现了当代大学生的大气、生机和活力。

难怪，世界著名数值分析专家牛津大学教授Floyd N.Trefethen和David.BauIII指出：“如果除了微积分与微分方程之外，还有什么数学领域是数学科学基础的话，那就是数值线性代数。”

参考文献

5.大数据挖掘与数据分析 篇五

数据科学与大数据技术专业就业方向：

数据科学与大数据技术专业学生毕业生能在政府机构、企业、公司等从事大数据管理、研究、应用开发等方面的工作。同时可以考取软件工程、计算机科学与技术、应用统计学等专业的研究生或出国深造。

重视数据的机构已经越来越多，上到国防部，下到互联网创业公司、金融机构需要通过大数据项目来做创新驱动，需要数据分析或处理岗位也很多;常见的食品制造、零售电商、医疗制造、交通检测等也需要数据分析与处理，如优化库存，降低成本，预测需求等。人才主要分成三大类：大数据系统研发类、大数据应用开发类、大数据分析类。

6.大数据与生活的联系论文 篇六

穆鹏 13级管理科学 20***9近年来，大数据产业正深刻改变着人们的思维、生产和生活方式，正在掀起新一轮产业和技术革命。大数据与各个行业的深度融合，也正在迸发出前所未有的社会和商业价值。近日，2016中国大数据产业峰会暨中国电子商务创新发展峰会（简称“数博会”）在贵阳召开。连日来，本报记者在本次峰会发现，已经悄然影响、融入人们生活中的大数据产业，在推动产业转型和新型工业化的进程中，实现了经济发展与生态改善双赢。

另外，技术本身是中性的 , 并无好坏之分，但其发展应用的最终目的是造福于人类。当下，正成为经济社会发展新动能的大数据技术商用、政用可谓日益广泛。而普通人更关心的是，在民用领域，“听起来很美”的大数据技术在不久的将来又将给我们的生活带来哪些改变？

传统产业加速“智造转型”

企业级储存系统、智能充电系统、3D打印……本次数博会期间，2016中国国际电子信息创客大赛暨云上贵州大数据商业模式大赛也在火热进行。记者了解到，在40个参与角逐的项目里,智能制造占比近三成,不仅备受瞩目,更引来资本高度关注。比赛结束后，一家公司基于物联网技术的电梯安全管理项目在三分钟内便获得了5.3亿元的投资意向。

国家发展改革委副主任林念修表示，未来5年，我国大数据产业规模将以每年50%以上的速度增长，以大数据为代表的信息经济将对促进传统产业升级起到日益重要的推动作用。

“技术改变互联网，很多人已经感受到互联网对生活的改变，但却较少感受到技术对互联网的改变。”百度公司创始人、董事长兼首席执行官李彦宏认为，并行计算能力的提升和云存储技术产品成本的降低，使大数据走到了技术变革的临界点。利用大数据帮助传统行业挖掘数据价值，可加快传统行业转型升级。但目前，传统企业普遍面临大数据应用困境，数据存储管理和分析挖掘的能力存在瓶颈。

北京赛智时代信息技术咨询有限公司创始人赵刚博士认为，工业4.0的生产制造，实际上就是以互联网、物联网、机器人、大数据分析、3D打印等为特征的制造过程。制造的过程中，通过三维原型设计、制造仿真、3D打印的虚拟原型等，来分析和优化加工过程；通过以往产品使用数据的收集和分析，来发现缺陷，优化设计和制造工艺；通过数控机床的智能控制来实现精益的制造。例如美国的GE公司就通过收集发动机运行状况数据，来改进产品工艺和产品质量。工业4.0还将改变传统大型制造的业态和组织模式，建立起智能工厂、产销者、分布式3D打印车间等新业态。

微软云计算中国区总监沈寓实也认为，革命性技术、商业模式和全新应用必将在大数据时代应运而生。这将为中国信息产业实现跨越式发展以及向中国智造转型提供难得的战略机遇。

他以微软公司为例，讲述了在云计算引领下企业发展方向的转变。微软成立的时候是一个纯粹的计算机平台软件公司，梦想就是让计算资源走向千家万户，通过可视化的编程再加上小型化推向千家万户，从2006年开始，微软开始谋划战略转型，第三任CEO上台之后提出了云为先、移动为先的理念。如今，微软已全面转向“云端服务”。

让人工智能“加速奔跑”

在数博会进行到第四天，关于“大数据让人工智能„加速奔跑的讨论热度居高不下。

“近几年人工智能为什么这么火？最主要的一个原因就是因为大数据。”李彦宏在数博会上讲道。随着物联网、移动互联网、云计算等信息技术的飞速发展，大数据日益成为科技进步和信息化发展的核心方向。而与大数据密切相关的人工智能顺势而上，飞速发展。而无人车便是一个典型的人工智能的应用。它用一台电脑加上轮子来实现司机所做的事情。同时，一台无人车一天可能要处理十几个T的数据，它的意义甚至超出了互联网。

人工智能的产业化应用中也处理了大量大数据，节约了资源。

曾经轰动一时的小i机器人就是一款人工智能机器人。2004年msn用了这款机器人与用户对话，2006年开始，小i机器人成为很多公司的虚拟客户助手。

小机器人创始人兼CTO朱频频表示，小i机器人的运用为客户的产业发展节约了相当大的资源。“所谓的虚拟客户助手，智能客户机器人的好处显而易见。招商银行的智能客户助手不仅在微信上，在它的网站、QQ、手机APP，还有热线坐席、营业厅门店都有这个机器人出现，做到全天候、全业务的覆盖。中国建行上了虚拟客户助手之后，大概每年节省了6000个坐席，而一个坐席一年起码需要10万元人民币的成本。”

大数据加速了人工智能的发展，而人工智能的发展又会给各行各业带来极大改变，促进整个社会的进步。大数据让人工智能“加速奔跑”，让人类“轻装上阵”。

让电商销售更“个性可视”

“我相信大数据将来能够对整个中国的零售消费品行业带来极大的效率提升”。在数博会上，京东商城创始人、董事局主席兼首席执行官刘强东对“大数据+电商”的价值进行了评估。他表示，以前网络商家是被动接受订单耗时耗力，而利用大数据就可以变被动为主动。根据数据分析，可以就地提前配货，订单一旦生成，消费者随即就可以收到货物。

那么，智能+购物是怎样一种体验？

在数博会上，刘强东和他的京东集团用场景化诠释了这一概念。

站在电视屏幕前的顾客，只需要挥挥手，就能在数分钟内挑选几十款不同的眼镜和衣服。虚拟试衣间通过独特技术打造线上买衣服的新方式，终结“试穿靠想、搭配靠猜、尺码凭经验”的试衣难题。连日来，记者在数博会现场看到，在京东展馆前，这个“虚拟试镜”的体验项目前堪称火爆，电视屏前挤满了好奇的观众。

不少专家认为，“个性化”将成为未来电商的重要特征，准确探知客户的需求变得越来越重要，电商大数据中包含了大量的用户浏览、购买商品的数据，基于对用户消费行为数据的分析和挖掘，电商可以提前感知客户需求从而能够精准提供产品和服务，打造个性化商城和智能卖场。

京东集团CTO张晨表示，在大数据的驱动下，未来电商将实现效率电商、个性化电商和智慧电商，为用户带来真正的品质生活，也将推动生产企业提升产品品质。

“中国现在每天有十几万亿的库存金额”，在刘强东看来，这个库存金额永远产生不了任何价值，只会产生巨额社会成本。“我坚信有一天通过大数据在电商领域的发展，一定能够消化没有价值的库存，真正实现社会零库存”。

2016中国大数据产业峰会暨中国电子商务创新发展峰会的成功举办刷爆了贵州的“朋友圈”。马云、马化腾、李彦宏……一批批来自国内外重量级的数据“大佬”齐聚贵阳，给人们带来了大数据的“头脑风暴”。

走进五花八门的展馆，一个个虚拟的数据和概念正变身一个个APP软件，一部部终端，和人们的衣食住行联系得越来越紧密，大数据化身为了“小生活”。

不知不觉中，大数据已经悄然改变了我们的生产生活方式。通过对大数据的分析应用，企业可以对消费者的需求有更精准的把握，从而进行更对路的生产；通过对用户评价大数据的分析挖掘，企业能够更有针对性地改善用户体验，从而促进产品营销。

而凭借大数据的支撑，我们的居家生活、旅游出行、投资理财更为便捷：动动手指，宅在家也可以享受高品质的生活，吃的喝的穿的用的，电商为你解决；点点屏幕，机票酒店美食一条龙，为你提供最优选择；查查收益，对比一下年化收益率，把闲钱交给你最信赖的“宝宝”……

而更重要的是，大数据改变了人们的思维方式。打车软件、专车服务对出租车市场的冲击与颠覆就是一个很好的佐证。

7.大数据挖掘与数据分析 篇七

鉴于大数据的海量, 复杂多样, 信息的维度多, 颗粒度细, 信息更非结构化等特性, 使得大数据环境的构建颇为复杂。大数据时代数据的收集问题不再成为我们的困扰, 采集全量的数据成为现实。全量数据带给我们视角上的宏观与高远, 这将使我们可以站在更高的层级全貌看待问题, 看见曾经被淹没的数据价值, 发现藏匿在整体中有趣的细节。因为拥有全部或几乎全部的数据, 就能使我们获得从不同的角度更细致更全面的观察研究数据的可能性, 从而使得大数据的分析过程成为惊喜的发现过程和问题域的拓展过程。很多人自始至终都认为数据是越多越好, 那么理想中的大数据是更多的数据, 还是由各种算法构成智能处理技术。

大数据的理想形态是不用构建算法模型, 也可以说已经构建了完整的统计模型, 不用根据具体的问题再单独建立模型, 数据自身会从数据特性, 规律去进行统计分析, 人们只需要将所有数据输入, 计算机就能利用完整的统计模型, 决策出哪些数据适用哪个模型, 解决了哪些数据的问题。最后大数据的输出成果将不是一份报告, 而是一个完整的体系, 给出了在各种条件下的结论的体系。这个体系没有一份报告能容纳如此多的结果。大数据给出的体系具有普遍性, 客观性, 解决了人们片面的使用数学模型, 得出片面结果的问题。

当然, 这是一种理想的智能环境模式。智能环境的理想状态就是, 计算机能够自己的进行推理, 能够自适应数据的维度、结构。到了那个时候, 更多的数据将胜过更好的算法, 因为那时候已经没有了算法, 没有什么是不能计算的。

但现实是, 我们目前的大数据离理想中的大数据形态还有很远的距离。首先, 模型本身就是大数据的一部分, 各种不同模型都有各自的适用范围;其次, 已有的模型可能不适合新的数据, 那么就要构建新的模型, 这都给大数据环境的架构带来很大的困难。

数据分析员总是习惯带着预先设定的结论去分析, 这是统计学随机样本检测的特点, 随机样本带给我们的只能是事先预设问题的答案。他们会不自觉地以对自己有利的方式对这些数据进行分析和解释, 即使这些方式很可能与这些数据所代表的客观现实不相吻合。出于各种原因, 数据分析员很难从干扰他们的噪声中分辨出有用的信号, 甚至会无视这些真实有用的信号。

于是, 数据展示给他们的通常都是他们想要的结果, 而且他们通常也能确保这些数据令大家皆大欢喜。同时, 我们有时天真的相信各种预测分析模型, 却没有人认真地去验证这些模型是否科学合理, 是否与事实相符, 也许这些模型在进行架设选择时根本不堪一击。这种缺乏延展性的结果, 无疑会使我们错失更多的问题域。

大数据时代, 算法不再受限于传统的思维模式和先验的假定, 数据会为我们呈现出新的深刻洞见和释放出巨大的价值, 只有更好的使数据和算法融合, 才能在随时接收着来自数据的同时做出快速的决策, 这样效率会大大提升, 大数据的价值也正是在于将及时的信息及时的传递给需要的人手中并及时的做出决策。

笔者认为数据只是基础, 而更多的是如何建构起有效的算法、模型, 这比数据本身更重要, 网络中有时更多的数据意味着更多的噪声。信号是真相, 噪声却使我们离真相越来越远。

目前的大数据与理想中的大数据形态的距离并不在于数据源的多少上, 数据源从来不是问题, 问题是在于我们如何去构建一个科学合理的分析模型, 并坚信分析模式的输出结果。通过不断地修正、累积各种正确的分析模型, 我们将不断接近理想形态。

我们以为自己需要更多的信息, 但其实我们真正需要的是知识, 需要的是更多的解决问题的模型。所以, 大数据是一种理想的智能环境, 目前我们只是站在一个很长过程的起点上。

参考文献

[1]Big data[EB/OL].[2012-10-02].http://en.wikipedia.org/wiki/Big_data.

[2]王元卓, 靳小龙, 程学旗.网络大数据:现状与展望.计算机学报, 2013 (6) :1125-1138.

8.黄历与大数据 篇八

怎么才能确定哪天是黄道吉日呢？

这要从中国古代历法说起，也就是从农历说起。古人用十天干与十二地支记录年、月、日、时，通过观察和总结太阳和月亮的位置变化的规律，古人发现两个朔望月约是59天的概念，12个朔望月大体上是354天多（与一个回归年的长度相近似），古人因此就得到了一年有12个月的概念，同时古人进一步通过记录和总结星体位置变化和地面气候演变的规律，将全年划分为二十四节气七十二候。中国几千年来一直按照农历进行生活和耕种，春雨惊春清谷天，夏满芒夏暑相连，秋处露秋寒霜降，冬雪雪冬小大寒，离了阴历农夫便不能耕种，这是为什么呢？因为农历本来就是劳动人民通过多年观察总结出来的。

接着要说说星宿的概念了。经过长期观测和总结，古人先后选择了黄道赤道附近的二十八个星宿作为坐标。因为它们环列在日、月、五星的四方，很像日、月、五星栖宿的场所，所以称作二十八宿。早期二十八星宿主要是用于观测天文和气象，根据星宿位置的变化记录气象的变化，从而对农业生产进行指导。

那么怎么从农历、星宿等概念中推出黄道吉日呢？通过长期观测和总结，古人认为宇宙中日、月、星辰之间的互动，蕴藏着万物消长的规律，这些规律又对人类活动产生着各种正面或负面的影响，正面的影响称为吉，负面的影响称为凶，为了让生产活动更加顺利，人类优先选择正面的影响。通过长期观测和总结，人们根据经验按照复杂的推算方法，将日子分为黄道吉日和黄道黑日。

说到这里，您可能就明白了，这不就是大数据么。是的，这就是最初的大数据，我们不得不佩服古人的高超智慧，没有炫丽的词汇，没有高端的机器，有的只是一代人又一代人的观测和总结。

9.大数据带来的机遇与挑战论文 篇九

大数据实现了对传统数据信息结构的解体，与传统数据结构相比成为了一个具有流动性、信息共享与连接的数据池。通过这种灵活的大数据技术，人们可以在最大程度上利用人们以为无法有效利用的数据信息形式来实现对企业的高效运营，为企业的发展也带来了更大的机遇。大数据信息技术的提高也使得数据信息安全工具和技术有所发展，让信息安全的监督更为的精细、高效与及时。

3.1.1 对大数据的挖掘和应用将创造更多的价值

在大数据时代，大数据的发展重点已经从数据的存储与传输发展到了数据的挖掘和应用，这将引起企业发展的商业模式的变化，并且能为企业带来直接的利润，也可以通过积极的反馈来增强企业的竞争力。

3.1.2 大数据的安全更为重要，为信息的安全带来了发展机遇

在大数据时代下，信息的安全事件发展的次数增多，信息安全事件所引发的数据泄露并由此带来的经济损失也越来越大。

随着科学技术网络的不断进步，大数据安全不仅是企业需要面临和维护的对象，也是个人消费者要面对的对象。大数据已然渗透到我们生活的方方面面，这一切使得信息安全越来越重要。

大数据提高了数据信息的价值，但是数据信息安全意识薄弱以及信息安全事件频发，并且损失加大，这样日益严峻的安全形式对信息安全技术和工具均提出了更高的要求。目前所使用的信息安全技术、工具、管理手段以及相关的不能解决这个问题的方法、方式都应该得到发展，而大数据的发展为这一发展提供了巨大的可能性。所有这些，都为信息安全的发展提供新的机遇。

3.1.3 大数据时代下，加快了信息安全的发展速度，云技术拥有巨大潜力

在大数据这条巨大的产业链中，参与者众多，面积也十分广泛。如果按照产品的基本形态来进行划分，可分为硬件、应用软件和基础软件三大类。云技术和信息安全纵贯这三大领域。纵观各个领域的国内外的发展情况，信息安全和商业智能的发展速度最快，尤其是云技术，它将有更大的发展潜能。这三者将成为大数据产业链的三大主要推动力。

3.2 大数据给信息安全带来的挑战

任何事物的发展都具有两面性。大数据的快速发展在为信息安全带来发展机遇的同时，也带来了一些挑战。下面，笔者将从信息安全、技术、人才、国家等方面来对这一挑战进行分析。

3.2.1 信息安全

在大数据时代下，数据的收集、存储、传播、共享、分析、管理海量涌现，面对这样巨量的信息，传统的网络信息安全面临着很多新的问题，安全成为今天的要务。这里具有两个层面的意义，一方面，大量的数据信息必然包含着大量的个人隐私，以及各种行为的具体细节的记录。这些数据的有效保护和不被滥用成为人身安全的重要保障;另一方面，大数据给数据的存储、保护带来了许多技术上的难题，很多信息安全技术和工具问题等待着我们去艰苦攻关，传统的信息安全和技术已经基本失去效用。

3.2.2 对数据的不正当的增删和篡改

与传统上的数据技术理念不同，大数据技术是从海量的非结构化的数据信息中提取具有实际价值的信息，所以这要求大数据的信息必须是可靠的。举一个例子，如果hacker入侵了大数据的系统，并恶意的增删和篡改了其中的数据信息，这必将对企业的`运营和国家的决策以及个人的发展产生不良的影响。保证大数据信息的可靠性以及分析结果准确性是信息安全面临的新课题。

3.2.3 对数据的盗取

大数据技术所处理的数据量非常巨大，所以，通常采用的是云端存储。因此，数据管理分数、用户进行数据处理的场所也具有不确定性、非法用户和合法用户难以区分，容易让非法用户入侵，盗取重要的数据信息。

3.2.4 个人隐私的泄露

在大数据时代下，个人隐私等安全信息问题已经不是传统上的信息安全问题，应该树立新的安全观。所确立的新的安全观需要在为大数据的利用找到保护与开发的支点。

3.2.5 对国家决策的影响

大数据时代下，信息量的迅速增长不仅仅要在存储等设备上加大资金的投入，同时也需要国家更新信息化的战略布局。如果国家的信息化战略不及时的调整更新，保持原来的信息安全观念不变，将很有可能失去发展的机会，减弱国家的竞争力。

4 面对大数据给信息安全的挑战的应对策略

技术的进步确为数据的处理、分析、存储解决了技术和工具的难题，但对大数据的利用主要应该放在信息安全上。保证大数据信息安全，应该做到以下几点：

4.1 发展科技、利用科技做支撑

加大对大数据信息安全技术和工具的研发投入力度，要不断取得技术上的突破，解决新问题，例如：检测技术、监测分析技术、云技术、加密技术等等。与此同时，还要关注世界信息安全技术的发展方向，发展机遇大数据挖掘的预测能力分析，提高我国的信息安全的战略技术水平。

4.2 政策规范和引导

国家应该及时调整信息安全策略，制定相关的政策，通过政策规范的引导和第三方的监测，切实实施大数据的安全战略。

4.3 积极学习，借鉴国外经验

我们应该积极的借鉴国外的先进经验，加强顶层设计。加大力度研究信息防护的技术和产品，走出一条适合我国信息安全国情的、具有竞争力的和管理模式和技术的规范。

5 结语

10.大数据与互联网心得体会 篇十

本书结合我国当前国情，详细论述了我国互联网金融的现状，内容详尽，各有千秋。其中对煜达投资城的研究最为透彻，煜隆创业投资有限公司董事长杨定平先生以服务实体中小微企业为宗旨，依靠资深技术团队，搭建产学研为一体的平台，创建了煜达投资城，该平台从单纯的平台中介服务转向家居产业链金融、股权投资、新兴产业投资四大模块，采用线上线下相结合的方式，进行科学管理，化解风险，为投资人赚取丰厚的利润，解决了融资人的燃眉之急，实现了投资、融资双赢的目的。

投资实业是煜达投资城的主要特色，也是公司业务的主要发展方向，实体产业主要有雅堂家居有限公司、盛世鸿雅家具有限公司和四川面道股份有限公司。家居产业链金融是煜达投资城的又一大创举，这种方式风险可控，操作简便。“不熟悉的不做”是规避风险的最佳选择。

11.大数据挖掘与数据分析 篇十一

关键词：图书馆 大数据 信息素养 数据素养

中图分类号：G250 文献标识码：A 文章编号：1003—6938（2014）04—0117—03

我们正处于一个数据无处不在的时代，一方面，我们在生活、学习与工作中产生了大量的数据，如记录于数据库中的学习记录、产生于手机终端的信息行为等数据，另一方面，我们也依赖于大量的数据去支撑我们的工作、学习和生活，如基于大量实验数据的科学分析、基于数据统计的趋势展望等，社会也由此进入到了一个数据类型多样、来源丰富、数量庞大、价值巨大的大数据时代，对数据的获取、管理与应用也成为了大数据时代人们必备的技能素养之一。被誉为社会课堂的图书馆一直以来就承担着社会教育职能，在大数据时代，图书馆如何发挥自身的优势与教育职能，在公众的素养教育方面发挥积极作用，也因此成为了学术界特别是图书馆界研究的热点问题。鉴于此，本文在概述大数据与数据素养的关系、概念及大数据时代图书馆职能的基础上，主要对图书馆开展数据素养教育的内容与方式进行了研究。

1 大数据与数据素养

大数据时代，数据将充斥在我们的生活环境、学习环境和工作环境之中，如在学术研究环境下，人们所利用的研究资料、实验过程等都以数据的形式存在，而科学研究也主要以对这些数据的研究如发展规律、呈现态势等而存在，进而形成了以对大量数据的存储、检索、组织和利用为特征的数据密集型科研环境。密集型数据环境的形成发展推动了社会的发展同时，但也对民众的技能素养等提出了更高的要求，如：如何实现对大量、异构数据的组织、分析和利用；如何保护涉及到个人隐私的数据；等等。可以说，在以计算机、网络的利用为主要特征的信息时代，人们需要具有满足信息社会发展步伐的信息素养，如具备一定的信息检索、信息组织等技能，而在大数据时代，民众则需要具备大数据时代社会发展需求、相比较信息素养要求更高的特殊素养，如具备一定的数据组织、数据分析技能。

12.大数据与信息安全 篇十二

大数据现象是由多种社交网络服务的快速增长引发的,目前,每天都产生2.5兆字节的数据,数据的创建速度远远大于分析速度。用户生成的信息产生了可从多种用途加以分析的巨大的数据,从商业到安全性,机器到机器通信(M2M)和物联网也产生了大量的数据。其他领域,如DNA测序,也有助于产生大数据。数据演变成为大数据引起了数据安全和管理的重要问题,一些大数据计划失败正是由于不清晰的安全控制。因此,在大数据方面安全是非常重要的。

1.1 大数据等于大机遇与大问题

数据的数量随着现代企业的发展以指数级的速度与日俱增,从这些数据中提取有商业价值的信息的期望也随之增加。越来越多的企业领导人明白,近乎实时的大量数据收集分析可以帮助他们应对市场趋势,在日益严酷的经营环境中占据一个独特的竞争优势。随着大数据主动获取越来越多的数据,为企业领导人提供了增强的商业价值同时,企业在存储数据方面将面临着巨大的风险和威胁。

1.2 大数据等于大安全威胁

公司刚开始体验到大数据的优越,像任何新的恋情一样忽视对方的缺陷。然而,了解这些海量数据存储包含大量的“有毒”的数据对用户来说是很必要的。有毒数据是指脱离控制后会造成损害的数据。通常情况下,有毒数据包括监护信息如信用卡号码,个人可识别信息(PII)如身份证号码,和个人的健康信息(PHI)和敏感的知识产权,包括商业计划和产品设计。

如今,网络黑客和一些代理商正在偷这类有毒的数据。安保不全和缺乏控制的大数据环境可能会使这些恶意行为更容易。随着大数据热度的消退,公司必须意识到大数据环境问题,并适当控制和保护他们的大数据环境。

1.3 大数据等于大安全挑战

像任何技术创新一样,应用大数据带来的好处已使企业下意识的忽略了其潜在的负面影响。当安全专家指出其潜在后果时,业务和IT领导人会认为专家是为了商业利益故意将弊端夸大化,现有的安全技术被直接应用上去,而不考虑实际。我们都知道,直接覆盖或者套用的方式是无效的并且会引起很多安全方面的问题和挑战。现在是时候承认大数据的安全风险,并开始计划进行适当的控制了。

1.4 大数据等于大责任

除了存储相关的知识产权问题,大数据环境还包括公司可以控制但不能拥有的数据。这通常包括客户数据和业务合作伙伴数据。由于大数据是整个组织的数据集中,安全和风险管理专业人士必须努力消除现存的数据存储上的权责问题。例如,法律团队和负责数据泄漏防护(DLP)的安全小组来一起从事分散数据发现和项目分类,这样的组合可以提高效率,降低成本,提高可操作性。在应用安全控制之前(如加密,标记,和权限管理等),可以用一个统一的方法来提取和分类归档数据,便于存储和删除如此大量的数据。

法律、安全团队还需要一起研究了解大数据相关的监管问题。例如,也许你的企业要发展从客户大约24000000000微博中挖掘和分析市场情报的能力,这听起来是个好主意,但它在一些个人隐私法比较严格的欧洲国家也可能触犯法律,如德国、西班牙和意大利等,你的大数据事业甚至在开始之前就突然死亡了。然而,如果安全人员参与了项目的早期建设,企业能有更好的机会来利用更多的或更有前途的替代技术,如在大数据初始化处理上使用标记技术来代替PII技术。

2 安全发展的驱动

如果我们把信息安全行业作为一个整体来看,除了快速发展的的威胁形势外还有什么能推动创新?

回顾过去,有两大创新驱动力 :一个是内在力,即顺应发展要求。它看起来跟创新没关系,但实际上它在某些领域确实推动创新,像加密和标记等。解决这些问题涉及实际的经济利益。

第二个驱动力是外在力,即环境威胁,主要是攻击,特别是高频率高质量的攻击。这两个驱动因素今天依然存在。个人设备的广泛应用,和公共云服务的快速发展也必将推动安全性的创新。

但现在,还有另外一个驱动力,它很有趣,而且对于安全来说相当新鲜,那就是隐私。最近隐私问题一直出现在聚焦排行榜前列,绝对是推动建立创新解决方案的驱动。关于这方面有一个很具古义的创新app :阅后即焚,一种邮件自毁程序,即邮件或聊天内容存在一定时间后即删除。这对于安全来说就是个很新鲜的尝试。

IT安全的最重要的问题之一就是缺乏良好的指标。很多时候,我们不得不基于先例来处理问题,在某些情况下,甚至是基于使我们更安全或更不安全的迷信。大数据和数据分析提供了一种进行安全实衡量的可能,它或许可以给我们一套可落地的实用标准,这将不只是影响尝鲜的大企业,也会给中小型企业带来非常具可操作性的想法。

3 大数据的影响

大数据改变了信息安全领域的本质。在过去的几年里,看似不可能的大量消费者和行业数据(又名大数据)的概念频频出现在新闻中,由于它引起了人们对公共,私人消费,政府信息安全和隐私问题和业务水平。发现,收集和保存敏感数据(如消费者的IP地址,企业的预算,购物习惯或信用卡信息)的做法,不仅挑战了数字时代的隐私概念,同时也为黑客、网络窃贼和网络恐怖分子创造了新的难以抗拒的目标。其结果是,就算是信息安全专家都需要了解如何调整自己的工作,以有效的方式来管理大数据现象。

3.1 在健康医疗上的影响

在健康保险方面,在过去的二十年中,医疗费用以惊人的速度增加,目前估计为GDP的17.6%。医疗专家在提高治疗过程效果的同时也在寻求如何降低费用,大数据的出现给了转变医疗卫生及保险行业一个合理的解决方案。麦肯锡全球研究院估计,如果发挥大数据战略杠杆的最大潜能,每年估计能有十亿利润增加。举例来说,利用大数据分析和基因组研究与病人实时记录,可以让医生对治疗做出更加有效的决定。

此外,大数据将迫使保险公司重新评估其预测模型。随着医疗服务的成本上升和医疗保险费的上升,将有必要进行积极的医疗管理和健康管理。这种转变从被动到主动的医疗保健和保险可能导致护理质量的提高,降低医疗费用,并最终导致经济增长。

在过去的十年里,在医疗IT中的安全漏洞呈现稳定增长。在2013年,Kaiser Permanente的(美国最大的非营利性医疗保健机构)通知其49000例患者,他们的健康信息被泄露,因含有患者记录未加密的USB盘被盗窃。此外,对病人的隐私和数据安全的一项研究表明,医疗及保险商94%的客户在过去的两年中至少有一个安全漏洞。在大多数情况下,这些攻击是来自内部人士,而不是外部。随着不断变化的风险环境和新出现的威胁和脆弱性,安全方面的违例将层出不穷,电子病历及保单的安全性必须予以高度重视,以确保客户的安全。现在患者的信息以不同的安全级别被存储在数据中心,并且大多数的医疗数据中心有安全认证,但认证并不保证病历的安全性,更侧重于确保安全策略和程序而不是执行它们,而通过在健康医疗及保险上应用大数据将显著提高安全性和病人的隐私关注度。

3.2 大数据在商务的影响

数字数据和信息安全的管理几十年一直是一个热门的商业问题。自互联网在上世纪80年代成为主要通信设备开始,人们就不得不开始为保护公共和私有数据而和黑客的攻击作斗争。

但是,大数据的出现,彻底改变了信息安全领域。虽然大数据的概念可能使隐私问题受到过分关注按,单从商业营销策略和产品开发的角度看它一直是一个宝库。通过分析从城市,省,国家或全球客户收集数据点,公司能够分析特定的购买趋势和区域影响力。事实上,这些数据库已经变得如此有价值,以致它们通常被认为是一个企业的资产清单的一部分。

然而,大数据已成为网络威胁,它已经成为黑客或企业间谍活动的主要目标。在过去的五年里,已经出现了跨多种行业的众多的对大数据的攻击。几年前,TJX公司经历了一个信用卡信息安全漏洞事件,影响了数以百万计的全球客户。除了丢失的数据是保密的或有价值的外,另一个主要后果是消费者对企业信心和信任的丧失。这就是为什么大数据的安全性已经成为核心业务战略的一部分,精明的企业都在寻找合格的专业人才,以保护自己对敏感信息的大量投资。

3.3 大数据在信息安全方面的影响

企业聘请技术专家来管理网络安全和信息技术的时代已经一去不返了,因为大数据需要信息安全产业利用所有领域的专家来提供对重大漏洞的安全防护。作为其主要的业务资产之一,许多企业正在推动扩大他们的数据基础设施系统以保护大数据。一个有趣的结果是,扩大或升级技术基础设施也成为一个公司的价值增加的重要方式。安全信息基础设施,包括服务器,网络,防火墙,工作站和入侵检测系统是不可或缺的安全,因为他们支持复杂算法的快速处理,并提供对大数据威胁防御的第一道防线。在大数据世界里大家都开始变得不同了。大数据需要在许多方面都有研究的信息安全专业人士,而不是跟以前一样专注于该领域。

4 结语

“大数据”时代已经迎来了大量的发展机会 :推进科学,完善的医疗,促进经济增长,改革教育体制,并建立社会交往和娱乐的新形式。然而,这些机会也带来了安全性和隐私性的挑战。这些挑战包括 :缺乏有效的工具和方法用于安全地管理大规模分布式数据集 ; 第三方数据共享 ; 漏洞不断扩大的公共数据库……数据是强大的,而且数据也是危险的,错误的数据落入错误的人之手可能带来毁灭性的后果。同时还必须关注众多法规和隐私法,违反这些职责和法律可能导致显著的财务和品牌声誉的损失。是时候启动大数据安全规划了,越早建设大数据安全措施将越有利于降低成本、风险和发展期阵痛。

摘要：大数据(big data)现象源于越来越多的来自各种渠道的数据,大数据的大不仅是指尺寸或体积,大数据的特点被称为4V:体积,种类,速度,和价值-(volume,variety,velocity,and value),大数据的这种特性使其很难从安全角度管理,本文概述了大数据对安全及应用方面影响,对大数据安全发展提出了可能的方向。