免费论文网 首页

大数据分析报告

时间:2016-09-01 11:44:23 来源:免费论文网

篇一:关于大数据分析的月总结

关于大数据分析领域的综述报告

1 现状分析

1.1 背景介绍

理解大数据分析这个专业领域,有必要先了解大数据相比于传统数据形式所具有的不同特征,主要包括以下四点(4V特性):

1数据量大。根据互联网数据中心(IDC)的报告显示,目前的数据容量为

1.8万亿GB,2020年全球数据总量将超40ZB。数据来源包括以微博为代表的Web数据,Facebook、QQ为代表的社交网络数据,阿里巴巴为代表的电子商务数据,由各类传感器、摄像头采集到的物联网数据,以及来自医疗、制造、金融等传统行业信息化后产生的数据。

2 数据流动性大,增长迅速,时效性高。最具代表性的就是Web数据和社交网络数据,Facebook每天生成的日志数据达到300TB以上。

3 数据类型多样化,包括结构化、半结构化、非结构化的数据,根据IDC的报告显示,1.8万亿GB的数据中,非结构化数据占到80~90%之间。

4 数据价值高密度低。在海量数据中,包含有用信息的数据比例较低。

而当我们借助传感器、数据采集设备获得海量数据后,再通过挖掘形成知识,人们还想知道这些数据代表了什么,面对这些数据我们应该采取的应对策略。因此,形成了大数据分析的概念,即:对海量数据进行分析,从中找出可以帮助决策的隐藏模式、未知的相关关系以及其他有用信息的过程。大数据代表了信息科技和商业世界的联合,将大数据分析嵌入产品生产和服务的过程已经成为一种趋势。

大数据产业在中国的发展主要分为四个过程,如图1所示:

(2009-2011)(2012-2013)(2014-至今)

图1 大数据产业在中国的发展过程

目前,我国大数据产业处于高速发展期,多种商业模式得到市场印证,新产品和服务不断推出,细分市场走向差异化竞争。

大数据分析带来的直接经济效益也是很可观的。来自麦肯锡2012 年大数据报告中的一组数据显示,大数据产业为美国医疗系统带来每年3000 亿美元的收益; 为欧洲公共管理部门带来2500 亿欧元的收益; 为零售业增加60% 的净利润; 为制造业减少50% 的产品研发等成本。2015 年超过85%的财富500 强企业将在大数据竞争中失去优势。据IDC 预测,大数据技术与服务市场将从2010 年的32 亿美元攀升到2015 年的169 亿美元,实现40%的年增长率(是IT与通信产业增长率的7 倍)。大数据应用在全球七大重点领域(教育、交通、消费、电力、资源、大健康及金融)都存在巨大的潜在价值。图2为中国的2011-2016年大数据产业的营收规模,如图所示,大数据产业规模以25%以上的年增长率在快速发展着,预计2016-2018年中国大数据市场规模还将维持40%左右的高速增长。

图2 2011-2016年中国的大数据产业营收规模

1.2 技术介绍及新挑战

1.2.1 技术概述及进展

从大数据的处理过程来看,分为以下几个步骤:大数据采集、大数据预处理、大数据存储及管理、大数据分析、大数据展现和应用,分布式技术以及非传统关系型的NoSQL数据库技术的发展,能够应对海量数据的存储管理及预处理,这也为后续的数据分析提供了技术支撑。大数据展现和应用则需要借助可视化技术,将数据挖掘结果以一种直观,可理解的方式呈现,并结合应用领域的专业知识,将数据认知,转化为可帮助决策的有用信息。对于本文论述的大数据分析技术,其核心是数据挖掘,数据挖掘是在大型数据存储库中,自动地发现有用信息的过程,发现先前未知的有用模式,还可以预测未来的观测结果,主要表现为对现有数据进行基于各种算法的计算。不同于传统的数据分析技术,数据挖掘算法必须要满足可伸缩性,并具备对高维属性的、大量异种或复杂的数据进行处理的能力,另外,当数据分布于多个机构的资源中,还需要相应地开发分布式的数据挖掘算法。为此,数据挖掘技术吸收了统计学、人工智能、模式识别和机器学习等领域的思想,图3展示了数据挖掘与其他学科之间的关系:

图3 数据挖掘汇集的学科知识

数据挖掘的任务主要有四类:1. 分类和预测,分类是预测分类标号,对已知的训练数据集表现出来的特性,构造相应地分类器,应用比较广泛的分类算法有决策树、贝叶斯分类器、人工神经网络和支持向量机,而预测则是建立连续值函数模型。2. 关联分析,其目标是发现数据中强关联特征的模式,著名的关联分析方法有Agrawal R提出的挖掘布尔关联规则频繁项集的Apriori算法,此外还有Han J等提出的解决Apriori算法缺陷的不产生候选挖掘频繁项集的频繁模式树算法等;3. 聚类分析,旨在发现紧密相关的观测值组群,主流的算法有K均值、凝聚层次聚类和DBSCAN,能适用于大数据、处理不同类型数据、发现任意形状的簇、处理高维数据、具有处理噪声的能力和聚类结果可解释、易使用是聚类分析的目标;4. 异常检测,任务是识别其特征显著不同于其他数据的观测值。

近年来,大数据领域的数据挖掘方面的研究进展主要包括可扩展性、并行性、分布式算法等方面,在大规模数据下,如何保证现有数据挖掘算法的时间和空间复杂度的应用成为研究热点。Canny 和Zhao 通过全新的算法设计方案提出了BID 大数据处理框架;Michael I Jordan 等提出“bagof little bootstraps”方法解决传统分布式计算和并行计算中存在的问题;Karthik Raman等将大数据上的复杂分析任务分解为一系列的简单任务;此外,社交网络分析和信息网络分析方面,Yang 等提出时间序列聚类方法,从Twitter数据中挖掘热门话题发展趋势的规律。

1.2.2 技术难点

当前,在大数据分析领域面临的问题主要有以下几点:

1. 大数据建模问题。大数据分析处理的是海量数据,过去单个或少数几个

模型组合已经不能适应大数据分析的需要,通过构建由众多模型构成的模型库是解决海量数据分析的有效办法。另一方面,随着其他社会因素的变化及其综合影响,大数据环境下人们行为习惯会发生彻底的改变,或者涌现出一些全新的行为特征,因此需要对这些数据进行有效地监测和分析,找出新的共性特征和个性化差异,构建与这些新的数据分析任务相适应的分析模型。

2. 专业大数据分析工具功能受限于复杂数据结构和数据量。在计算机辅助

信息分析的背景下,我们熟知的软件工具有SPSS、SAS和R等,但在信息分析日益专业化和复杂化的今天,这些工具已经不能直接处理人类活动所产生的海量非结构化数据,而随着金融交易大数据、电子商务评论数据、电信服务大数据、医疗健康大数据和科学研究大数据等的长期积累和快速增长,使得目前还没有成熟的数据分析工具能够很好地应对当前人类对大数据分析的需求。

3. 59%的数据是无效数据,70-85%数据过于复杂,85%企业数据架构无法

适应数据量和复杂性增长的需求。

4. 数据实时处理的要求提高。传统的数据处理都是采取批处理形式,这产

生了一定的滞后性。目前没有一个通用的大数据实时处理框架,且各种工具采用的方法不一,支持的应用类型都相对有限,这导致实际应用中往往需要根据自己的业务需求和应用场景对现有的这些技术和工具进行改造才能满足要求。

1.2.3 行业挑战

但是我们也应该清醒地认识到,我国大数据产业也是刚刚起步,从技术上、观念上、法律上等多个层面都需要变革,才能跟上大数据的发展需要。

在技术上,要将打造自主可控的技术解决方案作为首要目标。对于企业用户,面临着如何规划技术路线、如何选择商用产品、如何构建和运维大数据平台等问题;对于供应商,面临着紧跟技术趋势、精准对接用户需求的压力。要贯彻供给侧结构性改革的思路,加强供需精准对接,把国内优势技术力量凝聚起来形成合力,突破关键技术,推出满足关键行业重大需求的大数据技术产品体系,以产业

篇二:2015年大数据现状及发展趋势分析报告

2015-2020年中国大数据市场深度调查研究

与发展前景分析报告

报告编号:1567619

行业市场研究属于企业战略研究范畴,作为当前应用最为广泛的咨询服务,其研究成果以报告形式呈现,通常包含以下内容:

一份专业的行业研究报告,注重指导企业或投资者了解该行业整体发展态势及经济运行状况,旨在为企业或投资者提供方向性的思路和参考。

一份有价值的行业研究报告,可以完成对行业系统、完整的调研分析工作,使决策者在阅读完行业研究报告后,能够清楚地了解该行业市场现状和发展前景趋势,确保了决策方向的正确性和科学性。

中国产业调研网Cir.cn基于多年来对客户需求的深入了解,全面系统地研究了该行业市场现状及发展前景,注重信息的时效性,从而更好地把握市场变化和行业发展趋势。

一、基本信息

报告名称: 2015-2020年中国大数据市场深度调查研究与发展前景分析报告 报告编号: 1567619←咨询时,请说明此编号。 优惠价: ¥6750 元 可开具增值税专用发票

咨询电话: 4006-128-668、010-66181099、66182099 传真:010-66183099

Email: [email protected]

网上阅读: http:///R_QiTaHangYe/19/DaShuJuWeiLaiFaZhanQuShiYuCe.html 温馨提示: 如需英文、日文等其他语言版本,请与我们联系。

二、内容介绍

中国的大数据应用处在起步阶段,但随着电信和银行领域开始对大数据技术和服务产生浓厚的兴趣,未来三年我国大数据市场将突破百亿元。2012年市场规模达到4.7亿元,2013年增至11.2亿元,增长率高达138%,2014年,保持了与2013年基本持平的增速,增长率为114.38%,市场规模达到24.1亿元,未来三年内有望突破150亿元,2016年有望达到180亿规模,其中增长率最高的是存储市场,将达到60.8%,服务器市场的增长率则是38.3%,远远高于其他非大数据产品相关的市场,由此来看整个行业发展空间巨大。 进入2014年以来,大数据受到各界广泛关注,已渗透到金融、医疗、消费、电力、制造以及几乎各个行业,大数据的新产品、新技术、新服务也正在不断地涌现。

我国大数据产业集聚发展效应开始显现,出现京津冀区域、长三角地区、珠三角地区和中西部4个集聚发展区,各具发展特色。北京依托中关村在信息产业的领先优势,快速集聚和培养了一批大数据企业,继而迅速将集聚势能扩散到津冀地区,形成京津冀大数据走廊格局。长三角地区城市将大数据与当地智慧城市、云计算发展紧密结合,使大数据既有支撑又有的放矢,吸引了大批大数据企业。珠三角地区在产业管理和应用发展等方面率先垂范,对企业扶持力度大,集聚效应明显。大数据产业链上下游企业合作意愿强烈,各集聚区间的合作步伐加快,产学研协同创新发展初见成效。

大数据行业“十三五”规划主要目标,到2020年,大数据在国民经济和社会各领域广泛应用,推动全国信息化总体水平再上新台阶,迈入世界先进水平。推动制定一批

国家、行业和地方大数据标准,引进和培育大数据龙头企业,建设大数据产业基地,将大数据打造成为国民经济新兴支柱产业。

中国产业调研网发布的2015-2020年中国大数据市场深度调查研究与发展前景分析报告认为:到2020年,形成50个大数据产业示范园区,引进和培育100户大数据龙头企业,通过大数据带动相关产业规模达20万亿元,建成全球领先的大数据资源中心和大数据应用服务示范基地。

推动我国大数据产业稳步快速发展,到2020年,大数据产业体系基本健全,业务形态较为齐备,创新能力显著增强,安全保障能力明显提高。

2015-2020年中国大数据市场深度调查研究与发展前景分析报告对我国大数据行业现状、发展变化、竞争格局等情况进行深入的调研分析,并对未来大数据市场发展动向作了详尽阐述,还根据大数据行 业的发展轨迹对大数据行业未来发展前景作了审慎的判断,为大数据产业投资者寻找新的投资亮点。

2015-2020年中国大数据市场深度调查研究与发展前景分析报告最后阐明大数据行业的投资空间,指明投资方向,提出研究者的战略建议,以供投资决策者参考。2015-2020年中国大数据市场深度调查研究与发展前景分析报告报告是相关大数据企业、研究单位、政府等准确、全面、迅速了解大数据行业发展动向、制定发展战略不可或缺的专业性报告。 正文目录

第一章 大数据概述 1.1 大数据定义 1.2 大数据技术格局 1.3 大数据的发展特点 1.4 大数据相关技术 1.5 大数据与云计算的关系

第二章 中国大数据发展背景及影响因素 2.1 大数据发展背景

2.1.1 大数据发展带来意义和价值2.1.2 大数据发展面临的问题

2.1.3 大数据的挑战

2.1.4 大数据技术发展的脉络和现状2.1.5 国外经验为国内大数据发展增加信息 2.2 大数据发展推动因素2.2.1 国家战略发展驱动2.2.2 信息化发展推动2.2.2 .1云计算对大数据的促进2.2.2 .2 物联网对大数据的促进2.2.2 .3 泛互联网化带来数据分析的需求 2.3 大数据发展遇到问题及阻力2.3.1 大数据时代企业需要的能力2.3.2 通过海量的数据中获得洞察力2.3.3 数据洞察力转化为实际行动 第三章 大数据在行业中的应用分析 3.1 医疗领域

3.1.1 医疗领域大数据应用价值3.1.2 大数据在医疗行业应用状况及前景3.1.3 医疗行业大数据应用产业链分析 3.2 金融

3.2.1 金融领域大数据应用价值3.2.2 大数据在金融行业应用状况及前景3.2.3 金融行业大数据应用产业链分析 3.3 电子商务

3.3.1 电子商务领域大数据应用价值

篇三:中国大数据发展分析报告

中国大数据发展分析报告

目前,在对大数据的价值的态度上,除了6.9%的企业认为数据没有价值以外,绝大多数企业都认为数据具有或可能具有很高的价值,可见大数据的价值已经在企业中获得了广泛的认可。未来随着越来越多的大数据分析平台和工具的开始广泛应用,大数据的价值将会被进一步释放并获得企业认可。大数据发展究竟如何?它能给我们带来什么?或许很多人还不清楚,今天我们就来讨论一下。

一、 我国大数据的国家战略

争夺新一轮技术革命制高点的战役已经打响,中国政府在美国提出《大数据研究和发展计划》的2012年也批复了“十二五国家政务信息化建设工程规划”,总投资额估计在几百亿,专门有人口、法人、空间、宏观经济和文化等五大资源库的五大建设工程。我国的开放、共享和智能的大数据的时代已经来临!

2012年8月份国务院制定了促进信息消费扩大内需的文件,推动商业企业加快信息基础设施演进升级,增强信息产品供给能力,形成行业联盟,制定行业标准,构建大数据产业链,促进创新链与产业链有效嫁接。

同时,构建大数据研究平台,整合创新资源,实施“专项计划”,突破关键技术。大力推进国家发改委和中科院基础研究大数据服务平台应用示范项目,广东率先启动大数据战略推动政府转型,北京正积极探索政府公布大数据供社会开发,上海也启动大数据研发三年行动计划。

其中市场监管类数据和交通数据资源的开放将成为重点,这些与市民息息相关的信息查询届时将完全开放。这意味着企业运用大数据在上海“掘金”的时代来临,企业投资和上海民生相关的产业如交通运输、餐饮等,可以不再“盲人摸象”。

在立足国家战略和产业政策推动大数据收集和分析技术快速发展的同时,我们也应清醒地认识到避免数据垄断和保护数据安全的重要性,及早开展相关法律法规的探讨和研究。 伴随着大数据时代的来临,世界各国对数据的重视提到了前所未有的高度。套上大数据的光环后,原本那些存放在服务器上平淡无奇的陈年旧数一夜之间身价倍增。按照世界经济论坛报告的看法,“大数据为新财富,价值堪比石油”。正如大数据之父维克托所预测,“虽然数据还没有被列入企业的资产负债表,但这只是一个时间问题。”

今天的国家将大数据视为国家战略,并且在实施上,也已经进入到企业战略层面,这种认识已经远远超出当年的信息化战略。我们上面介绍了许多国外的动态,末了自然也要落

脚到本国,思考本国可能采取的发展道路。但是,尚未见到网络安全战略和信息化发展战略全文(据说两会期间公布,也就是这几天),我们也不妨先总结国外的情形,以便进行比较。

二、我国大数据的发展趋势及误区

1. 我国大数据的发展趋势

在全球经济、技术一体化的今天,我国IT行业已经开启了大数据的起航之旅,大数据已经在经济领域发挥重要作用。据计世咨讯预测,2012年,政府、互联网、电信、金融等领域市场规模占据近一半的市场份额。大数据在主要经济领域的发展趋势如下:

1)大数据在经济预警方面发挥重要作用

在2008年金融危机中,阿里平台的海量交易记录预测了经济指数的下滑。2008年初,阿里巴巴平台上整个买家询盘数急剧下滑,预示了经济危机的来临。数以万计的中小制造商及时获得阿里巴巴的预警,为预防危机做好了准备。

2)大数据分析成为市场营销的重要手段

与传统的市场研究方法不同,大数据的市场研究方法不再局限于抽样调查,而是基于几乎全样本空间。例如,百度拥有中国最大的消费者行为数据库,覆盖95%的中国网民,搜索市场占比达87%。百度基于最真实的用户行为数据和多维度研究工具,帮助宝洁精准的定位了消费者的地域分布、兴趣爱好等信息,根据百度分析的结论,宝洁适时地调整了营销策略。

3)大数据在临床诊断、远程监控、药品研发等领域发挥重要作用

我国目前已经有十余座城市开展了数字医疗。病历、影像、远程医疗等都会产生大量的数据并形成电子病历及健康档案。基于这些海量数据,医院能够精准地分析病人的体征、治疗费用和疗效数据,可避免过度及副作用较为明显的治疗,此外还可以利用这些数据进行实现计算机远程监护,对慢性病进行管理等。

4)大数据为金融领域的客户管理、营销管理及风险管理提供重要支撑

大数据能够解决金融领域海量数据的存储、查询优化及声音、影像等非结构化数据的处理。金融系统可以通过大数据分析平台,导入客户社交网络、电子商务、终端媒体产生的数据,从而构建客户视图。依托大数据平台可以进行客户行为跟踪、分析,进而获取用户的消费习惯、风险收益偏好等。针对用户这些特性,银行等金融部门能够实施风险及营销管理。

当前,我国正处在全面建成小康社会征程中,工业化、信息化、城镇化、农业现代化任务很重,建设下一代信息基础设施,发展现代信息技术产业体系,健全信息安全保障体系,推进信息网络技术广泛运用,是实现四化同步发展的保证。大数据分析对我们深刻领会世情和国情,把握规律,实现科学发展,做出科学决策具有重要意义。

中国人口居世界首位,将会成为产生数据量最多的国家,但我们对数据保存不够重视,对存储数据的利用率也不高。此外,我国一些部门和机构拥有大量数据却不愿与其他部门共享,导致信息不完整或重复投资。政府应通过体制机制改革打破数据割据与封锁,应注重公开信息,应重视数据挖掘。美国联邦政府建立统一数据开放门户网站,为社会提供信息服务并鼓励挖掘与利用。

三、结论

目前,大数据在电信、智慧城市、电子商务及社交娱乐等行业已经出现规模化应用,中国大数据市场将进入高速发展时期。大数据真正的价值体现在从海量且多样的内容中提取用户行为、用户数据、特征并转化为数据资源,对数据资源进一步加以挖掘和分析,增强用户信息获取的便利性,实现从产品价值导向到以客户体验价值为中心导向的转换,客户体验的提升也正是激发信息消费的根本原因。

中国信息消费市场规模量级巨大,增长迅速。在网络能力的提升、居民消费升级和四化加快融合发展的背景下,新技术、新产品、新内容、新服务、新业态不断激发新的消费需求,而作为提升信息消费体验的重要手段,大数据将在行业领域获得广泛应用。

大数据已经渗透到各个行业和业务职能领域,成为重要的生产因素,大数据的演进与生产力的提高有着直接的关系。随着网速的大幅提升,数据也将迎来爆发式增长,快速获取、处理、分析海量、多样化的交易数据、交互数据与传感数据,从而实现信息再价值化,对大数据的利用将成为企业提高核心竞争力和抢占市场先机的关键。大数据因其巨大的商业价值正在成为推动信息产业变革的新引擎。

中国发展大数据,具有得天独厚的优势,主要体现在我国的特殊的国情,拥有独特的位势和经济社会高速稳定发展,给大数据及其应用带来了巨大的发展空间。大数据在我国各领域和不同行业的应用潜力巨大、机遇重大。大数据的核心技术进展和大数据应用有可能带来我国新兴战略性产业发展的新机遇。


大数据分析报告
由:免费论文网互联网用户整理提供,链接地址:
http://m.csmayi.cn/show/33658.html
转载请保留,谢谢!
相关阅读
最近更新
推荐专题