大数据能做什么?应用哪些领域?上海大数据职位和前景如何?

时间:2018-05-18 20:19:38   来源:上海尚学堂   阅读:
 最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。” “大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日,却因为近年来互联网和信息行业的发展而引起人们关注。
1 MB = 1,024 KB          1 GB = 1,024 MB          1 TB = 1,024 GB
1 PB = 1,024 TB          1 EB = 1,024 PB          1 ZB = 1,024 EB
1 YB = 1,024 ZB          1 BB = 1,024 YB          1 NB = 1,024 BB
1 DB = 1,024 NB
 

一、故事屋


故事1  大数据能做什么?应用哪些领域? 2009年出现了一种新的流感病毒

在短短几周之内迅速传播开来。全球的公共卫生机构都担心一场致命的流行病即将来袭。有的评论家甚至警告说,可能会爆发大规模流感,

类似于1918年在西班牙爆发的影响了5亿人口并夺走了数千万人性命的大规模流感。更糟糕的是,我们还没有研发出对抗这种新型流感病毒的疫苗。公共卫生专家能做的只是减慢它传播的速度。但要做到这一点,他们必须先知道这种流感出现在哪里。美国,和所有其他国家一样,都要求医生在发现新型流感病例时告知疾病控制与预防中心。但由于人们可能患病多日实在受不了了才会去医院,同时这个信息传达回疾控中心也需要时间,因此,通告新流感病例时往往会有一两周的延迟。而且,疾控中心每周只进行一次数据汇总。然而,对于一种飞速传播的疾病,信息滞后两周的后果将是致命的。

But,在甲型H1N1流感爆发的几周前,互联网巨头谷歌公司的工程师们在《自然》杂志上发表了一篇引人注目的论文。它令公共卫生官员们和计算机科学家们感到震惊。论文中解释了谷歌为什么能够预测冬季流感的传播:不仅是全美范围的传播,而且可以具体到特定的地区和州。那么他是怎么做到的呢?

谷歌通过观察人们在网上的搜索记录来完成这个预测,而这种方法以前一直是被忽略的。谷歌保存了多年来所有的搜索记录,而且每天都会收到来自全球超过30亿条的搜索指令,如此庞大的数据资源足以支撑和帮助它完成这项工作。谷歌公司把5000万条美国人最频繁检索的词条和美国疾控中心在2003年至2008年间季节性流感传播时期的数据进行了比较。他们希望通过分析人们的搜索记录来判断这些人是否患上了流感。其他公司也曾试图确定这些相关的词条,但是他们缺乏像谷歌公司一样庞大的数据资源、处理能力和统计技术【大量数据及大数据技术】。

惊人的是,谷歌公司的方法甚至不需要分发口腔试纸和联系医生——它是建立在大数据的基础之上的。这是当今社会所独有的一种新型能力:以一种前所未有的方式,通过对海量数据进行分析,获得有巨大价值的产品和服务,或深刻的洞见。基于这样的技术理念和数据储备,下一次流感来袭的时候,世界将会拥有一种更好的预测工具,以预防流感的传播。

故事2  大数据能做什么?应用哪些领域?百度世界杯

 
原来大数据和我们息息相关,同理我们是不是可以在医疗 交通 天气 渔 林 牧 农 工业等等诸多领域进行预测和规划啊?比如现在的淘宝/浏览推荐,外卖定送、 地图交通状况等等都用到了大数据技术。。。
 

三、大数据定义


上面讲了那么多那么大数据是什么呢?比较正式的官方专业解释又是什么呢?

 大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产
十年前,葛大爷曾说过,“21世纪什么最贵?”——“人才!”,我们深以为然。只是,十年后的今天,大数据时代也带来了身价不断翻番的各种数据。由于急速拓展的网络带宽以及各种穿戴设备所带来的大量数据,数据的增长从未停歇,甚至呈井喷式增长。一分钟内,微博 推特上新发的数据量超过10+万;社交网络“脸谱”的浏览量超过600+万;过年支付宝咻一咻峰值达到200多亿次/分钟
……
这些庞大数字,意味着什么?

它意味着,一种全新的致富手段也许就摆在面前,它的价值堪比石油和黄金(也就是我们说过的信息资产)。
事实上,当你仍然在把微博 推特等社交平台当作抒情或者发议论的工具时,华尔街的敛财高手们却正在挖掘这些互联网的“数据财富”,先人一步用其预判市场走势,而且取得了不俗的收益。

让我们一起来看看——他们是怎么做的。

这些数据都能干啥。具体有六大价值:
●华尔街根据民众情绪抛售股票;
●对冲基金依据购物网站的顾客评论,分析企业产品销售状况;
●银行根据求职网站的岗位数量,推断就业率;
●投资机构搜集并分析上市企业声明,从中寻找破产的蛛丝马迹;
●美国疾病控制和预防中心依据网民搜索,分析全球范围内流感等病疫的传播状况;
●美国总统奥巴马的竞选团队依据选民的微博,实时分析选民对总统竞选人的喜好。

推荐书籍:在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》。书中大数据指不用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理

大数据的5V特点(IBM提出):Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。《大数据时代》是国外大数据研究的先河之作;本书认为大数据的核心就是预测。大数据将为人类的生活创造前所未有的可量化的维度。大数据已经成为了新发明和新服务的源泉,而更多的改变正蓄势待发。书中展示了谷歌、微软、亚马逊、IBM、苹果、facebook、twitter、VISA等大数据先锋们最具价值的应用案例。推荐同学们看看。
 

四、大数据架构







 

五、大数据工作岗位及前景


1、工作岗位:

大数据运维、 ETL数据清洗 、数据挖掘工程师 、
大数据项目开发 、大数据系统架构师 、大数据算法工程师
分的细一点有: Hadoop初中高级开发工程师,Spark开发工程师、
Storm开发工程师、推荐算法工程师 、机器学习开发工程师等等。
平时公司具体到这技术上干什么事?老师我之前就是在公司喝喝茶、聊聊天、睡个觉啥的,会经常跑个程序出去转转回来继续跑,项目开发的代码编写。

2、薪资待遇:

可自己上网查看,推荐职友集、智联招聘、51job


  上海市大数据开发相关招聘职位状况表


3、发展前景:

国家政策重点支持:

2015年3月5日十二届全国人大三次会议上,李克强总理在政府工作报告中首次提出“互联网+”行动计划。
互联网+”行动计划将重点促进以云计算、物联网、大数据为代表的新一代信息技术与现代制造业、生产性服务业等的融合创新,发展壮大新兴业态,打造新的产业增长点,为大众创业、万众创新提供环境,为产业智能化提供支撑,增强新的经济发展动力,促进国民经济提质增效升级。


大数据新兴市场前景及空间大

   新兴热门自然市场大,国内算刚刚起步。全世界范围也依旧在探索的道路上前进。


薪资待遇高且就业机会多

物以稀为贵,且看C Java 。。。等等风风雨雨几十年发展到如今依旧火热高薪。大数据也是基于这些语言开发的。


一群巨头作为生力军与后盾


国内大头:  
阿里    华为   百度    浪潮     腾讯     中兴通讯
中科曙光  神州数码  用友  国双科技  赛思信安   高德
华宇软件  天玑科技  东方国信   四维图新  九次方金融数据 
百分点    优酷    新浪   360   京东  网易  今日头条       金山  多牛    蓝色光标等等。。。。
中小公司就更不用说了
 
国外巨头:
IBM、 I ntel、 Oracle、 HP、Teradata 、SAP 、Amazon亚马逊(推荐系统)、
EMC、 Microsoft 、Google(还有智能汽车)、Cloudera 、Dell 、SAS、Splunk 、VMware 、Red Hat
 

六、人工智能时代


 阿法狗大战李世石,4v1 狗赢了!(让人欢喜让人忧)   霍金
从棋盘盘面可能出现的形状来看:围棋由181枚黑子和180枚白子组成,棋盘由纵横19道线形成的361个交叉点组成。每一个点都可能处出现下黑子、下白子或空着不摆子三种情况。那么,361个交叉点,就有3的361次方变化的可能。 

3~361= 208168199381979984699478633344862770286522453884530548425639456820927419612738015378525648451698519643907259916015628128546089888314427129715319317557736620397247064840935
不用数了,171位数......
运算它,需要15TB硬盘空间+8-16核处理器+192GB内存的服务器,大概跑上几个月。
【然而就算阿法狗赢了,网友也不接受这个事实:
如果阿法狗来到中国对战柯杰结局会如何,网上说它肯定会失败,因为它连不到网络。。。】
     阿尔法围棋(AlphaGo)是一款围棋人工智能程序。其主要工作原理是“深度学习”。“深度学习”是指多层的人工神经网络和训练它的方法。一层神经网络会把大量矩阵数字作为输入,通过非线性激活方法取权重,再产生另一个数据集合作为输出。这就像生物神经大脑的工作机理一样,通过合适的矩阵数量,多层组织链接一起,形成神经网络“大脑”进行精准复杂的处理,就像人们识别物体标注图片一样。阿尔法围棋用到了很多新技术,如神经网络、深度学习、蒙特卡洛树搜索法等,使其实力有了实质性飞跃。
 



谷歌Deep mind首席执行官(CEO)戴密斯·哈萨比斯宣布“要将阿尔法围棋(AlphaGo)和医疗、机器人等进行结合”。因为它是人工智能,会自己学习,只要给它资料就可以移植。



怎么会犯这种错,还犯了两次,真是故意的话。。。好可怕的人工智能。会自己学习! 会自己学习! 会自己学习!可怕~ 【重要的事情说三遍!】

人工智能引起恐慌和争议。

别慌!进入人工智能时代必经历的就是大数据时代,所以创造和拯救人类的重任就交给各位了!
接下来,上海尚学堂大数据老师会带领大家走进大数据的世界。

看了这么多,还不满足的话,那就请您再看看推荐的这些大数据美文吧!
什么是大数据?大数据学习些什么?大数据的知识要点》;
一文读懂什么是大数据,以及与大数据相关的云计算、分布式处理技术介绍》;
大数据建模与大数据六大数据模型工具推荐》;
大数据与云计算的关系,Hadoop、Nosql分别扮演什么角色_上海大数据培训 

分享:0