大数据开发专业主要学什么?
大数据开发、数据仓库、数据安全、数据分析、数据挖掘等都是围绕大数据的商业价值应运而生。大数据开发主要分为大数据平台开发(研发级)、大数据应用开发和大数据分析(统计学和机器学习),不同岗位需要面对不同的岗位职责,也需要具备不同的知识结构。
大数据开发做什么?
负责公司数据平台与数仓模型设计与开发;规范底层数据存储,结构化查询逻辑,方便快捷获取数据;支持实时数据报表、离线数据报表、交互式数据分析等多种数据应用;对大数据相关的前沿技术进行预研。
大数据开发需要具备的基本技能:目前从事大数据应用开发的语言包括Java、Python、Scala、R等,需要熟悉Hadoop、HBbase、hive、spark、Flink、ES、Presto、Flume、Kafka生态的原理和使用方法,掌握数据开发、数据挖掘的各项流程。
Java语言由于具备较为完善的生态,而且Hadoop平台自身也是Java语言开发的,所以Java语言往往是比较常见的选择。在学习Java语言的过程中,可以同步接触Hadoop平台,掌握Hadoop平台的整体结构,并且通过Java完成Hadoop平台的一些案例实验,进而逐步掌握在Hadoop平台下的Java应用开发。
大数据分析通常采用统计学分析方式和机器学习方式两种,统计学方式采用Python和R语言是不错的选择,而机器学习往往更多采用Python语言来实现,同时需要学习一系列算法的实现过程,包括Knn、决策树、支持向量机、朴素贝叶斯等等。所以,从事大数据分析需要具备一定的数学功底。
Java开发(大数据)怎么样?
大数据方向工作介绍
大数据方向的工作目前分为三个主要方向:
01.大数据工程师
02.数据分析师
03.大数据科学家
04.其他(数据挖掘本质算是机器学习,不过和数据相关,也可以理解为大数据的一个方向)
必须技能10条:
01.Java高级(虚拟机、并发)
02.Linux 基本操作
03.Hadoop(此处为侠义概念单指HDFS+MapReduce+Yarn )
04.HBase(JavaAPI操作+Phoenix )
05.Hive(Hql基本操作和原理理解)
06.Kafka
07.Storm
08.Scala需要
09.Python
10.Spark (Core+sparksql+Spark streaming )
11.一些小工具(Sqoop等)
高阶技能6条:
11.机器学习算法以及mahout库加MLlib
12.R语言
13.Lambda 架构
14.Kappa架构
15.Kylin
16.Aluxio
百度搜索圈T社区(www.aiquanti.com) 免费视频教程
大数据不仅包括企业内部应用系统的数据分析,还包括与行业、产业的深度融合。具体场景包括:互联网行业、政府行业、金融行业、传统企业中的地产、医疗、能源、制造、电信行业等等。通俗地讲“大数据就像互联网+,可以应用在各行各业",如电信、金融、教育、医疗、军事、电子商务甚至政府决策等。
对企业而言,大数据可提高工作效率,降低企业成本,精准营销带来更多客户。
对政府而言,可以利用大数进行统筹分析、提高管理效率、管理抓获犯罪分子等。
对个人而言,可以利用大数据更了解自己等。
什么是大数据?怎么理解大数据?

