国家大数据战略已成为十三五期间的重中之重，各行业纷纷抢招大数据人才。大数据分析显示，未来3~5年，我国大数据人才缺口超过150万。
同时，全国大数据岗位月平均工资13770元，大数据核心语言hadoop岗位17540元，远高于其他岗位。毫无疑问，先进入者必将率先实现人生增值！
大数据分析工程师
大数据研发工程师
大数据运维工程师
Java大数据工程师
Hadoop运维工程师
数据库工程师
Spark工程师
Hadoop研发工程师
不少机构仅在Java课程上拼凑大数据内容，只能培养仅会使用工具的 "无脑" 程序员。蓝鸥是唯一一家有大数据公司的培训机构： 鼎富大数据+蓝鹏大数据，独有大数据智能建模的精品课程业内领先。
上市公司大数据技术支撑　　三大领先项目应用于课程
真大数据公司支撑
鼎富大数据是中国服务委大数据推广中心的唯一技术合作单位
真大数据核心科技
执掌上市公司大数据和人工智能布局中的核心技术
真大数据项目应用
市场领先的智慧语义认知平台产品、人工智能应用产品和大数据应用产品
名师出高徒。来自大数据前沿名师亲授，大数据分析研究院顾问专家参与把关，真正技术保障，直击企业需求！
计算机软件工程专业硕士 / 北京神州泰岳软件股份有限公司董事 副总裁 / 神州泰岳人工智能研究院院长 曾任职惠普、酷六网和文思海辉等跨国公司和上市公司高管，2011年创立鼎富科技。在总装备部系统工程研究所工作 期间，曾荣获中国人民解放军三等军功荣誉奖励以及国防科学技术进步奖等奖励。DINFO-OEC文本分析挖掘方法与设 备发明专利发明人之一。在非结构化大数据、人工智能认知技术、软件工程、软件测试和运维管理等领域具有丰富经验。
企业专家授课　真实项目实训　打造双高人才
从大数据初级、大数据基础、大数据中级到大数据高级，每一阶段项目驱动，用立体培训打造企业急需行业高薪、高端人才。
第一阶段 大数据初级
阶段项目：学员成绩数据分析模块
面向对象编程
阶段项目：学员信息数据分析系统
数据库应用
阶段项目：电子银行信息管理系统
网页技术学习
阶段项目：电子购物网站
第二阶段 大数据基础
软件项目协同开发管理
阶段项目：搭建港湾单车可视化数据分析系统协同开发项目架构
软件项目自动化构建
阶段项目：使用自动化构建工具完成港湾单车项目的模块自动化构建
软件项目的测试与实施
阶段项目：使用项目测试工具进行系统测试
主流企业级框架技术
阶段项目：使用框架技术快速开发港湾单车数据可视化系统
第三阶段 大数据中级
网站及信息管理系统的视觉美化
阶段项目：使用UI框架对港湾单车项目页面进行美化
网站及信息管理系统性能调优
阶段项目：为港湾单车项目提供分布式的数据分析服务
网站及信息管理系统业务个性化定制
阶段项目：为港湾单车提供个性化的数据报告
第四阶段 大数据高级
大数据技术及工具使用
阶段项目：使用大数据框架技术完成港湾单车的数据分析
大数据生态系统构建
阶段项目：根据数据分析，进行个性化的推荐定制业务
大数据语义模型建设
阶段项目：对政府工作报告进行大数据分析，知晓政府工作重心和方向
阶段项目推动实力提升 大数据见证每一步涨薪
随着近年来网络及上网设备的普及，越来越多的人们参与到互联网中，对于互联网服务的提供者来说，大数据量的处理是其非常头疼的问题，并且随着日益激烈的竞争，数据价值越来越为企业所重视，从现有数据分析出用户习惯，根据用户习惯推送个性化服务已经成为了互联网服务提供者的标配。 在这个大背景下，越来越多的培训机构进入了大数据培训领域，俗话说“林子大了什么鸟都有”，培训也是一样，干的人多了自然 就有了好坏之分。对于蓝鸥来说，蓝鸥一直秉承着“教育回归本质”的教学理念，集结名师，用心授课，依托自身的大数据优势开始了蓝鸥大数据的培训之路。
数据分析初级-Java基础标准课程
从计算机零基础开始学起掌握数据分析的概念，了解数据分析，通过Java的由浅入深的学习，掌握 数据分析可视化项目的编写
1. 学习Java基础知识了解程序开发； 2. 学习面向对象的编程思想为开发复杂程序做准备； 3. 学习统计学基本概念完成简单统计学算法的编写； 4. 学习使用数据库进行大规模数据的存储；
5. 学习网页技术完成绚丽网页的编写； 6. 学习框架技术满足企业基本用人需求； 7. 培养自己的学习新技术能力和职业素质。
企业好感度
数据分析基础-Java企业专业课程
学习Java专业的编程知识，从而提高自己的编码水平。并且本阶段直接与企业需求对接，自己不出校门就可以增长真实开发经验，了解企业开发流程。力求让自己成为一名合格的程序员
1. 学习企业中常见的团队合作与团队管理工具的使用。 2. 学习企业中团队开发，协作开发，交叉开发，协同开发等多种开发方式。 3. 学习企业中项目的测试与实施流程，争取与企业0距离； 4. 学习企业中应用火爆的最新框架技术，让自己在技术上始终保持领先； 5. 提高自己的学习能力、分析问题能力和处理问题能力，继续提高职业素养，完善自己的职业规划；
企业好感度
数据分析中级-大数据前沿潮流课程
学习当前主流企业应用知识，对于企业来讲，成本低，效果好的应用才是会被广泛推广的应用。对于程序员来说要想开发成本低，效果好的应用就要不断改变现有知识的弊端，跟随不同时代的潮流去编写属于那个时代的应用，前沿课程就是要收罗当下流行技术让程序员们时刻保持着行业领先
1. 学习网站视觉美化技巧，使用现在流行的UI框架编写高效美观的网站页面； 2. 学习分布式集群化的企业应用搭建及大数据的数据管理数据分析； 3. 学习企业个性化业务需求的解决方案，让自己能够在未来工作中游刃有余
企业好感度
数据分析高级-大数据资深专家课程
大数据时代，如果说你会使用大数据工具，会使用大数据技术，那你只能是一个数据工人。大数据时代需要一个数据分析师，通过海量数据分析，挖掘数据价值，通过数据引导企业的未来发展方向，这才是真正的大数据时代。所以本阶段不但要教会大家大数据的现有框架技术，更重要的是要教会大家对数据分析能力的培养，让大家成为一名合格的大数据分析师
1. 学习并掌握大数据理论，大数据原理及算法，大数据挑战与机遇； 2. 学习当下主流大数据技术及解决方案； 3. 学习大数据分析，大数据挖掘，大数据整理等大数据相关技术； 4. 学习大数据智能化系统构建，掌握大数据生态圈的理论与技术；
企业好感度
在大数据培训的浪潮中，蓝鸥拒绝随波逐流，拒绝千篇一律，立足自身的蓝鸥数据分析研究院。以自己实际的数据分析来总结课程，通过实践总结理论，再通过理论去指导实践。经过长期的打磨，蓝鸥相信没有最好只有最合适，蓝鸥会与时俱进，为大数据行业培养更多真正有用的人才。
大数据将为社会带来三方面变革：思维变革、商业变革、管理变革，大数据催生传统企业转型，推动中小微企业提升服务，高薪揽人才已成常态。蓝鸥依托自有的大数据优势，带你快人一步、不走弯路。学精品大数据课程做大数据先行者，成大数据时代“开发新贵”。
0基础可以学大数据吗？
学大数据开发学费多少？ 就业好吗？
Java转大数据开发有优势吗？
我还有其他问题
「蓝鸥教育 」 一个做IT行业 「定岗直招」的学校！
就业保障 ／ 课程学费 ／ 课程大纲 ／ 全国校区
微信二维码
微博二维码北京零基础能参加大数据培训吗？_百度知道
北京零基础能参加大数据培训吗？
我有更好的答案
千锋从基础的JAVA、linux到storm都是有讲的。
采纳率：48%
可以呀，零基础教学的大数据培训并不稀奇。
本回答被网友采纳
为您推荐：
其他类似问题
您可能关注的内容
换一换
回答问题，赢新手礼包
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。您所在的位置：
零基础学员去哪里学习大数据培训比较好
零基础学员去哪里学习大数据培训比较好
发布时间：
编辑：薛永青
零基础学员去哪里学习大数据培训比较好
随着互联网的不断发展，企业对于大数据人才的需求也越来越大，不少同学都想**培训进入到大数据行业。于是许多没有大数据基础的同学就会有这个疑问：没有基础怎么选择大数据培训？有适合零基础的培训机构吗？为此北京教育联展网小编就来向大家介绍一下魔据教育用以保障零基础学员高薪就业的几大教学体系吧！
零基础学员去哪里学习大数据培训比较好
随着互联网的不断发展，企业对于大数据人才的需求也越来越大，不少同学都想**培训进入到大数据行业。于是许多没有大数据基础的同学就会有这个疑问：没有基础怎么选择大数据培训？有适合零基础的培训机构吗？为此北京教育联展网小编就来向大家介绍一下魔据教育用以保障零基础学员高薪就业的几大教学体系吧！
一．专业的大数据课程研发团队
一套完整的大数据课程体系无疑是一个培训机构**重要的东西之一，不是从网上随便找一个大数据课程大纲就可以充当一个培训机构的大数据课程的，它是需要一支专业的大数据研发团队**对企业和学生的调研和对大数据知识体系的充分理解，制定出一套既能满足企业的需求，又能让学生充分吸收的大数据课程。目前国内大数据培训机构大部分都没有专门的大数据课程研发团队，只是培训机构内的老师草草的订一个课程大纲，然后就开始凭自己的理解开班讲课了，这样的大数据课程自然是不够专业的；有的培训机构有自己的研发团队，但这个团队算上教学总监只有3-5个人，研发力量有些单薄，造成的后果就是大数据课程体系相对单薄。
魔据教育斥重资建立了一支30人左右的研发团队，专门研发大数据课程。研发人员都是从事IT教学行业数十年，具有丰富的行业经验和教学经验。充分调研了企业和学员的需求和习惯，课程既能符合企业的用人需求，也能保证学员全方位的掌握大数据课程。因此，魔据教育也被大家公认为大数据培训课程研发标准制定者。
二．为零基础同学量身打造的大数据课程体系
一个科学合理的大数据课程对于一个零基础想学大数据的同学来说，是十分重要的。太高屋建瓴的大数据课程学生学不会，但是太简陋单薄的大数据课程学生又学不到什么东西。有的大数据培训机构的课程基本上都是java知识，大数据知识只是皮毛，这样的课程体系是根本学不好大数据的。
魔据教育有一套为大数据零基础同学量身打造的大数据课程体系，这套课程从**基础Java语言到高端的项目实战阶段全部都有涉及到，具体细化到大数据的每一个知识点，让学生从零开始学习大数据，只要学生上课能够跟着老师认真学习，零基础照样能学好大数据。
魔据教育已经成功的让无数的零基础学员成功高薪就业，这些学生曾经学习的专业五花八门，和大数据没有丝毫的关系，在经过魔据教育的培训以后，迅速成长，现在都在国内一线互联网公司工作，已然成为了国内大数据行业的中流砥柱。
三．严格的教务管理制度
为了在短期时间内就能让学生熟练掌握大数据的知识技能，一个严格完善的教学管理制度是非常重要的。有的学生可能因为年纪比较小，上课的时候精力不够集中，作业也不能按时完成，这时如果没有一个严格的教学制度，那学生不就都“放羊了”？有的培训机构可能就是以收钱为目的，只要学生交了钱，你学不学都是你的事情，实际上这是非常不负责任的事情，对学生不负责任，对自己同样不负责任。既然学生来了，不管用什么方法，都必须让学生学好知识，无忧就业，这是每一个大数据培训机构承诺的事，也是必须完成事。
魔据有严格的教务制度，会对学员进行阶段性的学习情况考核，每个阶段至少考核3次；每天会有课后作业，必须保质保量的完成，以便检查学生对于当天课程内容的掌握。另外严格的教务制度不仅仅只针对学生，老师也是同样如此，全天候的陪伴学生，方便为学生指导问题，不能随便离开教学基地。同时，这里是一对一辅导，相当于多位讲师服务于一人。
四．实力雄厚的师资团队
老师对于一个大数据培训机构的重要性不言而喻，虽说老师领进门，学习在个人，但不可否认，老师的教导是学生能否学好大数据的基石，尤其是像大数据这种相对来说比较难的技术。对于大数据培训而言，老师的要求必须是具有丰富的大数据研发经验，但是现在市面上的大数据培训机构的老师，很多都是从Java培训转型过去的，以前并没有从事过大数据相关的研究，匆匆忙忙便开了个班，边学边教，这样，想来学生学习的大数据效果也不是太好。
魔据教育目前已经建立了一支130的师资团队，其中的老师都具有3年以上的大数据开发经验，更是具有十几年的项目开发经验，实力雄厚。其中大部分的老师都是来自国内一线互联网企业，深受学员们的信赖与爱戴。
魔据教育大数据开发高薪就业班课程大纲
一阶段 基础课程（301课时）
课程内容详解
Java基础课程
java编程语言基础(35学时)
主要讲解java环境变量搭建，jvm虚拟机运行原理性能参数调整，java基本数据类型，流程控制，数组应用等。
java面向对象编程(70学时)
主要讲解java类和对象的概念，OOP面向对象编程思想，程序设计，构造方法，以及面向对象三大特性，类与类之间的关系，接口、抽象类final,static等关键字，以及多态,异常。
各种常用API（21学时）
主要讲解String以及StringBuffer等。
java集合框架(28学时)
主要讲解整个集合框架体系内容，ArrayList,LinkedList，HashMap等。
I/O流技术(14学时)
主要讲解I/O流基本知识，流操作的基本步骤，字节流，字符流，文件操作以及文件加密，解密，文件复制，文件拆分合并等相关知识，序列化和反序列化。
java线程以及锁(14学时)
主要讲解介绍java线程的基本操作和相关知识；了解锁和死锁的概念以及效果，如何建立生产消费者模型。
Socket网络编程和分布式基础原理(7学时)
主要讲解介绍java基于网络的一些操作和特性，以及各种协议。
关系型数据库MySql
Mysql数据库(35学时)
主要讲解SQL语句相关方面的知识，数据库的操作的基本流程,以及一些常见的企业开发中涉及到的业务方面的数据设计知识以及一些数据库设计工具的使用；基本SQL操作（增，删，改，查，函数，条件查询，排序，递归查询等操作），表和表之间的关系配置,以及一些常用的企业开发数据库设计技巧,如权限管理等表结构设计，视图，分区，索引。
JDBC(7学时)
主要讲解jdbc相关的知识，jdbc基本操作，预处理命令，批处理，jdbc缓存技术，以及jdbc封装思想和数据库连接池技术的开发和应用。
Web开发课程
Jsp/Servlet(35学时)
主要讲解一些简单的jsp和servlet应用， 保证学生能够使用基本的增删改查。
Linux操作系统
Linux简介(4学时)
主要了解什么是操作系统、什么是Linux；了解Linux之前，Unix的历史；了解GNU计划；Linux的发展以及Linux的各个发行版本。
Linux环境搭建(4学时)
主要讲解Linux安装流程；理解Linux部署；理解Linux基本操作命令。
Linux常用命令(12学时)
主要讲解磁盘操作命令；权限管理命令；文件查找命令；本机帮助命令；压缩解压命令；网络相关命令；系统相关命令；vi命令。
Linux基础(3学时)
主要讲解Linux系统监测相关命令；理解crontable的使用；掌握Linux软件包的使用。
Linux网络管理(2学时)
主要讲解Linux的网络配置；掌握互联网的寻址流程和原理；掌握如何经过Window远程管理Linux服务器；掌握如何构建FTP/SSH服务应用；掌握如何实现不同系统平台之间的文件共享。
Shell脚本(6学时)
主要讲解Shell脚本结构；掌握Shell变量定义；掌握Shell基本语法；掌握Shell调试。
综合应用实操(4学时)
主要知识点串线。
第二阶段 大数据基础课程（105课时）
课程内容详解
Hadoop课程
大数据的概述(7学时)
主要讲解大数据历史；大数据出现的原因；大数据解决的问题；大数据目前的发展状态；大数据未来的；我们生活中各行业的大数据应用；云计算的概念；选择hadoop的原因；hadoop在云计算中的作用；hadoop依赖的所有技术和之前课程的联系。
hadoop集群的搭建(17.5学时)
主要讲解介绍单机版和伪分布式安装，详细介绍每个方式的区别，解决什么问题以及详细的配置，并对每个配置文件做深入讲解。能够查看hadoop进程；理解hadoop启动的整个过程。
掌握hadoop集群的搭建、HA安装（ZK）；介绍并带领学生使用hadoop的命令，操作hadoop集群文件的上传、下载、删除等操作；日志错误信息、常见的错误处理方式；zookeeper的介绍与安装。
HDFS基础概念介绍(7学时)
主要讲解块的概念、块的好处、冗余备份、块的切分；元数据概念；NameNode工作原理； DataNode工作原理；Secondary NameNode；客户端含义；HDFS文件操作过程；元数据的持久化；什么是EditsLog和FSImage静像文件；EditsLog和FSImage合并--Checkpoint机制；HDFS命名空间；安全模式；心跳机制；机架感知。
HDFS API案例(7学时)
主要讲解案例包括上传本地文件到HDFS；从HDFS下载文件到本地；创建HDFS文件；创建HDFS目录；重命名HDFS文件；删除HDFS文件；删除HDFS目录；查看某个文件是否存在；数据类型，writeable接口。
YARN资源调度框架介绍(7学时)
主要讲解客户端程序与ResourceManager交互；客户端存贮封装信息；ResourceManager调用NodeManager；NodeManager划分资源池；ResourceManager调用MapReduce程序；执行运算；hadoop伪分布式安装、HA安装，加入YARN的进程，反推理论；运行MR程序，观察YARN在程序运行中的处理过程；hadoop1.0到2.0的变化（新加）。
Mapreduce介绍(7学时)
主要讲解MapReduce产生背景；MapReduce官方解释；MapReduce特点；MapReduc计算流程：inputsplit、mapper、combine、shuffle、sort、reducer；MapReduce容错性；MapReduce推测机制；MapReduce应用场合以及MR的整个流程的图解。
Mapreduce案例(28学时)
主要讲解经典的MR程序，包括（计数器、InputFormat输入格式、OutputFormat输出格式、单词计数程序Combiner优化、去重编程、平均程序、数据排序、全排序、倒排序、二次排序、单表关联、多表关联、join连接）；排序算法，归并排序，底层源码分析，分区算法；讲解job提交作业的流程；经过WebUI查看log日志。
（14课时）
Zookeeper介绍和安装(3学时)
主要讲解Zookeeper介绍；Zookeeper下载与安装；Zookeeper配置。
Zookeeper集群搭建(4学时)
主要讲解搭建Zookeeper集群；选举机制及Leader测试；Zookeeper客户端操作。
Zookeeper API客户端开发(7学时)
主要讲解Zookeeper客户端API调用；Zookeeper类、Stat类介绍；创建和删除路径Path；ACL理解；CreateMode：创建模式、VERSION版本；设置数据、获取children、Watch（观察者）。
第三阶段 分布式数据库课程（95课时）
课程内容详解
HBase简介(2学时)
主要讲解HBase概念；掌握HBase旧版本体系结构；掌握HBase工作原理；掌握HBase的组成；掌握HBase的容错性；理解HBase应用场景。
HBase环境搭建(9学时)
主要讲解HBase安装流程理论；理解HBase安装模式理论；掌握HBase安装及验证理论；理解HBase基本应用操作；了解查看HBase表内容的几种方式。
掌握HBase版本选择的依据；理解HBase本地模式安装过程；熟练HBase单机模式安装的相应命令；掌握Eclipse HBase开发环境搭建过程。
理解HBase伪分布式安装流程；掌握HBase分布式安装过程；掌握Zookeeper安装过程；初识HBase常用Shell命令；初识HBase API的调用过程。
HBase开发入门(7学时)
主要讲解HBase Shell常用基本命令；掌握HBase Shell常用表管理命令；掌握HBase Shell常用表操作命令；掌握HBase API常用表数据操作开发过程；掌握HBase API常用表管理操作开发过程；掌握新旧版本HBase API调用的差异。
HBase基础API(6学时)
主要讲解HBase基础API的内容及特点；理解HBase基础API开发流程；掌握HBase新、旧二个版本下Put与Delete；理解原子性操作概述；理解Get方法相关理论知识；掌握常规操作：单行get、Result类、get列表（ListCell、RawCell）、错误列表、获取数据方法；掌握多版本的写法。
HBase高级API(5学时)
主要讲解Scan方法相关理论知识；掌握常规操作：指定行、ResultScanner类、按RowKey范围取、多版本；掌握新、旧二种版本的写法；理解过滤器相关理论知识；掌握常规操作：行、列、列名、值、分页过滤器。
综合应用(6学时)
主要讲解表设计相关理论知识；掌握表中列族的设计； 掌握表中RowKey设计；理解翻页原理。
hive入门(7学时)
主要讲解Hive产生的原因；理解HQL解析成MapReduce原理的工作流程；理解Hive体系结构；理解Hive应用场景；初步理解Hive与传统数据仓库的异同。
掌握Hive启动过程、表内容查看几种方式；掌握基本Hive命令操作知识；初步理解Java经过JDBC调用Hive的过程。
Hive环境搭建(4学时)
主要讲解Hive安装前的准备工作；理解Hive内嵌、独立、远程三种安装模式；熟练掌握Hive远程安装过程。
Hive管理(6学时)
主要讲解HiveQL数据类型及转换机制；理解Hive文本文件数据编码格式；初步了解表存储格式；熟练掌握Hive建表操作方法
熟练Java经过JDBC调用Hive过程；了解Hive的几中服务：Hive Shell、JDBC/ODBC、Thrift服务、Web接口。
HiveQL基本语法(3学时)
主要讲解存储格式；掌握创建表的语法；掌握导入数据、删除表、修改表的操作。
HiveQL查询(10学时)
主要讲解使用正则表达式来指定列；掌握列值计算、算数运算符的使用方法；掌握函数、Limit语句的使用方法；熟练列别名、嵌套Select句式；熟练CASE-When-Then句式；When语句。
熟练Group By语句用法；熟练内连接、左外连接、右外连接、半连接的用法；理解Map连接的用法。
掌握Order By、Sort By、Distribute By、Cluster By用法；掌握Union All语法。
高级应用(7学时)
主要讲解分区的原理和用法；掌握分桶的原理和用法；掌握视图的原理和用法；掌握索引的原理和用法。
Hive函数(3学时)
主要讲解Hive函数应用原因；掌握调用函数的应用过程；掌握标准函数的应用过程；掌握聚合函数的应用过程；掌握表生成函数的应用过程。
Hive自定义函数(4学时)
主要讲解编写UDF的基本语法过程；掌握编写UDAF的基本语法过程。
综合应用(16学时)
主要考核HiveQL基本应用；考核分区、分桶、视图、索引应用；考核函数，尤其是自定义函数的应用。
第四阶段 大数据高级进阶课程（207课时）
课程内容详解
简介及安装(16学时)
主要讲解Python简介、Python开发环境搭建；Python数据类型和运算符；Python条件语句
基础语法(16学时)
主要讲解Python for循环、while循环；break与continue；字符串的使用、元组的定义及使用。
函数与面向对象(16学时)
主要讲解Python中列表、元组、字典；函数的定义及使用；lambda匿名函数及应用；变量的作用域；参数的传递、类的定义、对象创建；面向对象的封装、继承、多态。
模块与IO(16学时)
主要讲解模块概念；模块用法；导入模块；IO模块的使用；日历模块的使用；异常的概念及处理。
正则表达式(16学时)
主要讲解正则表达式概念及应用场景；search和match方法；正则表达式的修饰符；正则表达式的模式；正则表达式的应用。
爬虫之分布式爬虫(21学时)
主要讲解redis简介；安装测试；多机测试；scrapy_redis；简单应用测试；多机协作的redis。
爬虫之反爬虫(14学时)
主要讲解反爬虫介绍；问题的分类；顺从的艺术；反爬虫策略；爬虫编写注意事项。
spark基础(7学时)
主要讲解Spark 概述；Spark 生态系统；与MapReduce比较；体系结构与工作原理；安装部署及测试；spark应用场景。
RDD (21学时)
主要讲解Spark程序模型；Spark弹性数据集；RDD与共享式内存区别；Spark算子分类及功能；Spark 核心算子介绍:aggregate、aggregateByKey、cartesian。
Spark核心算子:coalesce, repartition，fullOuterJoin
、cogroup [Pair], groupWith [Pair]、combineByKey[Pair] ，count，countByKey [Pair]、countByValue，distinct，filter，filterWith
(deprecated)、flat Map，flatMapValues，flatMapWith，fold，foldByKey。
Spark核心算子：groupBy、groupByKey [Pair]、intersection、join [Pair]、keys [Pair]、values[Pair]、leftOuterJoin [Pair]、map、mapPartitions、mapPartitionsWithIndex、mapValues [Pair]、max、min、reduce、reduceByKey [Pair]、rightOuterJoin、sample、sortBy、sortByKey、sum 、take、top、zip、zipWithIndex；RDD特性、常见操作、缓存策略；RDD Dependency、Stage。
spark工作机制(7学时)
主要讲解Spark应用执行机制；Spark调度与任务分配模块；容错机制及共享变量和累加器；Lineage机制；Checkpoint机制；Shuffle机制；集成开发工具开发spark程序；web监控图讲解。
spark编程实战(7学时)
主要讲解编写wordcount程序；TopK；中位数；倒排索引；Countonce；倾斜连接等程序并经过web监控图进行查看。
spark SQL(7学时)
主要讲解Spark SQL概述；DataFrame及DataSet；SparkSession的使用；编程方式执行Spark SQL查询；sparkSQL 数据源之mysql；sparkSQL 数据源之hive；sparkSQL 数据源之json。
sparkSQL运行原理(7学时)
主要讲解Spark SQL组件、架构；DataFrame、SparkSQL运行原理；SparkSQL电商日常数据分析。
电商数据项目(14学时)
主要讲解python爬虫抓取数据；解析json数据；hive建表，数据填充；SparkSQL日常分析；数据的可视化展现。
SparkStreaming基础(7学时)
主要讲解Spark Streaming运行原理；DStream；DStream 常用函数；容错处理；与flume和kafka的集成。
SparkStreaming案例（百度统计的流式实事监控系统）(14学时)
主要讲解nginx日志文件，flume采集；kafka的应用；SparkStreaming 实时分析；结果写入Mysql数据库。
Spark MLlib(7学时)
主要讲解机器学习基本认识；分类算法、聚类算法；回归算法、决策树和随机森林；K近邻算法；贝叶斯决策论；EM算法。
综合应用(4学时)
主要对重要知识点串线。
实时计算介绍和Flume基础(1.5学时)
主要介绍实时计算与离线计算区别；实时技术应用；实时分析三种框架比较；实时分析技术架构。
Flume安装和相关概念(2学时)
主要讲解Flume安装，event介绍； Flume Agent内部原理； 配置Flume Agent。
source相关配置及测试 (3.5学时)
主要讲解source的生命周期；source的配置；常用的几种source的介绍以及应用；Flume拦截器。
channel相关配置及测试 (1.5学时)
主要讲解channle作用；channle事务性；channle的种类；channle配置；Channel选择器。
sink相关配置及测试(1.5学时)
主要讲解sink作用；sink的生命周期；常用的几个sink介绍；Sink组。
复杂数据流的应用(4学时)
主要讲解多source--单channle（Fan in flow）； 单source--多channle（Fan out flow）；agent—agent。
Kafka介绍(2学时)
主要讲解数据的传递方式；消息中间件的优势及作用；常用的消息中间件；kafka的相关概念。
Kafka安装(5学时)
主要讲解kafka相关概念：broker、topic、生产者和消费者；kafka集群类型；kafka集群启动步骤。
Kafka生产者和消费者(7学时)
主要讲解kafka分区机制（Partition）； kafka的副本数（replication）；Kafka生产者API和Kafka消费者API。
flume与kafka整合(7学时)
主要讲解flume与kafka整合：kafka source、Kafka Sink、Kafka Channel。
第五阶段 大数据综合实战项目课程（课时）
项目内容详解
高校学生大数据分析项目(学时)
高校学生大数据分析系统是依托于高校数据管理平台的高校学生行为分析系统。经过对海量学生行为数据的计算和分析，建设高校完整的高校招生、教学、就业、学生学习、生活、心理的完整数据仓库。经过对这些数据的分析，提升学校对学生的管理和服务，教学资源合理分配，招生就业等各方面的精细化服务程度，达到学生和教学管理工作的前瞻性、精准性和持续性要求。
互联网精准营销大数据分析项目(学时)
电信预购分析系统是依托于电信用户上网行为数据进行预购分析的系统。经过对电信用户的海量上网行为数据的匹配与分析，建立用户的精准画像，及购买行为预测。经过这些数据的分析，提升对用户的掌握，合理推荐业务提高电信业务扩展。经过预购分析对外提供精准营销的预测用户，有效提高营销成功率。
精准画像对用户进行全面的分析，主要方面：用户状况，用户分群，用户偏好等。经过分析掌握用户状况对业务超包及时提醒升档，对不同时间段提供闲忙不同业务。经过分群划分相同用户，对不同群组进行差别推荐。经过偏好推荐定制服务（游戏包，阅读包等）。经过更人性化的推荐，进而提升业务发展。
预购分析：对用户购买欲望、购买偏好等进行数据建模分析。经过基础分析及模型算法分析用户预购类别（购房，购车等），预购类型（购房：大户型，小户型，房屋位置等。购车：轿车，SUV，价格区间等。）。分析用户购买欲望是否强烈，是近期购买还是先期了解等。
目标，建立良好的用户画像综合体系，准确描绘用户行为。经过数据分析对内提高公司总体业绩；对外提供优质服务。
咨询电话：010- 金老师 。
编辑推荐ditor recommend
oracle认证在线报名
请选择城市
本周热门点击
考试答疑微信
版权所有 深圳市诺达教育股份有限公司 (C) www.thea.cn All Rights Reserved 粤ICP备号-3}