想学习大数据，是不是得先学习Java啊？【it培训吧】_百度贴吧
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&签到排名：今日本吧第个签到，本吧因你更精彩，明天继续来努力！
本吧签到人数：0成为超级会员，使用一键签到本月漏签0次！成为超级会员，赠送8张补签卡连续签到：天&&累计签到：天超级会员单次开通12个月以上，赠送连续签到卡3张
关注：25,251贴子：
想学习大数据，是不是得先学习Java啊？收藏
大四学生一枚，现在想学习大数据，没什么Java基础，有个培训机构说可以0基础培训，Java讲25天就可以学习大数据了，不知道是不是这样啊？普开数据你们听说过吗？
有，好多都是零基础，我学习Linux云计算也是零基础学的
我大学学的建筑，干了一年不想干了，转行学习Linux云计算，你可以加我微信，有什么可以问我
普开数据很好啊，是专业做大数据的培训机构，可以相信，建议自己去实地考察一下就知道了，可以私聊我
登录百度帐号推荐应用Java大数据就业喜讯来袭，学习4个月获17000元高薪_达内Java培训官网
400-111-8989
Java大数据就业喜讯来袭，学习4个月获17000元高薪
在如今数据化时代，越来越多的企业利用在市场竞争中脱颖而出。大数据成为企业和社会关注的重要战略资源，并已成为大家争相抢夺的新焦点。大数据适用范围广，是很多企业转型突破的良机，基于大数据在各企业的良好运用，其人才缺口也非常巨大。全球顶尖管理咨询公司麦肯锡(McKinsey)出具的一份详细分析报告显示，预计到2018年，大数据或者数据工作者的岗位需求将激增，其中大数据科学家的缺口在14万到19万之间，对于懂得如何利用大数据做决策的分析师和经理的岗位缺口则将达到150万。根据智联招聘显示，2017年2月全国与大数据相关的职位需求量大约为42436个，而仅仅北京地区与大数据相关的职位需求量就有9553个。与此相对应的是，大数据工程师()的薪水也随之水涨船高，北京地区的大数据工程师平均工资为17170元，有42%的人薪资在20k-50k之间。
java大数据课程契合企业需求，堪称史上最牛的大数据互联网+课程体系，课程内容全，技术深，涉及Java、Scala等多种开发语言，全面覆盖了JavaEE架构级技术、分布式高并发技术、互联网架构技术、大数据技术、云计算架构技术等行业领先技术。达内java大数据课程为学员提供完全真实的互联网大数据开发部署环境，任何一个学员都可以拥有几十台主机节点以完成开发部署试验，成为培训界唯一提供“大数据云主机”试验环境的培训课程。该课程()聚集了行业最牛讲师，教学总监一线授课;采用TTS8.0标准教学体系，全程项目贯穿，TTS
O2O双模式教学方法;在课程内容方面，达内java大数据的基础课比例减少将更多精力将放在高、新、专的技术上;学员经过培训必将实现三大目标之一：去移动互联网企业做核心开发、在移动互联网领域创业或者以架构级程序员的职位入职企业，在3-5年内成为真正的系统架构师。
达内Java大数据又传来喜报，本期毕业学员：最高月薪17000元，平均月薪13280元。他们通过自己努力学习实践，点滴积累技能，终于拿到理想公司的offer，获得满意的薪水，信心百倍的迎接美好未来。
()是在美国NASDAQ上市的中国职业教育集团。拥有20个课程，满足不同学员的多种选择，十五年一直致力于面向IT互联网行业，培训培养软件开发工程师、测试工程师、系统管理员、智能硬件工程师、师、网络营销工程师、会计等职场人才达内教育集团2002年起，先后在北京、上海、广州等中国42个城市建立了145个培训中心，已累计为中国9万家企业输送了40万各类互联网应用人才，在全国有9万多家合作企业，保障学员就业。
Java大数据就业前景分析：
(一)人才缺口大：麦肯锡(McKinsey)出具的一份详细分析报告显示，预计到2018年，大数据或者数据工作者的岗位需求将激增，其中大数据科学家的缺口在14万到19万之间，对于懂得如何利用大数据做决策的分析师和经理的岗位缺口则将达到150万!
(二)发展前景好：据有关专家预测，到2020年，大数据全球市场规模有望达到611.6亿美元，复合年增长率将达到26%。
(三)就业薪水高：根据职友集显示，目前北京地区大数据人才的平均工资为17170，月薪在15K以上的占54%。
Copyright (C)
All Rights Reserved
选择城市和中心
达内北京亦庄大学生实训基地
达内北京网络营销中心
达内北京会计中心光环IT学院毕业学员专场招聘会
（携手中关村软件园几十家企业）
大数据开发
大数据开发工程师就业培训
大数据可视化分析
可视化开发工程师就业培训
Python实战开发
Python开发工程师就业培训
web前端开发
web前端工程师就业培训
嵌入式开发
嵌入式工程师就业培训
大数据开发
大数据开发工程师就业培训
大数据可视化分析
可视化开发工程师就业培训
Python实战开发
Python开发工程师就业培训
web前端开发
web前端工程师就业培训
嵌入式开发
嵌入式工程师就业培训
理论+实战的黄金课程体系
大数据课程分为7大阶段50大模块课程+8大企业项目实战，每个阶段都有实力案例和项目结合，从简单到专业一步一步带领学生走进大数据开发的世界，帮助学生顺利走上大数据工程师的道路！
课程一阶段
Java核心开发
■学习内容：Java核心内容
■学习目标：掌握数据类型与运算符，数组、类与对象；&&&&&&&&&&&&&&&&&&&&&&&&&掌握IO流与反射、多线程、JDBC。
■完成目标：Java多线程模拟多窗口售票，Java集合框架&&&&&&&&&&&&&&&&&&&&&&&&&管理。
课程二阶段
JavaEE课程大纲
■学习内容：JavaEE核心内容
■学习目标：Mysql数据基础知识，Jdbc 基础概念和操作&&&&&&&&&&&&&&&&&&&&&&&&&掌握HTML和CSS语法、Javascript核心语法
■完成目标：京东电商网站项目、2048小游戏。
课程三阶段
■学习内容：Linux命令、文件、配置，Shell、Awk、Sed
■学习目标：搭建负载均衡、高可靠的服务器集群，可&&&&&&&&&&&&&&&&&&&&&&&&&大网站并发访问量，保证服务不间断
■完成目标：Linux环境搭建、shell脚本小游戏 贪吃蛇。
课程四阶段
Hadoop生态体系
■学习内容：HDFS、MapReduce、Hive、Sqoop、Oozie
■学习目标：掌握HDFS原理、操作和应用开发，掌握分&&&&&&&&&&&&&&&&&&&&&&&&&布式运算、Hive数据仓库原理及应用。
■完成目标：微博数据大数据分析、汽车销售大数据分析
课程五阶段
Storm实时开发
■学习内容：Zookeeper、HBase、Storm实时数据
■学习目标：掌握Storm程序的开发及底层原理，具备开&&&&&&&&&&&&&&&&&&&&&&&&&发基于Storm的实时计算程序的能力。
■完成目标：实时处理新数据和更新数据库，处理密集&&&&&&&&&&&&&&&&&&&&&&&&&查询并行搜索处理大集合的数据。
课程六阶段
Spark生态体系
■学习内容：Scala函数、Spark SQL、机器学习
■学习目标：熟练使用Scala快速开发Spark大数据应用，&&&&&&&&&&&&&&&&&&&&&&&&&挖掘出其中有价值的数据。
■完成目标：使用Spark处理离线数据、使用Spark&&&&&&&&&&&&&&&&&&&&&&&&&Streaming完成实时计算。
课程七阶段
大数据项目实战
■学习内容：大型综合性大数据项目
■学习目标：能够综合运用大数据知识进行非结构化数据&&&&&&&&&&&&&&&&&&&&&&&&&开发、分析，能够开发大型项目。
■完成目标：某大型网站日志分析，移动业务感知分析，实&&&&&&&&&&&&&&&&&&&&&&&&&时检测车辆超速项目，实时非法网站检测项目
大数据开发详细课程内容
特别说明：全行业只有光环IT学院就业所向披靡！！！讲授最流行的《真正大数据》，而不是讲《JAVA/PHP大数据》或者《数据库大数据》，别人不能讲的我们讲，别人能讲的我们讲得更深入。教研中心引进多重实战项目，旨在提高学员实战能力，这就是我们做大数据的态度！
Java核心开发
流程与控制
面向对象及方法重载
访问权限和继承
抽象类与接口
1、Java发展简史，主要特征
2、Java运行机制
3、第一个Java程序，注释
4、Javac,Java,Javadoc等命令
5、标识符与关键字
6、变量的声明，初始化与应用
7、变量的作用域
8、变量重名
9、基本数据类型
10、类型转换与类型提升
11、各种数据类型使用细节
12、转义序列
13、各种运算符的使用
1、选择控制语句if-else
2、选择控制语句switch-case
3、循环控制语句while
4、循环控制语句do-while
5、循环控制语句for与增强型for
6、break，continue，return
7、循环标签
8、数组的声明与初始化
9、数组内存空间分配
10、栈与堆内存
11、二维（多维）数组
12、Arrays类的相关方法
13、main方法命令行参数
1、面向对象的基本思想
2、类与对象
3、成员变量与默认值
4、方法的声明，调用
5、参数传递和内存图
6、方法重载的概念
7、调用原则与重载的优势
8、构造器声明与默认构造器
9、构造器重载
10、this关键字的使用
11、this调用构造器原则
12、实例变量初始化方式
13、可变参数方法
1、包的声明与使用
2、import与import static
3、访问权限修饰符
4、类的封装性
5、static（静态成员变量）
6、final（修饰变量，方法）
7、静态成员变量初始化方式
8、类的继承与成员继承
9、super的使用
10、调用父类构造器
11、方法的重写与变量隐藏
12、继承实现多态和类型转换
13、instanceof
2、抽象方法
3、继承抽象类
4、抽象类与多态
5、接口的成员
6、静态方法与默认方法
7、静态成员类
8、实例成员类
10、匿名类
11、eclipse的使用与调试
12、内部类对外围类的访问关系
13、内部类的命名
Lambda表达式与常用类
异常处理与泛型
集合（上）和集合（下）
I/O流与反射
Java网络编程与多线程
1、函数式接口
2、Lambda表达式概念
3、Lambda表达式应用场合
4、使用案例
5、方法引用
6、枚举类型（编译器的处理）
7、包装类型（自动拆箱与封箱）
8、String方法
9、常量池机制
10、String讲解
11、StringBuilder讲解
12、Math，Date使用
13、Calendars使用
1、异常分类
2、try-catch-finally
3、try-with-resources
4、多重捕获multi-catch
5、throw与throws
6、自定义异常和优势
7、泛型背景与优势
8、参数化类型与原生类型
9、类型推断
10、参数化类型与数组的差异
11、类型通配符
12、自定义泛型类和类型擦出
13、泛型方法重载与重写
1 、常用数据结构
2 、Collection接口
3 、List与Set接口
4 、SortedSet与NavigableSet
5 、相关接口的实现类
6 、Comparable与Comparator
7、Queue接口
8 、Deque接口
9 、Map接口
10、NavigableMap
11、相关接口的实现类
12、流操作（聚合操作）
13、Collections类的使用
1 、File类的使用
2 、字节流
3 、字符流
4 、缓存流
5 、转换流
6 、数据流
8、类加载，链接与初始化
9 、ClassLoader的使用
10、Class类的使用
11、通过反射调用构造器
12、安全管理器
1、进程与线程
2、创建线程的方式
3、线程的相关方法
4、线程同步
5、线程死锁
6、线程协作操作
7、计算机网络（IP与端口）
8、TCP协议与UDP协议
9、URL的相关方法
10、访问网络资源
11、TCP协议通讯
12、UDP协议通讯
JavaEE课程大纲
Javascript
1、数据库基础知识
2、SQL理论基础和数据类型
3、DDL、DML、DQL语句
4、函数和关联查询
5、子查询、约束、视图
6、编程 存储过程，触发器
7、Sql查询案例和优化
1、Jdbc基本概念
2、使用Jdbc连接数据库
3、使用Jdbc进行crud操作
4、使用Jdbc进行多表操作
5、Jdbc驱动类型
6、Jdbc异常和批量处理
7、Jdbc储存过程
1、Html基本介绍
2、HTML语法规范
3、基本标签介绍
4、表单介绍
5、Table标签
6、DIV布局介绍
7、HTML列表详解
1、CSS简介及文字样式
2、盒子模型
3、布局及定位
4、CSS选择器
5、CSS3动画效果
6、CSS3新增选择器
1、JavaScript简介
2、基本语法规则
3、if判断语句和for循环语句
4、函数、事件
5、内置对象和自定义对象
6、DOM操作
7、表单验证
Servlet+Jsp
Springmvc+
1、Jquery简介
2、Jquery选择器
3、Jquery中事件操作
4、Jquery的动画效果
5、使用Jquery完成Dom操作
6、Jquery封装函数
7、Jquery案例
1、Servlet简介
2、Request对象
3、Response对象
4、转发和重定向
5、使用Servlet完成Crud
6、Session和Coolie简介
7、ServletContext和Jsp
8、El和Jstl的使用
1、Springmvc简介
2、用Springmvc第一个项目
3、Springmvc执行流程和参数
4、Springmvc
5、Springmvc数据回显
6、结果返回类型
7、文件上传及Ajax
1、Mybatis简介
2、Mybatis配置文件解析
3、用Mybatis完成crud操作
4、ResultMap的使用
5、Mybatis关联查询
6、动态sql语句
7、Mybatis缓存
8、Mybatis-Generator
1、Ioc、Aop、Ssm整合
2、Svn的简介
3、Svn的安装
4、Svn在集成环境中使用
5、Maven简介及安装
6、使用Maven开发项目
Linux安装与配置
系统管理与目录管理
用户与用户组管理
Shell编 程
服务器配置
1、安装Linux至硬盘
2、获取信息和搜索应用程序
3、进阶：修复受损的Grub
4、关于超级用户root
5、依赖于发行版本的系统管理工具
6、关于硬件驱动程序
7、进阶：配置Grub
1、Shell基本命令
2、使用命令行补全和通配符
3、find命令、locate命令
4、查找特定程序：whereis
5、Linux文件系统的架构
6、移动、复制和删除
7、文件和目录的权限
8、文件类型与输入输出
1、软件包管理
2、磁盘管理
3、高级硬盘管理RAID和LVM
4、进阶：备份你的工作和系统
5、用户与用户组基础
6、管理、查看、切换用户
7、/etc/...文件
8、进程管理
1、正则表达式
2、 字符集和单词、字符类
3、Shell脚本编 程
4、脚本执行命令和控制语句
5、Shell定制
6、个性化设置：修改.bashrc文件
1、系统引导
2、管理守护进程
3、通过xinetd启动SSH服务
4、配置inetd
5、Apache基础
6、设置Apache服务器
7、使用PHP+MySQL
Hadoop生态体系
Hadoop起源与安装
MapReduce快速入门
Hadoop分布式文件系统
Hadoop文件I/O详解
MapReduce工作原理
1、大数据概论
2、 Google与Hadoop模块
3、Hadoop生态系统
4、Hadoop常用项目介绍
5、Hadoop环境安装配置
6、Hadoop安装模式
7、Hadoop配置文件
1、WordCount准备开发环境
2、导入Hadoop的JAR文件
3、MapReduce介绍
4、MapReduce代码的实现
5、打包、部署
6、MapReduce代码的运行
7、打包成JAR文件
1、认识HDFS及其HDFS架构
2、Hadoop的RPC机制
3、HDFS的HA机制
4、HDFS的Federation机制
5、 Hadoop文件系统的访问
6、JavaAPI接口与维护HDFS
7、 HDFS权限管理
1、Hadoop文件的数据结构
2、 HDFS数据完整性
3、文件序列化
4、Hadoop的Writable类型
5、Hadoop支持的压缩格式
6、Hadoop中编码器和解码器
7、 gzip、LZO和Snappy比较
1、MapReduce函数式编程概念
2、 MapReduce框架结构
3、MapReduce运行原理
4、Shuffle阶段和Sort阶段
5、任务的执行与作业调度器
6、自定义Hadoop调度器
7、 异步编程模型
8、YARN架构及其工作流程
MapReduce编程开发
Hive数据仓库工具
开源数据库HBase
Sqoop与Oozie
Redis+Kettle
1、WordCount案例分析
2、输入格式与输出格式
3、压缩格式与MapReduce优化
4、辅助类与Streaming接口
5、MapReduce二次排序
6、MapReduce中的Join算法
7、从MySQL读写数据
8、Hadoop系统调优
1、Hive工作原理、类型及特点
2、Hive架构及其文件格式
3、Hive操作及Hive复合类型
4、Hive的JOIN详解
5、Hive优化策略
6、Hive内置操作符与函数
7、Hive用户自定义函数接口
8、Hive的权限控制
1 、HBase的特点
2 、HBase访问接口
3 、HBase存储结构与格式
4 、HBase设计
5 、关键算法和流程
6 、HBase安装
7、HBase的Shell操作
8、HBase客户端
1 、安装部署Sqoop
2、Sqoop数据迁移
3、Sqoop使用案例
4、Oozie简介
5、Oozie与Hive
6、Azkaban工作流
1、Redis介绍和安装
2、Redis shell操作
3、Jedis api操作
4、Redis集群搭建
5、kettle介绍和安装
6、kettle抽取各种类型数据
项目一：用户行为分析
项目二：精准广告投放
Storm实时开发
storm简介与基本知识
拓扑详解与组件详解
Hadoop分布式系统
spout详解 与bolt详解
zookeeper详解
1、storm的诞生诞生与成长
2、storm的优势与应用
3、storm基本知识概念和配置
4、序列化与容错机制
5、可靠性机制—保证消息处理
6、storm开发环境与生产环境
7、storm拓扑的并行度
8、storm命令行客户端
1、流分组和拓扑运行
2、拓扑的常见模式
3、本地模式与stormsub的对比
4、 使用非jvm语言操作storm
5、hook、组件基本接口
6、基本抽象类
7、事务接口
8、组件之间的相互关系
1、认识HDFS及其HDFS架构
2、Hadoop的RPC机制
3、HDFS的HA机制
4、HDFS的Federation机制
5、 Hadoop文件系统的访问
6、JavaAPI接口与维护HDFS
7、 HDFS权限管理
1、spout获取数据的方式
2、常用的spout
3、学习编写spout类
4、bolt概述
5、可靠的与不可靠的bolt
6、复合流与复合anchoring
7、 使用其他语言定义bolt
8、学习编写bolt类
1、zookeeper简介
2、zookeeper的下载和部署
3、zookeeper的配置与运行
4、zookeeper的本地模式实例
5、zookeeper的数据模型
6、zookeeper命令行操作范例
7、storm在zookeeper中的目录结构
storm安装与集群搭建
storm-starter详解
开源数据库HBase
1、storm集群安装步骤与准备
2、本地模式storm配置命令
3、配置hosts文件、安装jdk
4、zookeeper集群的搭建
5、部署节点
6、storm集群的搭建
1、storm-starter项目概述
2、使用maven进行管理
3、在eclipse中运行
4、使用daemontools
5、使用monit监控storm
6、常用的集群操作命令
7、drpctopologybuilder
8、Hive的权限控制
1 、HBase的特点
2 、HBase访问接口
3 、HBase存储结构与格式
4 、HBase设计
5 、关键算法和流程
6 、HBase安装
7、HBase的Shell操作
8、HBase客户端
1 、Kafka介绍和安装
2、整合Flume
3 、Kafka API
4、Kafka底层实现原理
1、Flume介绍和安装
2、Flume Source讲解
3、Flume Channel讲解
4、Flume Sink讲解
Spark生态体系
Spark部署和运行
Spark程序开发
Spark编程模型
作业执行解析
1、什么是Spark
2、Spark大数据处理框架
3、Spark的特点与应用场景
4、Spark SQL和DataFrame
5、Spark Streaming
6、Spark MLlib和ML
7、GraphX、SparkR
1、 部署准备与下载
2、Spark部署
3、Local、YARN模式部署
4、Local模式运行
5、Standalone模式运行
6、YARN模式运行Spark
7、应用程序提交和参数传递
1、启动Spark Shell
2、加载text文件
3、RDD操作及其应用
4、RDD缓存
5、构建Eclipse开发环境
6、构建IntelliJ IDEA开发环境
7、创建SparkContext对象
8、编写、编译并提交应用程序
1、 RDD特征与依赖
2、集合（数组）创建RDD
3、存储创建RDD
4、RDD转换、执行、控制操作
5、广播变量
1、Spark组件
2、RDD视图与DAG图
3、基于Standalone模式的Spark架构
4、基于YARN模式的Spark架构
5、作业事件流和调度分析
6、构建应用程序运行时环境
7、应用程序转换成DAG
Spark SQL与DataFrame
深入Spark Streaming
Spark MLlib与机器学习
GraphX与SparkR
spark项目实战
1、Spark SQL 架构、特性
2、DataFrame和RDD的区别
3、创建、操作DataFrame
4、RDD转化为DataFrame
5、加载保存操作与Hive表
6、Parquet 文件JSON 数据集
7、分布式的SQL Engine
8、性能调优、数据类型
1、Spark Streaming工作原理
2、DStream编程模型
3、Input DStream
4、DStream转换、状态、输出
5、优化运行时间及内存使用
6、文件输入源
7、基于Receiver的输入源
8、输出操作
1、机器学习分类级算法
2、Spark MLlib库
3、MLlib数据类型
4、MLlib的算法库与实例
5、ML库主要概念
6、算法库与实例
1、Spark GraphX架构
2、GraphX编程与常用图算法
3、GraphX应用场景
4、SparkR的工作原理
5、R语言与其他语言的通信
6、SparkR的运行与应用
7、R的DataFrame操作方法
8、SparkR的DataFrame
1、大数据分析系统
2、系统资源分析平台
3、在Spark上训练LR模型
4、获取二级邻居关系图
学员项目实战
某大型网站日志分析
移动业务感知分析
Sogou海量日志分析系统
实时非法网站检测
农产品数据分析系统
客户销售与利润系统
汽车销售数据分析系统
GraphX与SparkR
真实项目贯穿全程
为提高学员的实战能力，专门引进各大合作企业的实战项目
互联网电商数据爬虫项目
该项目使用hadoop分布式爬虫爬取互联网各大电商网站数据，通过各类海量数据的爬行抓取，前台实现实时对数据的快速精准查询和商品对比以及业务分析。
该项目包含商品页面抓取和解析，分布式爬虫设计细节，分析URL链接和页面内容如何存储，分布式爬虫监控功能。爬虫频繁爬取数据IP被封问题解决方案，爬虫爬取失败URL如何处理，抓取需要登录的网站数据。使用solr实现海量数据精准查询，使用hbase实现海量数据精准快速查询。本项目包含的大数据技术有：Java、HttpClient、Redis、Solr、HBase、Zookeeper、HighChart、HTMLEmail。
高频数据实时处理项目
该项目实现对数据系统的高频日志数据进行实时收集和业务处理，在高峰期每秒钟会有近万HTTP请求发送到服务器上，这些请求包含了用户行为和个性化推荐请求。从这些数据中快速挖掘用户兴趣偏 好并作出效果不错的推荐。
Web应用云包含了所有直接面对用户的Web服务，每个Web应用都会产生Web日志以及其他实时数据，这些数据一 方面会及时交由实时计算框架进行处理，另一方面也会定期同步至离线计算框架；实时计算框架会处理接收到的实时数据，并将处理结果输出到数据查询框架或者离 线计算框架。
某大型网站日志分析项目
通过大数据工具将互联网中的日志采集、清洗、分析统计出常见的互联网指标；开发出各种维度UV的分析报表、各个指标每日、每月指标报表分析，用于对产品做出正确的决策，数据的正确性校对问题，临时性图标的开发。
使用hadoop、mapreduce、hive清理和分析UV、PV、登陆、留存等常见指标，使用storm实时分析充值、消费等趋势，各个维度的趋势对比、各个指标每日、月指标报表生成，使用kettle数据的正确性校对问题和邮件报警。日志数据的实时采集优先采用Flume-Ng组件，Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。
移动业务感知项目
该项目主要利用hadoop集群强大的计算能力对移动的大批量离线话单数据进行分析，统计移动使用业务（流量套餐、话费套餐、铃声套餐等）情况，达到感知用户行为和使用习惯，确定移动业务推广走向的一套系统。
使用MR对多个小区GN口五类数据进行分析完成和移动用户通话时长、2G/3G业务流量使用进行一级汇总，列出小区流量使用排名，使用hive完成用户维度关联汇总，统计话单使用情况，使用spark完成APP下载top排名统计，使用sparkstreaming实时处理，根据用户使用APP，实时统计排名，使用sqoop导入oracle完成的web页面2G/3G业务使用排名和流量排名。
用户画像分析系统项目
通过jdbc的方式连接spark的thriftserver，通过集群进行HDFS上的大宽表的运算求count。这样便可以定位相应的客户数量，从而进行客户群、标签的分析，产品的策略匹配从而精准营销。
1、数据指标的的梳理来源于各个系统日常积累的日志记录系统，通过sqoop导入hdfs,或者spark的jdbc连接传统数据库进行数据的cache。
2、通过hive编写UDF 或者hiveql 根据业务逻辑拼接ETL，使用户对应上不同的用户标签数据，生成相应的源表数据,以便于后续用户画像系统，通过不同的规则进行标签宽表的生成。
实时非法网站监测系统项目
针对现有技术的缺陷，提供一种基于实时日志的网站威胁检测方法及系统，能够提高日志数据的处理能力及时效性，提高网站威胁检测与反应的及时性，降低网站运行的风险，为网络的信息安全提供有力的保障。
日志数据实时采集单元，用于实时采集监控网站日志服务器上的日志数据，日志数据实时转换与分发单元，用于对日志数据进行转换与实时分发；日志数据实时处理与检测单元，用于对日志数据进行实时处理与检测；日志数据实时监控单元，用于对所述网站威胁检测结果进行展示，并根据所述检测结果的严重程度进行预警。
独家教学优势，光环用心呵护你
光环IT学院16年专注IT就业培训，拼教学，论严管，谈素养，比就业，光环用心呵护你！
大咖级讲师，培训体系严谨，教学状态实时监测，确保授课效果。
班主任全程学习，生活状态跟踪，一对一访谈，确保学员饱满的学习状态
注重学员素质培养，授之以鱼更授之以渔，提升薪资更提升价值。
项目老师全程一对一辅导，项目、技术指导，全程学习效果跟踪。
课堂全程实战，阶段项目考试，商业真实项目实战，大量积累项目经验。
中关村软件园区独家合作，千家企业联盟，企业直招，就业推荐任意选。
大咖就业指导课，1对1就业服务，长期就业跟踪，随时提供就业服务。
360度全方位服务
光环学友会人脉，独家技术讲座随时充电，人生职业规划拓宽视野。}