大数据技术课程体系
5个月超长课时,课程涵盖全面,确保每一位得到真才实学。
阶段:大数据基本知识学习
1、Linux基础 Linux的常用命令:常用命令的介绍、常用命令的使用、VIM编辑器:VI、VIM编辑器的介绍、VI、VIM扥使用和常用快捷键、Linux用户和组账户管理、Linux系统文件权限管理、Linux的RPM软件包管理、Linux网络、Shell编程及Shell脚本的编写。
2、Java基础 文件IO及设计模式、NIO、多线程、网络通信,java相关算法。
第二阶段:云计算技术基础
1、Hadoop基础知识 Hadoop基础知识、Hadoop相关运行模式介绍及配置,hadoop相关进程作分析。
2、HDFS HDFS组成原理详解、数据存放策略及规则。Api接口:命令行接口、Java接口。
3、MapReduce MR计算模型介绍、MR计算一系列案例
4、搜索技术 Lucene架构,原理及实战案例以及结合hadoop整合操作。
Solr,nutch基本原理,架构及实战案例
5、算法讲解 磁盘调度算法,作业调度算法,HASH算法,HADOOP作业算法
6、新一代YARN框架 YARN框架基本原理架构及JAVA API操作
7、hadoop源码学习 Hadoop源码解读及hadoop程序优化
8、HADOOP项目实战 私有云文库系统
第三阶段:数据仓库及挖掘技术分析
1、Hive 数据仓库基础知识、Hive体系结构简介、Hive集群、HiveQL定义。
2、ZooKeeper ZooKeeper体现结构、ZooKeeper集群的安装、操作ZooKeeper。
3、HBase HBase数据模型及系统架构分析、HBase上的MapReduce、HBase表的设计。
4、HBase源码学习 HBase源码解读及HBase优化
5、Sqoop 数据分析及抽取工具Sqoop介绍及应用。
6、Mahout 数据分析及抽取工具Sqoop介绍及应用。
7、flume-ng flume-ng非结构化数据采集,大数据流向学习,flume-ng源码及自定义sink
8、项目实战 电信业日志分析系统、用户行为分析系统。
1、基站日志分析
2、能力指标分析
3、透过用户业务使用情况对用户行为分析
4、精准营销系统实现
第四阶段:高手进阶
1、Spark Spark / Spark SQL / Spark Scala架构介绍,及集群搭建
2、Scala开发语言学习 Spark Scala(或者python)开发语言介绍。
3、Spark stream Spark stream原理和实践
4、Spark 机器学习 Spark 机器学习入门,机器学习算法
5、Spark 图形计算框架 GraphX 入门及实战案例
6、Spark项目实战
阶段:大数据基本知识学习
1、Linux基础 Linux的常用命令:常用命令的介绍、常用命令的使用、VIM编辑器:VI、VIM编辑器的介绍、VI、VIM扥使用和常用快捷键、Linux用户和组账户管理、Linux系统文件权限管理、Linux的RPM软件包管理、Linux网络、Shell编程及Shell脚本的编写。
2、Java基础 文件IO及设计模式、NIO、多线程、网络通信,java相关算法。
第二阶段:云计算技术基础
1、Hadoop基础知识 Hadoop基础知识、Hadoop相关运行模式介绍及配置,hadoop相关进程作分析。
2、HDFS HDFS组成原理详解、数据存放策略及规则。Api接口:命令行接口、Java接口。
3、MapReduce MR计算模型介绍、MR计算一系列案例
4、搜索技术 Lucene架构,原理及实战案例以及结合hadoop整合操作。
Solr,nutch基本原理,架构及实战案例
5、算法讲解 磁盘调度算法,作业调度算法,HASH算法,HADOOP作业算法
6、新一代YARN框架 YARN框架基本原理架构及JAVA API操作
7、hadoop源码学习 Hadoop源码解读及hadoop程序优化
8、HADOOP项目实战 私有云文库系统
第三阶段:数据仓库及挖掘技术分析
1、Hive 数据仓库基础知识、Hive体系结构简介、Hive集群、HiveQL定义。
2、ZooKeeper ZooKeeper体现结构、ZooKeeper集群的安装、操作ZooKeeper。
3、HBase HBase数据模型及系统架构分析、HBase上的MapReduce、HBase表的设计。
4、HBase源码学习 HBase源码解读及HBase优化
5、Sqoop 数据分析及抽取工具Sqoop介绍及应用。
6、Mahout 数据分析及抽取工具Sqoop介绍及应用。
7、flume-ng flume-ng非结构化数据采集,大数据流向学习,flume-ng源码及自定义sink
8、项目实战 电信业日志分析系统、用户行为分析系统。
1、基站日志分析
2、能力指标分析
3、透过用户业务使用情况对用户行为分析
4、精准营销系统实现
第四阶段:高手进阶
1、Spark Spark / Spark SQL / Spark Scala架构介绍,及集群搭建
2、Scala开发语言学习 Spark Scala(或者python)开发语言介绍。
3、Spark stream Spark stream原理和实践
4、Spark 机器学习 Spark 机器学习入门,机器学习算法
5、Spark 图形计算框架 GraphX 入门及实战案例
6、Spark项目实战