光环实战公开课—Hadoop大数据处理技术及其实践

主讲老师
杨文川老师，主要从事大数据分析以及云计算技术研究，主持和参与了多个国家和省部级基金项目，具有丰富的工程实践及软件研发经验。
97年博士毕业于北京大学计算机系，曾经任职于美国朗讯公司贝尔实验室研究员。2001年加入北京邮电大学，现任北邮物联网中心主任、责任教授。主要研究方向为物联网、移动互联网以及大数据处理技术，长期从事云计算、数据仓库以及数据中心建设工作，熟悉Android、ios平台上的产品研发技术，具有丰富的J2EE以及Hadoop实战经验。

课程大纲
讲 互联网思维及大数据
1）互联网思维
2）云计算技术
3）大数据概念及其应用
4）大数据的主要技术      第二讲 大数据中的主要技术
1）分布式文件系统
2）MapReduce算法机制
3）对稀疏大表的管理技术
4）并发锁管理技术
5）Hadoop技术介绍
第三讲 分布式文件系统
1） 分布式文件系统HDFS
2） HDFS与GFS的区别
2） NameNode和DataNode
3） Jobtracker和Tasktracker
4） Yarn和HA、Federation技术      第四讲 MapReduce计算模型
1) 并行计算和无共享
2) MapReduce计算模型
3) MapReduce工作流程
4) 行业应用案例
第五讲 Pig大数据分析工具
  1）Pig Latine
  2）分析环境搭建
  3）关键性技术
  4）Pig应用实例      第六讲 NoSQL和云数据库
  1） NoSQL云数据库
  2） 列数据库HBase介绍
  3） HBase的关键技术
  4） ZooKeeper的使用和管理
  5） 使用案例介绍
第七讲 Hive及云数据仓库
  1) Hive介绍
  2) 云数据仓库搭建
  3) Hive数据分析
  4) Hive实用案例      第八讲 从关系数据库到云数据
  1）云数据抽取技术
  2）Chukwa的使用
  3）Sqoop数据抽取
  4）数据抽取案例
第九讲 其它大数据产品介绍
  1）流数据处理技术-Storm介绍
  2）实时数据处理技术-Spark介绍
  3）各厂商的大数据产品介绍