【课程内容】

微职位：Linux基础知识

1-1课程内容
2-1虚拟机安装(windows)
2-2虚拟机网络配置
2-3xshell连接虚拟机
2-4虚拟机安装(Mac)
2-5Linux文件系统简介
3-1文件目录操作命令
3-2文件目录管理命令
3-3文件内容修改命令
3-4文件内容查看命令
3-5文件大小查看命令
3-6文件压缩打包命令
3-7grep命令
4-1用户与用户组概念
4-2文件权限的讲解
4-3chgrp和chown讲解
4-4chmod讲解
4-5权限实战
4-6su和sudo讲解
5-10date命令
5-11往文件中追加内容
5-12crontab命令
5-1认识bash shell
5-2bash shell的变量
5-3bash shell操作环境
5-4alias history clear
5-5第一个bash脚本
5-6脚本参数
5-7test命令
5-8条件判断结构
5-9循环控制结构
6-1克隆3台虚拟机
6-2修改主机名
6-3配置无密钥登录
6-4使用filezilla上传文件
6-5java的JDK的安装
6-6java相关命令的讲解
6-7虚拟机关闭防火墙
6-8三台虚拟机通过ntp同步时间

微职位：大数据技术入门

1-1课程内容
1-2Java开发环境的安装(Windows)
1-3IDEA导入已经存在的maven项目(windows)
1-4jar包依赖管理说明
1-5使用java命令启动JVM
1-6RPC
1-7分布式存储的原理
1-8HDFS安装前的准备
1-9HDFS的安装(一)
1-10WebUI看不了怎么办
1-11HDFS的安装(二)
1-12HDFS安装后的额外强调
1-13HDFS Web UI讲解
1-14HDFS常用操作命令
1-15HDFS文件恢复机制
1-16Http方式访问HDFS
1-17HDFS各组件作用
1-18HDFS中的数据块
1-19写HDFS文件实战与原理讲解
1-20读HDFS文件实战与原理讲解
1-21Java基本操作HDFS API
1-22Java开发HDFS应用的时候需要注意的点
1-23DataNode心跳机制的作用
1-24NameNode中的EditsLog和FSimage机制
1-25SecondaryNameNode帮助NameNode减负
1-26Federation配置
1-27ViewFS的配置
1-28回退到一个NameNode的状态
1-30告诉你怎么使用Snapshots
1-31平衡数据
1-32SafeMode
2-1课程内容
2-2为什么需要Zookeeper
2-3单机安装zookeeper
2-4使用命令行操作zookeeper
2-5使用ZooInspector操作zk
2-6数据模型
2-7安装分布式zookeeper
2-8分布式zookeeper的特点
2-9Java创建zookeeper会话
2-10Java创建zk节点
2-11Java设置和删除zk节点
2-12ZNode的watcher机制
2-13ZNode的ACL机制
2-14使用curator客户端操作zk
2-15zk使用之配置管理实战
2-16zk使用之分布式锁实战
2-17zk使用之Master选举实战
2-18HDFS HA集群规划
2-19使用zk来实现HDFS HA的实操
2-20NameNode恢复到非HA的状态
3-1课程内容
3-2Yarn是用来做什么的
3-3Yarn的安装
3-4分布式计算的特点
3-5MapReduce安装
3-6hadoop序列化机制
3-7实现并运行第一个MapReduce job
3-8block与map的input split的关系
3-9MapReduce在Yarn上运行的原理
3-10MR内存cpu资源配置
3-11MR中的Combiner
3-12实现并运行WordCount
3-13shuffle & sort
3-14自定义分区器
3-15MapReduce应用
3-16Hadoop压缩机制
3-17text文件格式的读写
3-18avro文件和parquet文件的讲解(很重要)
3-19avro文件的读写
3-20parquet文件的读写(必须掌握)
3-21sequenceFile文件的读写
3-22用sequenceFile合并小文件
3-23CombineTextInputFormat讲解
3-24Yarn的三种资源调度机制
3-25Yarn Capacity Scheduler配置
3-26Yarn Fair Scheduler配置
3-27ResourceManager的HA配置
4-1NCDC数据源的获取
4-2NCDC数据字段的详解
4-3NCDC数据的预处理
4-4数据处理逻辑以及实现方案讲解
4-5MapReduce代码实现讲解
4-6Hadoop的本地安装
4-7单元测试、集成测试以及验证
4-8求每一年最高的温度

微职位：NoSQL数据库之HBase

1-1核心原理课程内容
1-2引出主角HBase
1-3HBase安装
1-4HBase数据模型
1-5namespace
1-6Version和TTL
1-7HA配置
1-8Java客户端put数据到HBase表
1-9Table到Region到CF(非常重要)
1-10HFile文件格式详解(必须掌握)
1-11Block Encoder和Compressor
1-13HBase技术架构
1-12Bloom Filter
2-1客户端怎么找到对应的Region
2-2Memory Store写缓存机制
2-3WAL
2-4读缓存机制-BlockCache
2-5LruBlockCache
2-6BucketCache
2-7HBase内存规划案例
3-1compaction
3-2pre-split(设计HBase表时必须考虑的点)
3-3auto-split
3-4手工split
3-5auto-split的实现
3-6region太多的影响以及合并
3-7balancing
3-8snapshot
4-1Java客户端增删改Hbase表
4-2batch接口
4-3保证相同行操作的原子性
4-4异步接口BufferedMutator
4-5version相关
4-6Scan
4-7RowKey的过滤
4-8Column的过滤
4-9ColumnValue的过滤
4-10PageFilter
4-11FilterList
5-1实战应用课程内容
5-2几个column family比较合适呢
5-3RowKey设计
6-1Spark在driver端和executor端读写Hbase
6-2每一个Executor维护一个Connection
6-3HBaseContext封装Spark和HBase交互的代码
6-4Spark使用bulkput将数据写入到HBase中
6-5Spark使用bulkput将数据写入到HBase中优化
6-6RDD分区与Region的关系
6-7隐式转换的使用
6-8Spark Streaming读写Hbase
7-1需求说明
7-2Schema的设计
7-3csv格式的数据转换成HFile格式（重要）
7-4HFile导入到HBase并验证
7-5实验环境下的Solr的安装
7-6Solr中的schema
7-7简单使用Solr
7-8生产环境中的Solr
7-9利用Solr创建索引
7-10需求问题的解决
7-11OLAP架构图讲解
7-12设置solr开启不自动启动
8-1构建简单的Spring boot应用
8-2构建复杂的Spring boot应用
8-3将Spring boot应用打成jar包在服务器上运行
8-4将Spring boot应用打成war包在服务器上运行
8-5Java Web展现产品质量数据

微职位：Scala语言的学习

1-1怎样学习Scala
1-2章节内容
1-3Scala的诞生史
1-4学习scala需要的环境(windows)
1-5学习Scala需要的环境(Mac)
1-6简单例子对比面向对象和函数式编程
1-7Java中的函数式编程
1-8Scala面向对象和函数式编程的特点
1-9Scala为什么Scalable
1-10选择Scala的理由
2-1章节内容
2-2学习使用Scala解释器
2-3变量的定义
2-4函数的定义
2-5编写Scala脚本
2-6关键字while和if
2-7使用foreach和for进行迭代
2-8数组Arrays的使用

上一篇：最快七周快速成为数据分析师

下一篇：Python数据分析经典案例