• Hadoop 核心组件课程

    讲师介绍

    侯圣文

    Oracle ACE总监,恩墨学院院长,OCM联盟?#35789;?#20154;,ACOUG核心专家,DATAGURU专家团成员,Blogger,ITPUB Oracle专题深入讨论版版主曾任职于海关总署数据中心,负责运维国家级海量数据库;国际航空运输协会(IATA)任高级数据架构师,负责国际化高可用海量数据库系统架构设计、实施及运维。现任云和恩墨培训业务中心总经理一职,致力推广Oracle?#38469;酢?#20026;多家大中?#25512;?#19994;提供过Oracle相关课程培训,培训经验丰富,讲课富有激情和感染力,善于理论联系实践,擅长以通俗易懂、诙谐幽默的语言讲解枯燥深奥的数据库理论,并凭借丰富的实践经验,教导学员学以致用、融会贯通,使学员受教于课堂之上,受益于工作之中。作为OCM?#29616;?#37329;牌讲师,目前培养OCM大师百余人,培训DBA千余人。个人Blog:http://www.secooler.me。

    拥有证书:Cloudera大数据管理员证书,HBase?#38469;?#23454;战?#29616;?#35762;师


    李美静

    李美静,恩墨学院高级讲师,从事Oracle管理工作多年,曾就职于政府、保险、能源等多?#19994;?#20301;,负责维护核心数据库,熟悉Oracle体系结构,擅长Oracle高可用架构与灾备等?#38469;酰?#22521;训学员覆盖银行、政府、金融等多个行业。诙谐、幽默、细心的授课方式,得到学员的一致好评。拥有证书:Oracle 11g/12c  OCM?#29616;racle 11g/12c  OCP?#29616;?


    大数据Hadoop核心组件课程大纲

    Hadoop 分?#38469;?#25991;件系统:HDFS 概述

    Hadoop 分?#38469;?#25991;件系统:HDFS 概述

    分?#38469;?#25991;件系统究竟是什么

    HDFS 起源以及与 Linux 文件系统的?#21592;?span>

    HDFS 体系结构与运行机制

    实践:HDFS 与本地文件系统操作?#21592;?span>

    Hadoop 分?#38469;?#25991;件系统:HDFS 进阶

    HDFS 存储思路:数据与元数据分开存储

    HDFS 元数据节点:namenode 以及 数据节点:datanode

    HDFS 心跳原理剖析

    HDFS 元数据的元数据 fsimage 与日志 edit_log

    实践:HDFS 元数据 checkpoint 过程

    HDFS 的数据块结构

        HDFS 应用程序接口API

        将结构化数据从传统关系型数据库数据导入:Sqoop 组件

    实践:利用 sqoop 做全库导入 HDFS

    将非机构化数据导入大数据?#25945;ǎ?span>Flume 组件

    实践:搭建简易 Web 服务器,并模拟用户访?#20160;?#29983;日志,利用 Flume Web 服务器日志实时导入 HDFS

    Hadoop 分?#38469;?#35745;算框架 - MapReduce 概述

    什?#35789;?#20998;?#38469;?#35745;算

    什?#35789;?#20989;数式编程思想与 MapReduce 起源

    MapReduce 计算框架概述

    实践:执行一个 MapReduce 程序

    本是同根生:YARN MapReduce

    YARN 与其它计算框架 Spark

    YARN 资源调度过程解析

    Hadoop 分?#38469;?#35745;算框架 - MapReduce 进阶

    MapReduce 关键过程:Partitioner

    实践:实现自定义 Partitioner

        MapReduce 关键过程:Shuffle Sort

        MapReduce 的缺陷与分?#38469;?#32531;存 Distribute Cache

    实践:动?#20013;?#20320;的第一个MapReduce 程序,利?#30431;?#20998;析 HDFS 上的文件

    Hadoop 集群的规划与搭建

    部署 Hadoop 集群之前要考虑的几件事

    集?#33322;?#28857;的硬件选择

    集?#33322;?#28857;的软件选择

    规划一个可扩展的集群

    初始化配置与 Linux 内核参数调整

    实践:调整与 Hadoop 相关的 Linux 内核参数

    大规模部署:操作系统安装 kickstart + PXE

    Hadoop 集群搭建进阶

    Hadoop 集群资源管理:调度器

    实现 Hadoop 集群的多租户架构

    图形化管理工具

    实践1:搭建多节点 Hadoop 集?#28023;?#24320;启 HDFSYARN MapReduce 服务

    实践2:配置实现 Hadoop 多租户架构,用多用户提交 MapReduce 作业验证

    Hadoop 集群的高级配置

    高级配置参数详解

    实践:在集群中查找参数并修改参数的默?#29616;?

    配置 Hadoop HDFS 高可用环境 HA

    资源协调器:Apache Zookeeper 组件介绍

    Zookeeper 选举算法:Paxos算法

    实践:Zookeeper HA 环境中的作用

    Hadoop 性能调优

    HDFS 组件性能调优:数据平衡

    实践:HDFS 数据节点的数据平衡

    l YARN / MapReduce 组件性能调优

    实践:MapReduce 内存选项调整

    实践:一次集群故障的诊断

    恩墨学院Hadoop 核心组件课程

    联系我们

    • 全国统一咨询?#35748;擼?00-660-8755
    • QQ咨询:点击这里给我发消息 点击这里给我发消息 点击这里给我发消息
    • QQ群咨询:279589917
    • 邮箱:[email protected]
    • 联?#31561;耍航?#32769;师
    黑龙江快乐十分历史记录