Hadoop 文档官方版本（0）

Hadoop 文档官方版本（0）

目前：大家玩大数据一般都是从 cdh 或 hdp 开始玩的，从集成环境好处多多，但是真正要掌握集群环境。手动整一把是必须的。

本栏将从hadoop 的官方文档开始为大家剖析hadoop ,及一个hadoop 平台管理员应该掌握什么东西做一一解析。

hadoop 的官方文档主要包括以下内容： 总览 ----------------------------------------------------------------------- 单节点设置 集群设置 命令参考 文件系统外壳 兼容性要求 下游开发人员指南 管理员相容性指南 接口分类 文件系统规范 ------------------------------------------------------------------------ 共性内容 -------------------------------------------------------------------------  CLI cluster功能可以使用一个命令直接启动一个包含yarn/mapreduce和hdfs的hadoop集群，避免了配置环境变量和配置文件。 本地库 代理用户 机架的设置 安全模式 服务水平授权 任证提供证api  hadoop kms 认证 追踪 命令行 ---------------------------------------------------------------------------- HDFS ---------------------------------------------------------------------------- 架构 用户指南 命令参考 具有QJM的NameNode HA 具有NFS的NameNode HA 联邦 视场 快照 编辑查看器 图像浏览器 权限和HDFS 配额和HDFS libhdfs（C API） WebHDFS（REST API） HttpFS 短路本地读取 集中式缓存管理 NFS网关 滚动升级 扩展属性 透明加密 多宿主 储存政策 内存存储支持 综合负载发生器 删除编码 磁盘平衡器 升级域 数据节点管理员 路由器联盟 提供的存储 --------------------------------------------------------------------------- Mapreduce  --------------------------------------------------------------------------- 讲解 命令参考 与1.x的兼容性 加密随机播放 可插拔随机播放/排序 分布式缓存部署 支持YARN共享缓存 ---------------------------------------------------------------------------- MapReduce REST API MR应用大师 MR历史记录服务器 ----------------------------------------------------------------------------- YARN ------------------------------------------------------------------------------ 建筑 命令参考 容量调度器 公平调度 重新启动ResourceManager 资源管理器HA 资源模型 节点标签 节点属性 Web应用程序代理 时间轴服务器 时间轴服务V.2 编写YARN应用程序 YARN应用程序安全 节点管理器 在Docker容器中运行应用程序 使用CGroups 安全容器 登记处 预约系统 优雅退役 机会容器 纱联合会 共享缓存 使用GPU 使用FPGA 放置约束 纱UI2 纱线REST API ------------------------------------------------------------------------------ 介绍 资源经理 节点管理器 时间轴服务器 时间轴服务V.2 -------------------------------------------------------------------------------- yarn  总览 快速开始 概念 yarn 服务API 服务发现 系统服务  社区启动了 Submarine 项目以及其他改进，例如一流的 GPU 支持，Docker 容器支持，容器 DNS 支持，调度改进等。 --------------------------------------------------------------------------------- 指数 快速开始 例子 ----------------------------------------------------------------------------------- Hadoop兼容文件系统 ------------------------------------------------------------------------------------ Aliyun OSS Amazon S3 Azure Blob Storage Azure Data Lake Storage OpenStack Swift ------------------------------------------------------------------------------------- Tools Hadoop Streaming Hadoop Archives Hadoop Archive Logs DistCp GridMix Rumen Resource Estimator Service Scheduler Load Simulator Hadoop Benchmarking ---------------------------------------------------------------------------------------- 参考 变更日志和发行说明 Java API文档 Unix Shell API 指标 ---------------------------------------------------------------------------------------- hadoop 的 ---------------------------------------------------------------------------------------- core-default.xml hdfs-default.xml hdfs-rbf-default.xml mapred-default.xml yarn-default.xml Deprecated Properties   ---不推荐的配置 Deprecated Properties

--------------------------------------------------------------------------------------

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。