离线数仓关闭信息收集方案

离线数仓关闭信息收集方案

目 录​

1. 引言 3

1.1 背景介绍 3

1.2 编写目的 3

1.3 适用范围 3

1.4 角色职责 3

1.5 其他 4

2. 当前环境概述 4

2.1离线数仓收集信息的 4

2.2 关闭收集信息的操作 5

引言

背景介绍xxx​项目承接了线上多种实时数据，对主要的指标进了15分钟一次查询，这些统计指标对上层知道运营有重要作用。出版上线至今平台稳定运行，但日益增长的用户数量导致每日数据量不断增长，当前的集群面临严峻的处理能力和稳定性的挑战。驾驶舱集群自上线(2019.10月份)上线后，承接了离线计算的主要任务，已有表数目接近10000张，单日任务数量接近3万，单表最大数据规模超过8亿+;集群目前处于亚健康状态，现在集群上每周五收集集群信息，占用大量的资源，需要关闭Collect Diagnostic Data Globally。​编写目的​指导本次CDH平台关闭Collect Diagnostic Data Globally。​适用范围

甲方leader​运维开发人员​数据开发人员​

角色职责

其他​其他需要说明的内容。​

当前环境概述

驾驶舱集群自上线(2019.10月份)上线后，承接了离线计算的主要任务，已有表数目接10000张，单日任务数量接近3万，单表最大数据规模超过8亿+集群目前处于亚健康状态，需要对CDH集群关闭Collect Diagnostic Data Globally，减少资源收集信息时占用大量的资源。​

2.1离线数仓收集信息的​

离线总共41节点，收集信息的报错情况如下。​

2.2 关闭收集信息的操作

1.进入集群管理---设置

3.关闭自动将诊断数据发送至cloudera关闭，计划的诊断数据收集频率每周改成从不，关闭使用http上载诊断数据

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。