大数据和云计算技术周报（第175期)

大数据和云计算技术周报（第175期)

导语

“大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。      本期会给大家奉献上精彩的：科技、Kafka、Iceber、数据湖、数据治理、MangoDB。全是干货，希望大家喜欢！！！

1科技

2020年是不平凡的一年，经历疫情的洗礼，许多行业重启向上而生的螺旋，但疫情并未阻挡科技前进的脚步，量子计算、基础材料、生物医疗等领域的一系列重大科技突破纷至沓来。

2Kafka

使用 Kafka 作为存储系统来构建一个 API，在事件回放中优化客户体验和数据访问。利用实时系统的设计使系统易于维护。

3Iceberg

为了更好的使用 Apache Iceberg，理解其时间旅行是很有必要的，这个其实也会对 Iceberg 表的读取过程有个大致了解。不过在介绍 Apache Iceberg 的时间旅行（Time travel）之前，我们需要了解 Apache Iceberg 的底层数据组织结构。

中常用的一些监控指标。

5Kafka

本文主要对Kafka丢失数据问题进行了优化总结。

6MongoDB

本文讲述了MongoDB分片集群的组件组成，生产环境配置和开发环境配置分片集群需要考虑分片数量、mongos数量和分布等事项；

DataLake的湖仓一体方案做一介绍。

8数据治理

大数据时代，数据不仅仅是企业的财富来源，更是企业一项重要的无形资产，其重要性与日俱增，而对数据资产质量评估也成为了企业价值评估的一个核心问题。从数据资产的视角来说，高质量数据对于组织整个业务过程的支持和管理决策的制定都是至关重要的，需要充分发挥数据质量评价对数据质量价值提升的作用。

11开心一刻

热火朝天的办公室，一精壮青年一边啃着馒头，一边看着眼前产品，愁眉紧锁的他陷入了沉思：产品下一步应该怎么走？如何保证代码质量？如何缩短项目时间？如何控制项目成本？一个个难题需要他思索，抉择。此时，传来项目经理的吆喝：“程旭元，先别敲代码了！给我修下电脑……”

致谢：

周蓬勃、王在道、孙亚飞、冯艺帆、陈少军、邓开表、张少华、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉、郭飞

猜你喜欢

阿里的OceanBase解密

大数据和云计算技术周报（第56期）

《大数据架构详解》第2次修订说明

简单梳理跨数据中心数据库

云观察系列：百度云的一波三折

云观察系列：阿里云战略观察

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。