Fluid 进入 CNCF Sandbox，加速大数据和 AI 应用拥抱云原生

Fluid 进入 CNCF Sandbox，加速大数据和 AI 应用拥抱云原生

2021 年 4 月 27 日，云原生计算基金会（CNCF）宣布通过全球 TOC 投票接纳 Fluid 成为 CNCF 官方沙箱项目。Fluid 是一个由南京大学、阿里云以及 Alluxio 开源社区联合发起并开源的云原生数据编排和加速系统。

Fluid 项目地址：/ AI 等数据密集型应用带来了计算性能和管理效率方面的挑战。现有云原生编排框架运行此类应用面临数据访问延时高、多数据源联合分析难、应用使用数据过程复杂等痛点。Fluid 正是为解决这些问题而生的。

Fluid 运行在 Kubernetes 上，是一个可扩展的分布式数据编排和加速系统，其目标为构建云原生环境下数据密集型应用的高效支撑平台。该项目开源于 2020 年 9 月，短短半年多时间内发展迅速，吸引了众多领域专家和工程师的关注与贡献，并在包括微博、中国电信等多家大型知名IT和互联网企业中使用。

核心功能

Fluid 在云原生应用与数据的协同编排、调度优化、数据缓存等几方面提出一系列技术创新，其核心功能包括：

提供存储无感知的数据对象-数据集(Dataset)：通过自定义资源对象 (Custom Resource Definition)实现对不同存储系统的统一抽象定义与管理，支持可观测性和弹性伸缩。 利用分布式缓存技术加速数据集读写：通过扩展 CacheRuntime 对象，自定义并管理分布式数据缓存引擎。目前已原生支持缓存引擎 Alluxio 和 JindoFS。 基于容器调度的智能数据编排：基于 Kubernetes 容器调度和扩缩容能力，实现数据缓存的智能化编排。 数据集与应用协同调度：扩展 Kubernetes 调度器感知数据集缓存信息，就近调度应用，发挥本地读写缓存的性能优势。 标准访问接口：使用 Kubernetes 标准存储接口 Persistent Volume Claim  访问数据集，实现无缝兼容云原生应用。 面向场景的性能调优：针对深度学习、批量数据处理等任务，提供数据集预热、元数据管理优化、小文件 IO 优化、自动弹性伸缩等手段，普遍提升任务运行效率。

展望未来

作为对原生 Kubernetes 生态完全兼容的数据密集型应用运行支撑平台，Fluid 将向更灵活、智能、可扩展的架构方向发展，不断提升开发者和用户使用体验。未来，Fluid 将继续与社区并肩、与生态同行，致力于推进云原生技术在大数据 / AI 系统领域的生态建设与普及，与全球开发者一起拓展云原生的边界。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。