Alluxio1.0发布：API顺畅衔接大数据应用与存储

【51CTO.com快译】最初定名为Tachyon的Alluxio公司正积极构建API方案，旨在帮助大数据应用程序以更快速度通过统一化接入方式访问数据所驻留的存储体系。

Alluxio的存储API能够支持Amazon S3、Google Cloud Storage、OpenStack Swift、EMC以及NetApp。

[[163187]]

目前已经迎来1.0版本的Alluxio API方案能够帮助Spark、MapReduce、Flink或者Presto等框架访问多种存储系统类型。除了Amazon S3、Google Cloud Storage以及OpenStack Swift等受支持云存储供应商外，EMC与NetApp等传统存储方案供应商亦在其支持列表当中。

从表面上看，Alluxio似乎属于一套类似于Memcached或者Redis的内存缓存系统。但恰恰相反，它立足于分布式计算应用与存储体系之间，并通过提供统一化API帮助前者与后者顺畅对接。各应用程序能够利用Alluxio的API享受到出色的访问速度，同时摆脱各类传统API(例如HDFS实现机制)糟糕的速度与兼容性表现。

在本月早些时候发布的一篇博文当中，英特尔公司的工程师们描述了Alluxio如何帮助其解决大数据框架使用当中所出现的各类常见难题，例如在不同应用程序之间进行数据共享。相较于将数据写入至HDFS再重新加以读取，现在用户能够将数据写入至Alluxio的内存内存储体系，并以更快速度完成二次读取。

同样的，一直困扰着Spark等大数据框架的JVM垃圾回收与堆缓存问题亦可通过Alluxio得到切实解决。IBM公司早在Alluxio尚处于Tachyon时代时即给出过类似的结论，表示其能够将内存内HDFS的写入速度提升110倍，同时“将端到端现实工作流延迟削减至原本的四分之一”。

Alluxio还能够对其它解决方案做出补充; 举例来说，通过将Apache Arrow与适合现代CPU之应用程序格式相对接以显著提高数据处理速度。Arrow所需要的存储数据全部由Alluxio负责供应。

作为Tachyon的化身，Alluxio已经开始为多个大数据项目提供支持，而Spark则正是其中的典型代表。该公司计划进一步面向其它大数据项目及存储系统供应商构建更为全面的支持能力。

原文链接：Big data, but faster: API speeds links between apps and storage

【51CTO译稿，合作站点转载请注明原文译者和出处为51CTO.com】