揭秘 Ceph 对象存储底层对象分布

对象存储是公有云中常见的非结构化数据存储解决方案，常被作为网站、移动应用、图片、视频数据的主要存储方式，也是CDN回源及云上数据备份的不二选择。

对象存储采用无层次结构的数据存储方法。基于对象的存储不使用目录树，数据组织采用桶作为划分域，对象存储于桶中；各个单独的数据（对象）单元存在于存储池中的同一级别；每个对象都有唯一的识别名称，供应用进行检索。租户通过API管理云上数据。

目前对象存储已成为公有云服务商所具备的基本存储服务，亚马逊S3、阿里OSS、微软Bolb、华为OBS、金山KS3、腾讯COS。Ceph则是开源生态中至今为止软件定义存储中最成功的产品，其通过RGW组件对外提供对象存储服务，本文将探讨Ceph RGW中数据的分布原理。

Ceph数据存储原理

Ceph的对象存储接口是由RGW组件提供的。RGW为用户提供了一套兼容S3及Swift协议的API。用户通过RGW API完成上传、下载等数据相关操作。

在RGW提供了整体上传和分段上传两种文件上传方式。

每部分RGW上传的文件片段根据配置进行切块，形成若干个Object，Object逻辑归属于某个PG中，最终Object存储在PG映射的一组OSD磁盘上，Ceph最终存储的是对象（内容+属性），通过后端存储引擎Object Store(src/os/ObjectStore.cc) 封装了底层Rados对象操作。

无论是块存储、文件存储、还是对象存储存入Ceph的数据都以如下方式组织：

File：client读写的文件

object：是将File切块后的存储实体

oid：（object id） = ino（File的ID）+ono（切块序号）

mask：PG总数m(m为2的整数幂)-1

PG（Placement Group）：放置组（标识为 PGID）是一个逻辑的概念，一个PG存放多个对象，每个存储节点有上百个PG。

OSD（Object Storage Device）：对象存储设备，提供存储资源。

Ceph存储引擎ObjectStore

后端存储引擎由ObjectStore提供， ObjectStore API分主要为三部分：

（1）Object内容的读写操作 ；

（2）Object扩展属性的读写操作；

（3）Object关联的Omap的操作，Omap在概念上与扩展属性相似，但有不同的存储限制及存储方式，通常为KV数据库。

实现一套ObjectStore的接口即提供了一种存储引擎，目前常用存储引擎类型为FileStore和BlueStore。

其中使用最为广泛的CEPH后端存储引擎为FileStore。

（1）利用文件系统的POSIX接口实现Object的内容读写操作；

（2）利用文件系统的扩展属性功能实现Object的属性操作

（3）利用LevelDB、RocksDB等KV数据库实现Omap操作。

FileStore中每个Object会被看成是一个文件，Object的属性会利用文件的扩展属性存取，超出文件系统限制(filestore_max_xattr_value_size，xfs默认64KB)的扩展属性会存储在KV数据库中。

Ceph RGW对象存储模型

在RGW提供了整体上传和分段上传两种文件上传方式。

1、RGW对象整体上传

rgw_max_chunk_size：首部对象切片大小（默认1M）

rgw_obj_stripe_size：除首部对象外的其他切片大小(默认8M)

rgw_max_put_size：整体上传文件限制（默认512G）

整体上传的文件，将会切分为一个大小为rgw_max_chunk_size的首部Rados对象，及若干个大小为rgw_obj_stripe_size的中间Rados对象（最后一个对象可以小于rgw_obj_stripe_size）。其中，扩展属性存在于首部Rados对象的扩展属性中，包含了分片信息。

2、RGW对象分段上传

rgw_multipart_min_part_size：分段最小大小（默认1M）

rgw_multipart_part_upload_limit:最大分段数（默认10000）

分段上传，用户上传时自主对上传文件进行分段，除最后一个分段外必须大于rgw_multipart_min_part_size，每段文件独立上传，每段都可看作一个整体上传。上传完成后，会生成一个内容为空的首部Rados对象，用于存储RGW对象的属性信，其中包含分段及分片信息。

Ceph RGW对象存储实践

接下来我们就进入到Ceph中一探究竟。

首先搭建一个三副本的Ceph（Luminous版）集群，部署图如上图所示。

下面我们来查看RGW对象在Ceph中是如何存储的。

1、整体上传

整体上传file10MB.dat对象分布图如上所示。

（1）整体上传文件

（2）定位首部对象

（3）定位除首部对象外的其他分片对象

我们可以看到有很多扩展属性，介绍常见的几个:

"cephos.spill_out"：记录文件的扩展属性是否溢出到了Omap

“ceph._”：对象信息

“ceph._user.rgw.acl”：对象ACL

“ceph._user.rgw.manifest”：对象rgw相关信息，包含分片信息。

从上面实践结果可以看到，我们手动构建的文件MD5和原文件一致。

2、分段上传

分段上传file20MB.dat对象分布图如上图所示。

（1）分段上传文件

（2）定位首部对象

（3）定位除首部对象外的其他分片对象

从上面实践结果可以看到，我们手动构建的文件MD5和原文件一致。

至此，我们完成了全部实践，通过研究Ceph RGW及Rados存储原理，手动还原用户数据再对象存储中完整分布。

来源：平台人生，授权转载

• Ceph介绍及原理架构分享

  http://www.talkwithtrend.com/Article/24154

• PG状态详解

  http://www.talkwithtrend.com/Article/241547

欢迎关注社区 "分布式存储"技术主题 ，将会不断更新优质资料、文章。地址：

http://www.talkwithtrend.com/Topic/1431

*本公众号所发布内容仅代表作者观点，不代表社区立场