分布式对象存储（Object Storage）

可茗

一、块存储、文件存储、对象存储简介

• 文件存储：分层次存储，文件存储在文件夹中；访问文件时系统需要知道文件所在的路径。操作对象是文件和文件夹。存储协议是NFS、SAMBA（SMB）、POSIX等。比如：企业部门之间运用网络存储器（NAS）进行文件共享。
  
• 块存储：将数据拆分成块，并单独存储各个块，块是一段标准长度（块大小）的字节或比特。操作对象是磁盘。储协议是SCSI、iSCSI、FC。以 SCSI 为例，主要接口命令有 Read/Write/等等。很少会有应用直接基于块存储，更多的是 mount 到虚拟机或物理机上，然后供应用软件需要的存储系统使用。
  
• 对象存储：扁平结构，数据会被分解为称为“对象”的离散单元，并保持在单个存储空间中；通过API接口供客户端使用。比如：AWS S3, 阿里云OSS。
  

简介



块存储设备映射

二、对象存储

2.1、简介

对象存储，顾名思义，就是在云端，可以存放任意对象的存储服务。 这里的“对象”指的是任意的二进制对象，保存到云上通常是以二进制文件的形式。
AWS 著名的对象存储服务 S3（Simple Storage Service）发布于2006年。
对象存储，本质是一个网络化的服务，调用方通过高层的 API 和 SDK 来和它进行交互。不管是面向外部公开互联网服务，还是和内部应用程序对接，对象存储都是通过提供像 HTTP 这样的网络接口来实现的。 http post/ get  put。
对象存储内本身不存在一个真正的文件系统，而是接近一个键值（Key-Value）形式的存储服务。
对象存储的具有巨大容量的存储能力，并能不断水平扩展。对象存储能够轻松地容纳上 PB 的超大容量数据。
对象存储目录没有树状目录。
更多对象存储相关的应用场景参考华为云：华为云对象存储OBS产品。
对于有存储需求的项目，可以优先考虑云存储方案，其次才考虑自己搭建存储方案。可以减少成本，和降低程序bug造成的数据丢失风险；而且云存储支持CDN，可以加快访问速度。
2.2、对象存储中的数据组成

对象存储呈现出来的是一个“桶”（bucket），你可以往“桶”里面放“对象（Object）”。这个对象包括三个部分：Key、Data、Metadata 。


（1）Key：
可以理解文件名，是该对象的全局唯一标识符（UID）。Key是用于检索对象，服务器和用户不需要知道数据的物理地址，也能通过它找到对象。这种方法极大地简化了数据存储。地址范例：


看上去就是一个URL网址。如果该对象被设置为“公开”，所有互联网用户都可以通过这个地址访问它。
（2）Data：也就是用户数据本体。
（3）Metadata：Metadata叫做元数据，它是对象存储一个非常独特的概念。元数据有点类似数据的标签，标签的条目类型和数量是没有限制的，可以是对象的各种描述信息。


桶（Bucket）是OBS中存储对象的容器。对象存储提供了基于桶和对象的扁平化存储方式，桶中的所有对象都处于同一逻辑层，去除了文件系统中的多层级树形目录结构。
每个桶都有自己的存储类别、访问权限、所属区域等属性，用户可以在不同区域创建不同存储类别和访问权限的桶，并配置更多高级属性来满足不同场景的存储诉求。



OBS

2.3、key/Data/Metadata举例

举个例子，如果对象是一张人物照片，那么元数据可以是姓名、性别、国籍、年龄、拍摄地点、拍摄时间等。


2.4、对象存储的架构

分为3个主要部分：

• OSD，对象存储设备。这是对象存储的核心，具有自己的CPU、内存、网络和磁盘系统。它的主要功能当然是存储数据。同时，它还会利用自己的算力，优化数据分布，并且支持数据预读取，提升磁盘性能。
  
• MDS，元数据服务器。它控制Client和OSD的交互，还会管理着限额控制、目录和文件的创建与删除，以及访问控制权限。
  
• Client，客户端。提供文件系统接口，方便外部访问。
  

2.5、对象存储的优点

对象存储的优点很多，简单归纳如下：
（1）容量无限大：

• 对象存储的容量可以是EB级以上。EB有多大？大家的硬盘普遍是TB级别。1EB约等于1TB的一百万倍。
  
• 集群可以水平扩容
  

（2）数据安全可靠：

• 对象存储采用了分布式架构，对数据进行多设备冗余存储（至少三个以上节点），实现异地容灾和资源隔离。
  
• 根据云服务商的承诺，数据可靠性至少可以达到99.999999999%（11个9）(强一致性)。
  

2.6、对象存储的应用场景

目前国内有大量的云服务提供商，他们把对象存储当作云存储在卖。通常会把存储业务分为3个等级，即标准型、低频型、归档型。对应的应用场景如下：
标准类型：移动应用 、 大型网站、 图片分享、热点音视频 。
低频访问类型：移动设备、 应用与企业数据备份、监控数据、 网盘应用。
归档类型：各种长期保存的档案数据 、医疗影像、影视素材。
总结






后言

本专栏知识点是通过<零声教育>的系统学习，进行梳理总结写下文章，对c/c++linux系统提升感兴趣的读者，可以点击链接查看详细的服务：C/C++服务器开发。