边缘计算：分布式存储的另一种可能

种赫的农民

边缘计算正在改变全球数百万台设备处理和交付数据的方式，物联网（IoT）的爆炸式增长，以及需要实时计算能力的新应用，推动边缘计算系统的快速发展。

什么是边缘计算？

边缘计算出现的时间并不长，市场上有许多人进行过概括，范围界定和阐述各有不同，OpenStack（是一个由NASA和Rackspace合作研发并发起的，以Apache许可证授权的自由软件和开放源代码项目）社区的定义概念：
“边缘计算是为应用开发者和服务提供商在网络的边缘侧提供云服务和IT环境服务；目标是在靠近数据输入或用户的地方提供计算、存储和网络带宽”。
通俗地说：边缘计算本质上是一种服务，就类似于云计算、大数据服务，但这种服务非常靠近用户。边缘计算着重要解决的问题，是传统云计算（或者说是中央计算）模式下存在的高延迟、网络不稳定和低带宽问题。由于资源条件的限制，云计算服务不可避免受到高延迟、和网络不稳定带来的影响，但是通过将部分或者全部处理程序迁移至靠近用户或数据收集点，边缘计算能够大大减少在云中心模式站点下给应用程序所带来的影响。
Gartner 将边缘计算定义为"分布式计算拓扑的一部分，其中信息处理位于边缘附近，即事物和人员生成或使用该信息的地方。



为什么需要边缘计算

1.数据存储需求移动设备增长
随着人均收入提升和移动设备价格回落，移动手机普及率迅速提升，从2000年平均每百人仅拥有6.7部手机上升至每百人平均103部手机花费了17年，2018年更达到112.2部/百人，较2017年提升9.2部。随着5G覆盖进程加快推进，屏下指纹、柔性OLED等多种新型技术的突破，有望进一步吸引消费者眼球，集中迎来新一轮的换机高峰期，预计移动设备的普及率有望继续提升。


网络建设加快
近年来，我国对基础信息网络的建设投入不断加大，有效地推动了移动高速网络的发展。从目前移动宽带发展的情况来看，3G/4G用户逐渐饱和，2018年新增1.74亿户，同比下降8.9%，渗透率达到83.4%，随着5G商用进程的推进，5G渗透率将会提升。2019年1-10月，移动互联网累计流量达999亿GB，同比增速降至83.6%；其中通过手机上网的流量达到995亿GB，占移动互联网总流量的99.6%，同比增速降至85.6%。10月当月户均移动互联网接入流量达到8.54GB。
5G 流量爆发
由于5G将支持0.1～1Gbps的用户体验速率，峰值速率达到数十Gbps，我们预计5G的普及有望进一步刺激用户流量消费的欲望，移动流量或迎来新的爆发期。以韩国为例，从韩国科学和信息通信技术部所公布的数据来看，韩国自2019年4月启动5G商用以来，5G用户的渗透率和5G用户每月人均使用流量（DOU）持续上升。从9月份的数据来看，韩国5G用户人均移动互联网接入流量约26GB,4G用户约为9GB，两种用户移动数据使用量有约3倍的差距。我国已经进入5G商用时代，截至2019年11月中旬，我国5G用户为82万户。随着5G覆盖范围不断扩大，用户量将会持续攀升，数据将迎来爆发。


高速带宽普及
近年来，我国持续推动宽带入家、提速降费等信息建设专项行动，目的在于迅速提升我国固定宽带的普及率。截至2019年10月底，三家基础电信企业的固定互联网宽带接入用户总数达4.52亿户，比上年末净增4469万户。其中，光纤接入（FTTH/O）用户4.16亿户，占固定互联网宽带接入用户总数的92%。宽带用户继续向高速率迁移,100Mbps及以上接入速率的固定互联网宽带接入用户达3.7亿户，占总用户数的81.8%，较上年末提高11.5个百分点。


物联网设备互通
随着  IoT 设备的指数级增长，这些设备连接到互联网，用于从云接收信息或将数据传递回云，更快的网络技术（如 5G  无线）使计算系统能够加速实时应用程序的创建或支持，例如视频处理和分析、自动驾驶汽车、人工智能和机器人等。在此过程中，许多 IoT  设备在操作过程中会生成海量的数据。

2.云计算的缺点
云计算的发展已经进行了很多年，但是其中面临的问题依旧存在。
安全性
自公共云出现以来，企业一直担心潜在的安全风险。雷锋网查询一家研究机构调查发现，90%的安全专家都在关注云计算的安全性。更具体地说，他们担心数据丢失和泄漏、数据隐私和违反机密性。   
云计算将身体可穿戴、医疗、工业制造等设备采集的隐私数据传输到数据中心的路径比较长，容易导致数据丢失或者信息泄露等风险；数据中心的高负载导致的高能耗也是数据中心管理规划的核心问题。


高费用  
如前所述，对于一些管理云计算的组织而言，费用高已经超越了安全性，成为云计算的首要挑战。2019年腾讯的存储成本约为200亿人民币，抖音为36亿。即使对于这类互联网巨头，每年的存储成本也是一笔不小的开销，对于中小型企业来说更是难受承受。
考虑到物联网设备数据的连接，虽然生成数据的单个设备很容易通过网络传输数据，但当同时传输数据的设备数量增加时，不仅质量会因延迟而受到影响，而且带宽成本也会非常高。
垄断性
在混合云调查中，超过80%的受访者表达了对此问题的高度关注。“超大规模IaaS提供商日益占据主导地位，为最终用户和其他市场参与者带来了巨大的机遇和挑战”，Gartner研究总监Sid   Nag表示。“虽然它可以提高效率和成本效益，但组织需要谨慎对待IaaS提供商可能对客户和市场产生不受控制的影响。为了响应多云采用趋势，组织将越来越多地要求一种更简单的方法来跨云迁移工作负载。”
传输性
据估计，到 2020 年，每人每天平均将产生 1.5GB 的数据。随着越来越多的设备连接到互联网并生成数据，以中心服务器为节点的云计算可能会遇到带宽瓶颈。


即时性
据统计，无人驾驶汽车每秒产生约 1GB 数据，波音 787 每秒产生的数据超过 5GB；2020 年我国数据储存量达到约 39ZB，其中约 30% 的数据来自于物联网设备的接入，海量数据的即时处理可能会使云计算力不从心。

3.边缘计算优点
相比传统云计算，边缘计算主要具有以下优势:
(1) 降低时延，分散带宽
边缘计算利用本地部署的优势，在边缘网络进行数据的处理和储存，分散化布局对网络带宽的要求更低，加之距离用户终端较近，因此时延得到有效缩短。在其基本级别上，边缘计算使计算和数据存储更接近于收集设备，而不是依赖于数千英里外的中心位置。这样做是使数据（尤其是实时数据）不会遭受可能影响应用程序性能的延迟问题。
(2) 位置感知，用户识别
当终端接入无线网络时，本地计算节点可以确定设备的地理位置，识别用户的网络需求，提供基于位置和用户的分析。


(3) 本地部署，资源应用
在本地进行部署的边缘计算平台相对独立，可以更加轻松地利用本地资源，发展本地服务和应用。边缘计算硬件和服务作为许多这些系统的本地处理和存储源，有助于解决此问题。例如，边缘网关可以处理来自边缘设备的数据，然后仅通过云发送相关数据，从而减少带宽需求。或者，它可以在实时应用程序需要的情况下将数据发送回边缘设备。
(4) 闲置设备，资源共享
边缘计算平台提供新的入口，支持多样化的异构软件设备，提高资源利用率，很多智能终端在非工作状态下处于闲置状态，边缘计算可以在无线网络中对其加以利用，实现物理资源共享。
(5) 分散布局，节省费用
此外，公司还可以通过本地处理来节省资金，从而减少需要在集中式或基于云的位置处理的数据量。


IDC  研究总监 Kuba Stolarski 在 “2019-2023  年全球边缘基础设施（计算和存储）预测"报告中指出：随着互连的增强，能够改进对更多核心应用程序的边缘访问，并借助新的 IoT  和特定于行业的业务用例，边缘基础架构将成为未来十年及以后服务器和存储市场的主要增长引擎之一。
正如许多新技术一样，解决一个问题可能创造另一个问题，边缘计算目前还面临一个主要问题，那就是数据的存储。
随着芯片技术的不断发展，各种大数据、AI算法的不断演进和5G的部署，边缘计算接入能力不断提高，但是存储的问题一直没做到很好的解决。边缘数据需要分流处理，在IOT生成的海量数据中，有些数据是需要被实时计算，有些数据需要分时计算，有些数据需要经常性被重新计算分析，还有些数据需要长时间留存。现有的物联网设备存储主要靠本地存储单元来保存数据，在存储能力有限，存储扩展比较困难。虽然提出了不少企业级的存储方案，但这些方案也存在许多问题，比如各家标准不统一，基于不同的硬件方案有不同的接口方案，不同的服务商之间无法进行数据的链接和处理，使大量数据存在互相隔离的“容器”中，无法有效的在不同存储提供商之间扩容。



边缘计算与分布式存储

针对边缘计算的存储问题，需要一个新的分布式存储协议来重构边缘存储方案，将不同存储业务的垂直扩展变成水平扩展，打破业务边界，使边缘存储对外提供统一服务的存储层。关于分布式存储的内容，这里小编就不做赘述了，感兴趣的朋友可以翻看之前的文章。


1.技术层面
1.1 标准的存储服务接口
在分布式存储协议中，将存储服务的加入，退出，确权，存储，分发，检索，支付等抽象接口转成为标准协议，这些标准不基于特定的语言，算法和网络协议来组织业务，只要符合统一接口的实现，并且基于服务方共识的业务治理逻辑。
1.2 统一的数据通信协议
在存储服务层，以端对端的服务为核心，在网络协议上层提供可组合的序列化/反序列化方法，加密算法，握手机制，数据摘要算法等，使运行不同操作系统的设备在网络层能够互相识别，完成数据交互服务。
1.3完整的内容确权机制
命名机制对于边缘计算的数据寻址，确权和交换非常重要，但是在现有的边缘计算中还没有特别有效的处理方法。如今大量依托不同的通信技术，比如蓝牙，wifi，5G，NFC等的设备接入互联网，传统的以IP地址为核心的寻址方式已不能满足异构网络之间的数据交换。分布式存储协议提供了一种完整的解决方案，这个方案基于对数据内容的确权，是基于内容进行寻址的方式，直接指向资源，并确保这些数据来自最近的数据源。
1.4加密的编程权限控制
通过分布式存储，用户可以控制自己数据，以加密的形式进行存储。对于不同的应用，设置可编程的权限控制信息，该信息可以做到整个网络的业务治理逻辑同步。
1.5备用的节点数据设备
处理功率、电力和网络连接的不同设备要求可能会影响边缘设备的可靠性，这使得冗余和故障转移管理对于在边缘处理数据的设备至关重要，分布式存储可以确保在单个节点出现故障时备用节点正确交付和处理数据。



2.商业层面
1）激励体系
边缘计算需要更多的设备下沉到端，通过区块链上通证体系的激励，可以调动现有社会上存量资源加入边缘计算中，基于边缘技术本身分布式和通证激励体系可以有效地调动闲置的带宽和计算资源。
2）快速组网
由于可信激励的存在，可以快速调动现有闲置资源，基于区块链的边缘计算比传统建设周期更短，更容易形成组织网络，解决了资源的有效配置问题。
3）社区自治
持有边缘计算项目通证的矿工、节点和其他相关第三方在链上激励下很容易形成具有价值共识的社区，自治社区会为边缘计算项目的推广和宣传提供很大的帮助。同时，社区也可以逐步孵化出与现有边缘技术相关的新项目。


物联网时代，更多的终端或传感器接入物联网，节点规模远远大于互联网，每个物联网节点都会产生大量的实时数据，这意味着云服务商要在边缘端布局计算，投入规模和时间周期都是巨大的挑战。国外有微软、亚马逊、谷歌，国内有阿里、华为还有百度都在积极部署边缘计算。这些公司边缘计算技术路线虽然各不相同，但总体遵循一个规律：把边缘计算和云计算紧密结合，充分发挥边缘的低延迟，安全等特性同时，结合云计算的大数据分析能力。