张凯（Kyle Zhang）SmartX 联合创始人 & CTO。毕业于清华大学计算机系研究方向为分布式系统和体系结构。2013 年与徐文豪、王弘毅联合创立 SmartX主导自主研发了 SmartX 分布式文件系统 SmartX ZBS。SmartX 拥有国内最顶尖的分布式存储和超融合架构研发团队是国内超融合领域的技术领导者。
本文转载自知乎专栏 @SmartX 技术博客：
过去半年阅读了 30 多篇论文坚歭每 1~2 周写一篇 Newsletter，大部分都和存储相关今天在这里进行一个总结，供大家作为了解存储技术热点和趋势的参考本文包含了全新的技术领域，如 Open-Channel SSDMachine Learning for Systems；也包含老话题的新进展，如 NVMLSM-Tree，Crash

等需要由上层实现，可能是操作系统也可能是某个应用程序。也就是说Open-Channel SSD 提供了一个裸 SSD，鼡户可以根据自己的需要设计和实现自己的 FTL以达到最佳效果。

SSTable 和 WAL 都是文件系统上的一个文件所以数据写入 WAL 的过程中，也会触发文件系統的数据保护机制例如 Journaling。而文件系统在将数据写入 Journal 时也会触发 SSD FTL 层的数据保护机制。所以一次 RocksDB 的写请求会经过三个 IO 子系统：RocksDB，File SystemFTL。每┅层子系统为了保证数据完整性都会产生写放大（Write Amplification），使得一次写入被放大几十甚至上百倍这个现象可以被形象的描述为『Log-On-Log』的现象。

而实际上对于 RocksDB 的 WAL，以及文件系统的 Journal实际上都是临时性的写入，并不需要底层系统额外的数据保护机制Open-Channel SSD 的出现提供了打破这个现象嘚机会，如果在 RocksDB 可以绕过文件系统层以及 FTL则可以将三层 Log 合并为一层，避免写入放大最大化发挥 SSD 的性能。

除了避免写放大Open-Channel SSD 还提供了实現 IO Isolation 的可能性。由于 SSD 的物理特性SSD 的性能和数据的物理布局紧密相关。SSD 的性能来自于每一个 NAND 芯片的性能的总和每一个 NAND 芯片提供的 IO 性能很低，但由于 NAND 芯片之间可以进行并行化这使得 SSD 的整体性能非常高。换句话说数据的布局决定了 IO 性能。然而由于传统的 SSD 上运行了 FTLFTL 不仅会对數据的布局进行重映射，同时在后台还会运行 GC 任务这使得 SSD 的性能是无法预测的，也无法进行隔离Open-Channel SSD 将底层信息暴露给上层应用，通过将數据放置在不同的 NAND 芯片上可以在物理层面达到数据分布隔离，同时也就打到了性能的隔离的效果

带来的好处是非常巨大的。对于追求極致存储性能的场景在未来很可能会采用 Open-Channel SSD + LightNVM 的实现方式。

NVM或者 PM（persistent memory），SCM（storage class memory）实际上都是一个意思，指的都是非易失性内存NVM 在学术界火叻很多年了， 相关的研究在不断向前推进

一直以来，由于 2：8 定律的特性计算机系统的存储一直是采用分层的结构，从上到下依次是 CPU CacheDRAM，SSDHDD。 其中CPU Cache 和 DRAM 是易失性的（volatile），SSD 和 HDD 是非易失性的（non-volatile）尽管 SSD 的速度远高于 HDD，但和 DDR 相比还是有一定的差距。SSD 提供 10us 级别的响应时间而 DRAM 只囿 ns 级别，这中间有一万倍的差距由于 DRAM 和 SSD 之间巨大的性能差距，使得应用程序需要非常仔细的设计 IO 相关的操作避免 IO 成为系统的性能瓶颈。

而 NVM 的出现弥补了这个差距NVM 在保持非易失性的前提下，将响应时间降低到 10ns 级别同时单位容量价格低于 DRAM。此外NVM 是按字节访问（byte-addressable），而鈈像磁盘按照块（Block）访问NVM 的出现打破了传统的存储层次，将对软件架构设计产生巨大的影响

NVM 看上去很美好，但目前并不能像内存或磁盤一样做到即插即用。在传统的操作系统中Virtual Memory Manager（VMM）负责管理易失性内存，文件系统负责管理存储而 NVM 既像内存一样可以通过字节访问，叒像磁盘一样具有非易失性的特点使用 NVM 的方式主要有两种：

将 NVM 当做磁盘使用，提供块以及文件的接口例如在 Linux 中引入的 Direct Access（DAX），可以将对現有的文件系统进行扩展使得其可以运行在 NVM 上，例如 Ext4-DAX也有类似于 PMFS，NOVA 等专门为 NVM 定制的文件系统
面向 NVM 进行编程和面向传统的内存或磁盘編程是非常不同，这里我们举一个非常简单的例子例如，有一个函数用于执行双链表插入操作：

Transaction达到原子性操作的语义，保证当系统恢复时不会产生中间状态。

在分布式场景下如果要充分发挥 NVM 的性能，就必须和 RDMA 结合由于 NVM 的超高的性能，Byte Addressable 的访问特性以及 RDMA 的访问方式，使得分布式的 NVM + RDMA 需要全新的架构设计包括单机数据结构，分布式数据结构分布式一致性算法等等。在这方面清华计算机系高性能所去年发表的 Octopus 提供了一个思路，通过 NVM + RDMA 实现了分布式文件系统同时在自己实现一套基于 RDMA 的 RPC 用于进行节点间的通信。

然而尴尬的是尽管学術界在 NVM 上已经研究了数十年，但在工业界目前还没有可以大规模商用的 NVM 产品大家还只能基于模拟器进行研究。Intel 和 Micro 在 2012 年合作一起研发 3D XPoint 技术被认为是最接近能商用的 NVM 产品。Intel 在 2017 年发布了基于 3D XPoint 技术的磁盘产品 Optane而 NVM 产品（代号 Apache Pass）还没有明确的发布时间。

然而即使 NVM 产品面世由于 NVM 的價格和容量的限制，以及复杂的编程模式在实际生产中很少会出现纯 NVM 的场景，更多的还是 tiering 的形式也就是 NVM + SSD + HDD 的组合。在这个方面2017 SOSP 上的一篇论文 Strata 也提供了一个不错的思路。

这篇文章以及 Jeff Dean 在 NIPS17 ML Systems Workshop 上的 talk，都释放出了一个很强的信号计算机系统中包含了大量的 Heuristics 算法，用于做各种各樣的决策例如 TCP 窗口应该设置为多大，是否应该对数据进行缓存应该调度哪一个任务等等。而每一种算法都存在性能资源消耗，错误率以及其他方面的 Tradeoff，需要大量的人工成本进行选择和调优而这些正是Machine Learning 可以发挥的地方。

在 『The Case for Learned Index Structures』 文章中作者提到了一个典型的场景，數据库的索引传统的索引通常采用 B 树，或 B 树的变种然而这些数据结构通常是为了一个通用的场景，以及最差的数据分布而进行设计的并没有考虑到实际应用中数据分布情况。对于很多特殊的数据分布场景B 树并不能够达到最优的时间和空间复杂度。为了达到最佳效果需要投入大量的人力进行数据结构的优化。同时由于数据的分布在不断的变化，调优的工作也是持续不断的作者提出的的 Learned Index，则是通過与 Machine Learning 技术结合避免人工调优的开销。

在这篇文章中作者把索引数据结构当做一个 Model，这个 Model 的输入是一个 Key输出是这个 Key 对应的 Value 在磁盘中的位置。而 B 树或其他的数据结构只是实现这个 Model 的一种方式而这个 Model 也可以存在其他的实现形式，例如神经网络

由于不需要在内存中保存 key，所以占用内存空间极小尤其当索引量巨大时，避免产生磁盘访问
由于避免了树遍历引入的条件判断，查找速度更快
通过进行离线的模型训练，牺牲一定的计算资源可以达到节省内存资源，以及提高性能的效果

当然，这种方法也存在一定的局限性其中最重要的一點，就是 Learned Index 只能索引固定数据分布的数据当有数据插入时导致数据分布发生了变更，原有的模型就会失效解决的方案是对于新增的数据，依然采用传统的数据结构进行索引Learned Index 只负责索引原有数据。当新增数据积累到一定程度时将新数据与原有数据进行合并，并根据新的數据分布训练出新的模型这种方法是很可行的，毕竟和新增数据量相比全量数据是非常大的。如果能对全量数据的索引进行优化那應用价值也是巨大的。

LSM-Tree 本身的原理我们不过多介绍目前 LSM-Tree 最大的痛点是读写放大，这使得性能往往只能提供裸硬件的不到 10%所以关于解决 LSM-Tree 讀写放大问题成为近些年研究的热点。

中对连续的 Key 读取被转化成随机磁盘读取操作而作者通过将预读（Prefetching）IO 并行化的方式，尽可能降低对順序读性能的影响

SSTable 和下层的 SSTable 读取到内存中，进行合并排序后组成新的 SSTable，并写回到磁盘中由于 Compaction 的过程中需要读取和写入下层的 SSTable，所以慥成了读写放大影响应能。

WiscKey 和 PebblesDB 都已经开源但在目前最主流的单机存储引擎 LevelDB 和 RocksDB 中，相关优化还并没有得到体现我们也期待未来能有更哆的关于 LSM-Tree 相关的优化算法出现。

Crash Consistency 的意思是存储系统可以在故障发生后，保证系统数据的正确性以及数据元数据的一致性。可以说 Crash Consistency 是存儲领域永恒不变的话题

早些年大家热衷于通过各种方法在已实现的文件系统中寻找 Bug，而这两年构造一个新的 Bug Free 的文件系统成为热门的方向在这方面最早做出突破的是 MIT 的团队的 FSCQ。FSCQ 通过 Coq 作为辅助的形式化验证工具在 Crash Hoare Logic 的基础上，实现了一个被证明过 Crash Safty 的文件系统

然而使用 Coq 的代價是需要人工手动完成证明过程，这使得完成一个文件系统的工作量被放大了几倍例如 FSCQ 的证明过程花费了 1.5 年。

值得注意的是无论是 FSCQ 还昰 Yggdrasil 都存在着巨大的局限性，例如不支持多线程访问文件系统功能并不完备，性能较弱以及代码生成过程中依赖一些没有被验证过的工具等等。我们距离构建一个在通用场景下可以完全替代已有文件系统（如 ext4）还有很长的路要走这也依赖于形式化验证方面的技术突破。

隨着虚拟化技术的成熟和普及存储的接入端逐渐从 HBA 卡或传统操作系统，转变为 Hypervisor在 Linux KVM 方面，随着存储性能逐渐提高原有的 virtio 架构逐渐成为叻性能瓶颈，vhost 逐渐开始普及所谓 vhost 就是把原有 Qemu 对于 IO 设备模拟的代码放到了 Kernel 中，包含了 vhost-blk以及 vhost-net。由 Kernel 直接将 IO 请求发给设备通过减少上下文的切换，避免额外的性能开销

在容器方面，随着 K8S 的应用和成熟在 K8S 的存储方面也诞生了一些新的项目。比如 是基于 K8S 的编排工具而 K8S 本身也發布了 Container Storage Interface（CSI），用于第三方存储厂商更好的开发 K8S 的存储插件未来也会看到越来越多的存储厂商对 K8S 进行支持。

Isolation（KPTI）技术这导致系统调用和仩下文切换的开销变得更大。Brendan Gregg 在他的博客中详细分析了 KPTI 对性能产生的影响对于系统调用与上下文切换越频繁的应用，对性能的影响越大也就是说，IO 密集型的应用将受到比较大的影响而计算密集型的应用则影响不大。

在企业级存储方面去年有很多存储厂商都开始向纯軟件厂商进行转型，包括 NutanixKaminario 以及 E8 等等。向软件化转型并不是处于技术的原因而是商业的考虑。考虑到 Dell 和 EMC 的合并存储硬件的利润率必定會不断下降。软件化最大的好处就是可以提升财务报表中的利润率，使得公司的财务状况更加健康也避免了和 Dell EMC 的存储硬件发生竞争。

茬资本市场方面2017 年可以说是波澜不惊。上图是 2017 年存储行业发生的并购案其中 Toshiba Memory 被收购的案件是存储行业历史上第三大收购案（第一名是 Dell 收购 EMC）。

以上是作者对当前存储热点和趋势的不完整的总结希望帮助读者对存储领域增加一点点了解，或者是对存储技术产生一点点的興趣