Memory Machine™
企业级大内存软件
● 用虚拟化技术构建企业级数据服务的平台 – Memory Machine通过对传统DRAM和持久性内存(PMEM)的虚拟化,来实现内存中数据的访问,分层,扩展和数据保护。
● 兼容现有的应用程序 – Memory Machine 支持应用程序以直接访问DRAM的方式,来访问PMEM,而无需对应用程序进行更改。
● 对PMEM和DRAM 进行数据分层, 以实现最佳性能 – Memory Machine 支持创建基于 DRAM 的“性能层“和基于PMEM 的“数据持久化层”,来实现数据分层处理.
● 低延时内存远程复制 – 对于类似Pub/Sub这样的应用 Memory Machine 使用RDMA 网络将大量消息以超低延时的性能进行数据拷贝。
● 采用ZeroIO 内存快照技术,实现百GB级数据的秒级恢复 –为了保护内存数据激增的区域,Memory Machine提供内存快照和快照远程复制功能,实现数据或应用在无IO情况下的迅速恢复。
● 秒级数据库克隆 – 内存快照技术可用于开发人员和其他应用程序克隆 TB 级的数据库实例,且共享现有内存空间。
软件定义内存的关键功能
DRAM 一样的性能
Memory Machine的突破在于使一个由DRAM 和英特尔傲腾持久组成的虚拟内存池能够达到 DRAM一样快的速度。“DRAM 一样的性能”这个功能使IT团队可以调整分配给单个应用程序或多个应用程序 DRAM 和 持久内存的数量。IT团队现在可以在保持 DRAM 性能的同时,享受到持久内存带来的较低成本、更高的容量和持久性。
服务质量控制 (QoS)
当多个应用程序共享内存时,非关键“喧闹邻居”可能会中断关键业务应用程序的性能。Memory Machine QoS 功能允许服务器管理员隔离应用程序,并优先访问这些业务关键型应用程序。
ZeroIO™ 内存快照
Memory Machine采用世界上第一个内存快照技术。将数据从 DRAM 快照到持久内存的能力将易失性低可用的内存层转换为高可用内存层。从存储中进行传统快照和大型内存数据集的恢复会造成系统中断,因为它们需要几分钟到几小时的时间。大型数据集的内存快照是无中断的,因为它们只占用一秒左右的时间。IT团队现在可以通过部署高频快照和将宕机恢复时间缩短到秒级来实现高可用性。Memory Machine ZeroIO快照也是以下 4 个数据服务的基础。
时间机器
此内存服务保留前 24 小时的每小时快照,保留前一个月的每日快照以及之前所有月份的每周快照,直到时间机器目标已满。
自动保存
Memory Machine 可以配置以预定的时间间隔自动拍摄快照。时间间隔越短,恢复所需时间越短。
应用程序迁移
ZeroIO 快照技术还可用于通过在另一台服务器上创建应用的新实例来迁移应用。
轻克隆
内存数据库的克隆经常被创建,因此 DevOps 或其他应用程序可以访问数据库。这个过程可能很复杂,很长,需要额外的内存。Memory Machine轻克隆服务使用 ZeroIO 快照技术可在几秒钟内创建 1 TB 内存数据库的另一个应用实例,并且没有额外的物理内存。
根据 IDC 的统计,2015 年,实时数据的占比不到 5%,预计到 2024 年,将达到所有数据的近 30%的比例。
IDC预测,到2021年,全球2000强企业中,60-70%的企业将至少有一个关键应用是实时工作负载。数据的大爆炸正在推动实时分析及AI/ML 应用程序向主流的扩展。另一个结果是导致实时应用程序超越了现有内存基础架构的容量、性能和可用性。
MemVerge 针对当前内存计算的需求,研发了Memory Machine软件产品,这是全球第一个大内存软件。它可以将 DRAM 和PMEM进行虚拟化,实现无需更改代码即可访问新的PMEM内存介质,支持可横向扩展的内存节点集群,以提供实时分析和 AI/ML 应用程序所需的大规模内存容量,以及内存系统的企业级数据服务和数据高可用性。
Memory Machine 标准版 : 使用持久内存来扩展内存的最佳方法
对于需要解决随着内存占用量不断增加而成本也不断增加的企业来说,Memory Machine标准版为应用程序提供对持久内存的兼容访问。Memory Machine还能为低成本的持久内存强化性能,让它能像 DRAM 一样运行。IT 团队现在无需修改多种应用程序,只要通过一个Memory Machine的虚拟化层就可以高效地跨数据中心来部署大内存。
Memory Machine 升级版: 企业级的内存数据服务
Memory Machine升级版包括了Memory Machine标准版的所有功能,同时增加了业内第一个企业级数据服务,通过数据服务,可以实现对高可用内存的持久地兼容访问。
IT 团队在磁盘和全闪存存储方面依赖企业级数据服务,尤其是支持宕机恢复的快照和复制功能。Memory Machine获得专利的 ZeroIO™内存快照技术消除了到存储端的IO过程,能够在几秒钟内从 PMEM 中快照并恢复多个TB的数据,而不是花费数分钟到几小时从存储中恢复。
软件定义内存架构
Memory Machine 是一款基于 Linux 的以订阅方式提供服务的软件,可部署在单个服务器或服务器集群中。虚拟化 DRAM 和持久内存后,Memory Machine虚拟机管理程序可以通过服务质量控制(QoS)来保证特定应用程序的性能,将 DRAM 设置为持久内存的“快速”层并提供基于 ZeroIO™ 内存快照的企业级内存数据服务。
Memory Machine可以根据每个应用程序的特定需求进行定制配置以实现3 个主要功能。此外,还有 4 个基于 ZeroIO 快照的企业级数据服务:时间机器、自动保存、轻克隆和应用程序迁移。
企业级的内存数据服务
支持的应用程序
KX |
kdb+ |
时序内存数据库 |
Autodesk |
Maya |
3D 动画和渲染 |
Apache Software Foundation |
Spark |
集群计算框架 |
Redis Labs |
Redis |
内存KV键值数据库 |
Apache Software Foundation |
TensorFlow |
机器学习框架 |
Open Source |
PyTorch |
机器学习框架 |
Apache Software Foundation |
Flink |
实时数据流处理框架 |
Apache Software Foundation |
XGBoost |
梯度提升框架 |
Hazelcast |
Hazelcast |
内存数据网格 |
Apache Software Foundation |
Cassandra |
基于Wide column store的 NoSQL 数据库 |
Apache Software Foundation |
RocksDB |
持久化的KV键值数据库 |
Apache Software Foundation |
HBase |
非关系型分布式数据库 |
GNU |
MySQL |
关系型数据库管理系统 |
BSD |
MemcacheD |
内存KV键值数据库 |
Linux Kernel Community |
KVM |
虚拟机管理 |
MongoDB, Inc. |
MongoDB |
NoSQL 数据库 |
支持的环境
硬件 |
第二代 Intel® Xeon® 可扩展处理器,Cascade Lake 主板, Optane 数据中心持久内存 |
操作系统 |
CentOS 版本 8.1, 8.0 ( kernel 版本 4.18 或 4.20), 7.6, 7.5, 或 7.4, RHEL 版本 8.1, 8.0, 7.6, 7.5, 或 7.4 |
虚拟机管理程序 |
Linux KVM, VMware ESXi 运行在上述硬件环境 (vSphere 6.7, 7.0) |
容器 |
Docker, OpenShift, and Kubernetes |
应对实时数据应用的爆炸性增长
关键功能和价值