更多公众号：SanDunIT移动改变生活，技术影响未来；我的三墩，我的IT。最新文章相关推荐搜狗：感谢您阅读开源分布式内存数据库技术研究，本文可能来自网络，如果侵犯了您的相关权益，请联系管理员。QQ:决战大数据 主流内存数据库体验式评测 - IT168
在2012中国系统架构师大会上，笔者曾做过一份有关大数据的调查，其中一项“在众多的技术趋势中，您所关注的数据管理的新技术是什么?”的调查结果中，“内存数据库”成为仅次于“分布式存储与计算”的最受关注的新技术。内存数据库之所以受到越来越多的关注，与其性能上的飞跃和性价比的不断提升有着密不可分的关系。
内存数据库，顾名思义就是将数据放在内存中直接操作的数据库。相对于磁盘，内存的数据读写速度要高出几个数量级，将数据保存在内存中相比从磁盘上访问能够极大地提高应用的性能。同时，内存数据库抛弃了磁盘数据管理的传统方式，基于全部数据都在内存中重新设计 ……
TimesTen是Oracle公司的数据库产品，其全称为Oracle TimesTen In-Memory Database。TimesTen是一个内存优化的关系数据库(即内存数据库)，它为应用程序提供了即时的响应性和非常高的吞吐量。 Oracle TimesTen In-Memory Database 可以作为单独的数据库使用，也可以作为高速缓存或嵌入式数据库被部署在应用程序层中，它利用标准的SQL接口对完全位于物理内存中的数据存储区进行操作。
TimesTen起源于Hewlett Packard。1992年，由HP的一个研发小组开发了最早的核心技术，即TimesTen的实时事件处理系统，目的是为了嵌入到HP的电信系统中。 1996年TimesTen从HP剥离出来成为独立的公司
IBM SolidDB是一款数据管理平台，该平台将基于内存和磁盘的全事务处理数据库引擎、载体级高，可用性及强大的数据复制功能紧密地融为一体。
SolidDB集基于内存和磁盘的多线程数据库引擎于一身，以提高事务处理速度并在同一数据库内最有效地利用系统资源。SolidDB管理平台的设计可以无缝融合到需要高速、灵活以及需要不间断访问的数据管理技术解决方案中。用户既可以把表建在内存内，也可以象普通数据库一样建在磁盘上，使用非常灵活，而且具备完善的数据保护机制。SolidDB是一个具备完整功能的关系型数据库，完全支持SQL规范以及ODBC/JDBC。
eXtremeDB是一款高速内存实时数据库系统，该数据库用于各种需要高性能、小尺寸、紧密存储、零内存分配或几种属性兼有的应用领域。eXtremeDB内存实时数据库以其高性能、低开销、稳定可靠的实时数据管理能力在实时数据管理领域和嵌入式数据管理领域及服务器有着广泛的应用。
eXtremeDB能为各种平台、操纵系统下各类应用程序提供高性能和可靠性。这些应用程序不同于工资单或库存等普通数据库商业应用程序。这些程序的业务逻辑对性能要求非常高。简单查询和事务不超过几毫秒，并且需要存储的数据可能是复杂的，实际上它差不多总是动态变化的。
Altibase是由韩国公司开发的一款内存数据库产品，目前由天津南大通用在国内负责市场推广工作。
为了高效管理大容量数据库，Altibase被设计成高效使用每一层内存。在数据库系统软件中，内存分配( malloc )和复制( memset )大大的影响了系统的性能。Altibase内存管理模块的设计和实现机制是使用自己的内存池管理内存。Altibase的存储管理层(Storage Management Layer)管理内存中优化过的数据页，通过最大化各数据页之间的关系高效的存储和管理数据库。Altibase的查询处理层(Query Processing Layer) 在处理查询时高效管理内存空间，尽量减少由于不必要的内存分配和释放导致的性能下降 。
SQLite是一款轻型的数据库，它占用资源非常的低，同时能够跟很多程序语言相结合，但是支持的SQL语句不会逊色于其他开源数据库。它的设计目标是嵌入式的，而且目前已经在很多嵌入式产品中使用了它，它占用资源非常的低，在嵌入式设备中，可能只需要几百K的内存就够了。它能够支持Windows/Linux/Unix等等主流的操作系统，同时能够跟很多程序语言相结合，比如Tcl、PHP、Java 等，还有ODBC接口，同样比起Mysql、PostgreSQL这两款开源世界著名的数据库管理系统来讲，它的处理速度比他们都快。
SQLite虽然很小巧，但是支持的SQL语句不会逊色于其他开源数据库，它支持的SQL包括 ……
Redis是一款开源的、高性能的键-值存储(key-value store)。它常被称作是一款数据结构服务器(data structure server)。Redis的键值可以包括字符串(strings)、哈希(hashes)、列表(lists)、集合(sets)和 有序集合(sorted sets)等数据类型。 对于这些数据类型，你可以执行原子操作。例如：对字符串进行附加操作(append);递增哈希中的值;向列表中增加元素;计算集合的交集、并集与差集等。
为了获得优异的性能，Redis采用了内存中(in-memory)数据集(dataset)的方式。根据使用场景的不同，你可以每隔一段时间将数据集转存到磁盘上来持久化数据，或者在日志尾部追加每一条操作命令。
你能想象到十几毫秒能给工作和生活带来哪些变化吗?著名的金融中心华尔街位于美国的东海岸，相比之下，西海岸接收到的股票交易信息会延迟十几毫秒。然而正是这10-20毫秒的交易时间差，足以“操控”金融市场，因此金融市场也被称为“毫秒级战争”。同样的，在现代企业中也需要实时数据做决策支持，否则就会失去稍纵即逝的商机。
为此，SAP公司近期发布了与Sybase全面整合后的实时数据管理平台，主要由SAP HANA平台、Sybase数据管理产品和SAP企业信息管理(EIM)解决方案组成，涵盖SAP Sybase IQ、SAP Sybase ESP、SAP Sybase ASE和SAP Enterprise Information Management等数据管理功能，以满足企业对实时数据管理的迫切需求。
@微博平台架构
内存计算时代来临？在Gartner推出的2013年10大战略性技术中，其中一项即是"In Memory Computing"。在本周，微软宣布，将在下一个SQL Server版本中实现内存技术，将允许从内存中运行整个数据库。微软预计，使用内存技术，可以使事务运行速度比标准的SQL Server快50倍。
@炎黄盈动官方微博
【专家视点】2012年7月底，Gartner第一次编制了大数据（Big Data）的HypeCycle。可以看到，目前整个Big Data都处于上升期（起步期），人们对之的整体期望都很高。对于大数据分析而言，NoSQL、CEP、内存数据库、内存分析都是人们的话题。
@GBase数据库
运营商逐步采用内存数据库 提高并发处理能力——运营商的转型，给业界带来新的机会。目前计费系统中采用内存管理模块和内存数据库两种解决方案，而内存数据库具有事务并发处理能力和处理效率的特点，可以更好地保证系统的安全性和稳定性，越来越多地被运营商采用。
@众意网商务智能
SAP HANA等以内存计算为主的数据库对多维数据库的冲击到底有多大?首先多维数据库的发展非常成熟，包括体系结构，查询语言，聚集策略，市场定位等，历经数十年的发展。再者HANA都必须支持MDX的多维查询语言，足见多维的生命力，最后包括微软等厂商都在发力内存计算，并兼容多维，由此断言多维分析永生！
@SAP卢东明
Data Platform Statement of Direction)，进一步说明了实时数据平台的发展方向，以及SAP HANA，SAP Sybase ASE， SAP Sybase IQ等战略性产品的发展方向，总的来说，SAP会持续平衡发展旗下的各数据库产品，以整体发展。苹果/安卓/wp
积分 48992, 距离下一级还需 6903 积分
权限: 自定义头衔, 签名中使用图片, 隐身, 设置帖子权限, 设置回复可见, 签名中使用代码
道具: 彩虹炫, 涂鸦板, 雷达卡, 热点灯, 金钱卡, 显身卡, 匿名卡, 抢沙发, 提升卡, 沉默卡, 千斤顶, 变色卡, 置顶卡
购买后可立即获得
权限: 隐身
道具: 金钱卡, 彩虹炫, 雷达卡, 热点灯, 涂鸦板
TA的文库&&
十大开源技术
Apache HBase.这个大数据管理平台建立在谷歌强大的BigTable管理引擎基础上。作为具有开源、Java编码、分布式多个优势的数据库，Hbase最初被设计应用于Hadoop平台，而这一强大的数据管理工具，也被Facebook采用，用于管理消息平台的庞大数据。Apache Storm. 用于处理高速、大型数据流的分布式实时计算系统。Storm为Apache Hadoop添加了可靠的实时数据处理功能，同时还增加了低延迟的仪表板、安全警报，改进了原有的操作方式，帮助企业更有效率地捕获商业机会、发展新业务。Apache Spark 该技术采用内存计算，从多迭代批量处理出发，允许将数据载入内存做反复查询，此外还融合数据仓库、流处理和图计算等多种计算范式，Spark用Scala语言实现，构建在HDFS上，能与Hadoop很好的结合，而且运行速度比MapReduce快100倍。Apache Hadoop 该技术迅速成为了大数据管理标准之一。当它被用来管理大型数据集时，对于复杂的分布式应用，Hadoop体现出了非常好的性能，平台的灵活性使它可以运行在商用硬件系统，它还可以轻松地集成结构化、半结构化和甚至非结构化数据集。Apache Drill 你有多大的数据集？其实无论你有多大的数据集，Drill都能轻松应对。通过支持HBase、Cassandra和MongoDB，Drill建立了交互式分析平台，允许大规模数据吞吐，而且能很快得出结果。Apache Sqoop 也许你的数据现在还被锁定于旧系统中，Sqoop可以帮你解决这个问题。这一平台采用并发连接，可以将数据从关系数据库系统方便地转移到Hadoop中，可以自定义数据类型以及元数据传播的映射。事实上，你还可以将数据（如新的数据）导入到HDFS、Hive和Hbase中。Apache Giraph 这是功能强大的图形处理平台，具有很好可扩展性和可用性。该技术已经被Facebook采用，Giraph可以运行在Hadoop环境中，可以将它直接部署到现有的Hadoop系统中。通过这种方式，你可以得到强大的分布式作图能力，同时还能利用上现有的大数据处理引擎。Cloudera Impala Impala模型也可以部署在你现有的Hadoop群集上，监视所有的查询。该技术和MapReduce一样，具有强大的批处理能力，而且Impala对于实时的SQL查询也有很好的效果，通过高效的SQL查询，你可以很快的了解到大数据平台上的数据。Gephi 它可以用来对信息进行关联和量化处理，通过为数据创建功能强大的可视化效果，你可以从数据中得到不一样的洞察力。Gephi已经支持多个图表类型，而且可以在具有上百万个节点的大型网络上运行。Gephi具有活跃的用户社区，Gephi还提供了大量的插件，可以和现有系统完美的集成到一起，它还可以对复杂的IT连接、分布式系统中各个节点、数据流等信息进行可视化分析。MongoDB 这个坚实的平台一直被很多组织推崇，它在大数据管理上有极好的性能。MongoDB最初是由DoubleClick公司的员工创建，现在该技术已经被广泛的应用于大数据管理。MongoDB是一个应用开源技术开发的NoSQL数据库，可以用于在JSON这样的平台上存储和处理数据。目前，纽约时报、Craigslist以及众多企业都采用了MongoDB，帮助他们管理大型数据集。（Couchbase服务器也作为一个参考）。
十大顶尖公司
Amazon Web Services Forrester将AWS称为“云霸主”，谈到云计算领域的大数据，那就不得不提到亚马逊。该公司的Hadoop产品被称为EMR（Elastic Map Reduce），AWS解释这款产品采用了Hadoop技术来提供大数据管理服务，但它不是纯开源Hadoop，经过修改后现在被专门用在AWS云上。Forrester称EMR有很好的市场前景。很多公司基于EMR为客户提供服务，有一些公司将EMR应用于数据查询、建模、集成和管理。而且AWS还在创新，Forrester称未来EMR可以基于工作量的需要自动缩放调整大小。亚马逊计划为其产品和服务提供更强大的EMR支持，包括它的RedShift数据仓库、新公布的Kenesis实时处理引擎以及计划中的NoSQL数据库和商业智能工具。不过AWS还没有自己的Hadoop发行版。Cloudera Cloudera有开源Hadoop的发行版，这个发行版采用了Apache Hadoop开源项目的很多技术，不过基于这些技术的发行版也有很大的进步。Cloudera为它的Hadoop发行版开发了很多功能，包括Cloudera管理器，用于管理和监控，以及名为Impala的SQL引擎等。Cloudera的Hadoop发行版基于开源Hadoop，但也不是纯开源的产品。当Cloudera的客户需要Hadoop不具备的某些功能时，Cloudera的工程师们就会实现这些功能，或者找一个拥有这项技术的合作伙伴。Forrester表示：“Cloudera的创新方法忠于核心Hadoop，但因为其可实现快速创新并积极满足客户需求，这一点使它不同于其他那些供应商。”目前，Cloudera的平台已经拥有200多个付费客户，一些客户在Cloudera的技术支持下已经可以跨1000多个节点实现对PB级数据的有效管理。Hortonworks 和Cloudera一样，Hortonworks是一个纯粹的Hadoop技术公司。与Cloudera不同的是，Hortonworks坚信开源Hadoop比任何其他供应商的Hadoop发行版都要强大。Hortonworks的目标是建立Hadoop生态圈和Hadoop用户社区，推进开源项目的发展。Hortonworks平台和开源Hadoop联系紧密，公司管理人员表示这会给用户带来好处，因为它可以防止被供应商套牢（如果Hortonworks的客户想要离开这个平台，他们可以轻松转向其他开源平台）。这并不是说Hortonworks完全依赖开源Hadoop技术，而是因为该公司将其所有开发的成果回报给了开源社区，比如Ambari，这个工具就是由Hortonworks开发而成，用来填充集群管理项目漏洞。Hortonworks的方案已经得到了Teradata、Microsoft、Red Hat和SAP这些供应商的支持。IBM 当企业考虑一些大的IT项目时，很多人首先会想到IBM。IBM是Hadoop项目的主要参与者之一，Forrester称IBM已有100多个Hadoop部署，它的很多客户都有PB级的数据。IBM在网格计算、全球数据中心和企业大数据项目实施等众多领域有着丰富的经验。“IBM计划继续整合SPSS分析、高性能计算、BI工具、数据管理和建模、应对高性能计算的工作负载管理等众多技术。”Intel和AWS类似，英特尔不断改进和优化Hadoop使其运行在自己的硬件上，具体来说，就是让Hadoop运行在其至强芯片上，帮助用户打破Hadoop系统的一些限制，使软件和硬件结合的更好，英特尔的Hadoop发行版在上述方面做得比较好。Forrester指出英特尔在最近才推出这个产品，所以公司在未来还有很多改进的可能，英特尔和微软都被认为是Hadoop市场上的潜力股。MapR TechnologiesMapR的Hadoop发行版目前为止也许是最好的了，不过很多人可能都没有听说过。Forrester对Hadoop用户的调查显示，MapR的评级最高，其发行版在架构和数据处理能力上都获得了最高分。MapR已将一套特殊功能融入其Hadoop发行版中。例如网络文件系统（NFS）、灾难恢复以及高可用性功能。Forrester说MapR在Hadoop市场上没有Cloudera和Hortonworks那样的知名度，MapR要成为一个真正的大企业，还需要加强伙伴关系和市场营销。Microsoft微软在开源软件问题上一直很低调，但在大数据形势下，它不得不考虑让Windows也兼容Hadoop，它还积极投入到开源项目中，以更广泛地推动Hadoop生态圈的发展。我们可以在微软的公共云Windows Azure HDInsight产品中看到其成果。微软的Hadoop服务基于Hortonworks的发行版，而且是为Azure量身定制的。微软也有一些其他的项目，包括名为Polybase的项目，让Hadoop查询实现了SQLServer查询的一些功能。Forrester说：“微软在数据库、数据仓库、云、OLAP、BI、电子表格（包括PowerPivot）、协作和开发工具市场上有很大优势，而且微软拥有庞大的用户群，但要在Hadoop这个领域成为行业领导者还有很远的路要走。”Pivotal Software EMC和Vmware部分大数据业务分拆组合产生了Pivotal。Pivotal一直努力构建一个性能优越的Hadoop发行版，为此，Pivotal在开源Hadoop的基础上又添加了一些新的工具，包括一个名为HAWQ的SQL引擎以及一个专门解决大数据问题的Hadoop应用。Forrester称Pivotal Hadoop平台的优势在于它整合了Pivotal、EMC、Vmware的众多技术，Pivotal的真正优势实际上等于EMC和Vmware两大公司为其撑腰。到目前为止，Pivotal的用户还不到100个，而且大多是中小型客户。Teradata对于Teradata来说，Hadoop既是一种威胁也是一种机遇。数据管理，特别是关于SQL和关系数据库这一领域是Teradata的专长。所以像Hadoop这样的NoSQL平台崛起可能会威胁到Teradata。相反，Teradata接受了Hadoop，通过与Hortonworks合作，Teradata在Hadoop平台集成了SQL技术，这使Teradata的客户可以在Hadoop平台上方便地使用存储在Teradata数据仓库中的数据。
AMPLab 通过将数据转变为信息，我们才可以理解世界，而这也正是AMPLab所做的。AMPLab致力于机器学习、数据挖掘、数据库、信息检索、自然语言处理和语音识别等多个领域，努力改进对信息包括不透明数据集内信息的甄别技术。除了Spark，开源分布式SQL查询引擎Shark也源于AMPLab，Shark具有极高的查询效率，具有良好的兼容性和可扩展性。近几年的发展使计算机科学进入到全新的时代，而AMPLab为我们设想一个运用大数据、云计算、通信等各种资源和技术灵活解决难题的方案，以应对越来越复杂的各种难题。
支持楼主：、
购买后，论坛将把您花费的资金全部奖励给楼主，以表示您对TA发好贴的支持
载入中......
Nicolle 发表于
十大开源技术
Apache HBase.这个大数据管理平台建立在谷歌强大的BigTable管理引擎基础上。作为具有开 ...多学习
开源乃集思广益之别名！
无限扩大经管职场人脉圈！每天抽选10位免费名额，现在就扫& 论坛VIP& 贵宾会员& 可免费加入
加入我们,立即就学扫码下载「就学」app& Join us!& JoinLearn&
&nbsp&nbsp|
&nbsp&nbsp|
&nbsp&nbsp|
&nbsp&nbsp|
&nbsp&nbsp|
&nbsp&nbsp|
如有投资本站或合作意向，请联系（010-）；
邮箱：service@pinggu.org
投诉或不良信息处理：（010-）
京ICP证090565号
京公网安备号
论坛法律顾问：王进律师中国领先的IT技术网站
51CTO旗下网站
Apache Spark不是唯一，快来了解三种新兴的开源数据分析工具
物联网带来了众多传感器及其他设备，它们在生成源源不断的数据流，而物联网只是推动市场需要新型分析工具的重大趋势之一。我们需要全面完善数据分析生态系统的新工具。值得注意的是，许多这些工具是为了处理流数据而定制的。本文将探讨三种新兴的数据分析工具。
作者：布加迪编译来源：| 09:06
【快译】这些数据分析项目大行其道：Apache Grappa、Apache Drill和Apache Kafka。
在数据分析方面，影响深远的变化正在酝酿之中，而开源工具在引领许多变化。当然，你可能已熟悉这个领域的一些明星开源项目，比如Hadoop和Apache
Spark，不过现在出现了强烈的要求，需要全面完善数据分析生态系统的新工具。值得注意的是，许多这些工具是为了处理流数据而定制的。
物联网带来了众多传感器及其他设备，它们在生成源源不断的数据流，而物联网只是推动市场需要新型分析工具的重大趋势之一。比如需要流数据分析工具来改善药物发现，美国宇航局和搜寻外星文明研究所(SETI)甚至在开展合作，分析数TB复杂的外太空无线电信号流。
虽然Apache
Spark在数据分析领域抢走了许多风头，那是由于IBM及其他公司在这方面投入了数十亿美元的研发资金，但几个藉藉无名的开源项目也在迅速崛起。下面是值得探讨的三种新兴的数据分析工具。
大大小小的企业组织正在致力于研究从数据流提取宝贵信息的新方法，其中许多在处理集群上生成的数据，而且在日益处理商用硬件上生成的数据。这样一来，成本合理的、以数据为中心的方法受到了重视，这种方法可以改善MapReduce、甚至Spark等工具的性能和功能。开源项目这时候闪亮登场了，它可以在大众化集群上扩展数据密集型应用程序，并且提供了一种新型的抽象机制，比经典的分布式共享内存(DSM)系统更胜一筹。
你可以获得Grappa的源代码，并找到关于它的更多信息。Grappa的起源是这样的：一群在克雷(Cray)系统上运行大数据任务方面有着丰富经验的工程师想，是不是可以与克雷系统在现成商用硬件上能够实现的分析功能一较高下。
正如开发人员特别指出：&Grappa在足够高级的层面提供了抽象，因而包括数据密集型平台所常见的许多性能优化。然而，其相对低级的接口又提供了一种方便的抽象，以便在此基础上构建数据密集型框架。(简化版)MapReduce、GraphLab和关系查询引擎的原型实现就建立在Grappa的基础上，它们的性能比原有系统更胜一筹。&
采用BSD许可证的Grappa在上可以免费获取。如果你有兴趣看看Grappa是怎么实际运行的，可以在应用程序的README文件中遵照通俗易懂的快速启动说明，构建Grappa应用程序，并在集群上运行。想了解如何编写自己的Grappa应用程序，不妨阅读。
2.Apache Drill
Drill项目在大数据领域带来了重大的影响，以至于MapR等公司甚至把它纳入到其Hadoop发行版中。它是Apache的一个顶级项目，与Apache
Spark一同应用于许多流数据场景。
比如说，在今年1月份召开的纽约Apache Drill大会上，MapR的系统工程师展示了Apache
Spark和Drill如何可以协同用于涉及数据包捕获和近实时查询及搜索的一种使用场合下。
Drill在流数据应用程序中之所以如此出名，是因为它是一种分布式、无模式(schema-free)的SQL引擎。开发运维和IT人员可以使用Drill，以交互方式探索Hadoop及其他NoSQL数据库(比如HBase和MongoDB)中的数据。不需要明确定义和维护模式，因为Drill可以自动充分利用嵌入到数据中的结构。它能够在操作员之间的内存中流式传输数据，并且尽量减少使用完成查询所需的磁盘。
3.Apache Kafka
Kafka项目已凭借实时数据跟踪功能俨然成为一颗明星。它提供了处理实时数据的功能，具有统一、高吞吐量、低延迟等优点。及其他组织还开发了，以便Kafka与数据流结合使用。
Kafka最初由LinkedIn开发，后来在2011年年初开放了源代码。它是一种经过加固和测试的工具，许多企业组织要求员工拥有Kafka方面的知识。使用Kafka的知名公司包括思科、网飞、贝宝、优步和Spotify。
LinkedIn当初开发Kafka的那些工程师还成立了Confluent，它专注于Kafka。Confluent大学为以及提供培训课程。现场课程和公开课程都有提供。
你是否对比较藉藉无名、但迅速崛起的开源数据分析项目有兴趣?如果是这样，你可以在我最近撰写的关于这个话题的一篇文章(/news/rise-six-unsung-apache-big-data-projects)中找到更多此类项目。
原文标题：3 Emerging Open Source Data Analytics Tools Beyond Apache Spark，作者：SAM
【51CTO译稿，合作站点转载请注明原文译者和出处为】
【编辑推荐】
【责任编辑： TEL：（010）】
大家都在看猜你喜欢
头条头条外电头条外电
24H热文一周话题本月最赞
讲师：0人学习过
讲师：0人学习过
讲师：7人学习过
精选博文论坛热帖下载排行
本书虽然是《网管员必读―网络应用》的改版，但它绝不是简单的修改，而是完完全全的重写，内容更实用、更专业。全书共9章，13个大小方案，...
订阅51CTO邮刊}