如何search巨大的非文本数据集?

在我工作的一个项目中,客户有一个旧的和巨大的(TB级)RDBMS。 所有types的查询都很慢,没有时间修复/重构模式。 我已经确定了需要优化的一组常用查询。 该组分为两部分:全文和元数据查询。

我的计划是从数据库中提取数据,并将其分区到两个不同的存储系统,每个存储系统都针对特定的查询集进行了优化。

对于全文search,Solr是最有意义的引擎。 这是分片和复制function,使它非常适合问题的一半。

对于元数据查询,我不知道要采取什么路线。 目前,我正在考虑使用一个非常规规范化模式的RDBMS,它表示来自“权威”RDBMS的特定数据子集。 然而,我的客户担心这种子系统缺乏分片和复制function,而与已经包含这些function的Solr相比,设置这些function的困难/复杂性更为困难。 在这种情况下,元数据采用整数,date,布尔,位和string(最大大小为10个)的forms。

是否有一个数据库存储系统具有内置的分片和复制function,可能对查询元数据特别有用? 也许一个没有SQL的解决scheme提供了一个好的查询引擎?

请照亮。

添加/回应:

Solr可以用于元数据,但是元数据是不稳定的。 所以,我不得不经常去索引。 这会导致search速度非常快。

4 Solutions collect form web for “如何search巨大的非文本数据集?”

使用MongoDB作为元数据存储:

  • 内置分片
  • 内置复制
  • 故障转移和高可用性
  • 简单的查询引擎 ,应该适用于最常见的情况

然而 ,缺点是你不能执行连接。 明智地对数据进行非规范化处理,以便避免这种情况。

RavenDB :

  • 它有内置的Lucene全文search。
  • 它可以被复制 。
  • 它支持分片 。
  • 它有一个HTTP API,所以你原则上可以在任何平台上使用它。

缺点:这是AGPL许可。 根据你的开发/服务器环境,你可以考虑它在.NET上运行。 此外,我不知道其他平台的客户端的状态。

Solandra :

  • 整合Solr和Cassandra
  • 由Solrpipe理的全文search
  • 由Cassandrapipe理复制和分片

缺点:尚未发布。

ElasticSearch:

  • 它有内置的Lucene全文search。
  • 它可以被复制 。
  • 它支持分片 。
  • 它有一个HTTP API,所以你原则上可以在任何平台上使用它。

ElasticSearch与RavenDB类似,但似乎强调全文search ,RavenDB强调成为一个普通的NoSQL数据库。

我相信你知道你不会在频繁更新的系统上获得快速的查询时间。 要实现对RDBMS的分片,您需要find一些关键字来分割logging并填充多个数据库。 然后,您可以同时查询所有这些数据,以便以减less地图的方式获取和处理数据。 这将允许您随着数据增长而增加机器的数量,并可能允许您提高操作的速度。 从快速谷歌searchMongoDB和Hadoop都提供了这个map / reducefunction,我对这两个都不熟悉。

即时生成复杂的长时间运行报告并不罕见。 然而,这通常伴随着报告生成后的电子邮件通知。 它提供了一个很好的推送通知格式来与人交互。 另外,如果这些报告是以循环方式(例如每周,每月等)预期的,那么当这些报告准备就绪时,您仍然可以使用电子邮件通知,唯一的区别是生成的启动时间是自动的。

如果您使用elasticsearch ,则可以简单地将元数据添加为json文档的额外键:

{ "message": ... your full text, "date": "2009-11-15T14:12:12", ... } 

然后你可以同时search。 否则,如果你仍然想做两种系统方法, monogoDB是一个具有自动分片function的文档存储,它具有一些相当先进的查询机制(字段,map-reduce,用于快速查询的索引)。

  • 为什么像Lucene / Solr这样的文档商店没有包含在NoSQL对话中?
  • apache solrstring或文本
  • 任何理由不使用PostgreSQL内置的全文searchHeroku?
  • 如何自动启动Solr?
  • search引擎 - Lucene或Solr
  • 如何检查在Solr中使用哪个XSLT处理器?
  • 如何使用Solrselect不同的字段值?
  • Solr是否可用于.Net?
  • 索尔指数vs存储
  • select一个独立的全文search服务器:Sphinx或SOLR?
  • ElasticSearch,狮身人面像,Lucene,Solr,Xapian。 哪个适合哪种用法?