热门大数据技术

大数据处理的是大规模数据集，或者说处理的是传统数据处理应用软件难以应对的复杂情况。它有三个关键概念，即数据量、数据种类和数据处理速度。在数据量方面，要确定数据的规模大小；在数据种类方面，需要对数据进行分类，也就是要确定数据的类型，如图像、PDF 文件、音频、视频等等；在数据处理速度方面，则要考虑数据传输的速度，或者说处理和分析数据的速度。

大数据处理的是大规模数据集，这些数据可以是无结构的、半结构化的以及结构化的。在考量大数据时，它包含以下关键参数，如数据采集、搜索、数据存储、数据共享、传输、数据分析、数据可视化以及数据查询等等。在分析方面，大数据会应用于 A/B 测试、机器学习以及自然语言处理等领域。在数据可视化方面，会用到图表等形式。在大数据领域，以下技术会得到应用，如商业智能、云计算以及数据库等。

以下是一些流行的大数据技术：

1. Apache Cassandra：它是一种非关系型数据库（No-SQL 数据库），具有高度可扩展性和高可用性。借助它，我们可以在多个数据中心之间复制数据，并且支持跨多个数据中心进行数据复制。在Cassandra中，容错性是一个重要因素，出现故障的节点可以在不造成任何停机时间的情况下轻松更换。

2. Apache Hadoop：Hadoop 是应用最为广泛的大数据技术之一，它通过 Hadoop 文件系统（即 HDFS）来处理大规模数据和大型文件系统，并利用 Hadoop 的 MapReduce 框架实现类似并行处理的功能。Hadoop 是一个可扩展的系统，有助于提供能够处理大容量和高性能需求的可扩展解决方案。例如：在实际应用案例中，NextBio 公司正在使用 Hadoop 的 MapReduce 和 HBase 来处理来自人类基因组的数 TB 级别的数据集。

3. Apache Hive：它用于数据汇总和即席查询，也就是说能够轻松地对大数据进行查询和分析。它构建在 Hadoop 之上，使用一种类似 SQL 的语言（称为 HiveQL）来实现数据汇总、即席查询以及对大规模数据集的分析。它不是一个关系型数据库，也不是一种用于实时查询的语言。它具有许多特性，比如：专为联机分析处理（OLAP）而设计、使用名为 HiveQL 的 SQL 类型语言、快速、可扩展且具有可扩展性。

4. Apache Flume：它是一个分布式且可靠的系统，用于从众多数据源收集、聚合并转移大量的日志数据，将这些数据传输到一个集中式的数据存储中。

5. Apache Spark：Spark 的主要目标是加快 Hadoop 计算软件的处理速度，它由Apache软件基金会推出。Apache Spark 可以独立运行，因为它有自己的集群管理系统，而且它不是 Hadoop 的更新或修改版本。深入了解后可以说，它只是将 Spark 与 Hadoop 结合使用的一种方式。将 Spark 与 Hadoop 结合使用主要有两个目的，即存储和处理。所以，Spark 从两个方面利用 Hadoop 来实现存储目的，这仅仅是因为 Spark 有自己的集群管理计算系统。在 Spark 中，它包括交互式查询和流处理，而内存集群计算是其关键特性之一。

6. Apache Kafka：它是一个分布式的发布 - 订阅消息系统，更确切地说，它拥有一个强大的队列，能够处理大量数据，并且可以将消息从一个点传递到另一个点，比如说从一个发送者传递到接收者。你可以在离线和在线两种模式下进行消息传递，两种模式都适用。为了防止数据丢失，Kafka 消息会在集群内进行复制。对于实时流数据分析，它集成了 Apache Storm 和 Spark，并且构建在 ZooKeeper 同步服务之上。

7. MongoDB：它是跨平台的，基于集合和文档的概念运行。它采用面向文档的存储方式，也就是说数据将以 JSON 格式存储。它可以对任何属性建立索引。它具有高可用性、数据复制、丰富的查询功能、得到 MongoDB 的支持、自动分片以及快速更新等特性。

8. ElasticSearch：它是一个实时分布式系统，也是一个开源的全文搜索和分析引擎。它具有高度可扩展性，能够处理高达 PB 级别的结构化和非结构化数据，可用于替代基于文档存储的 MongoDB 和 RavenDB。为了提高搜索性能，它采用了去规范化的方法。从实际应用案例来看，它是一个企业搜索引擎，被许多大型机构使用，比如Wikipedia和 GitHub。