hdfs适用于什么样的应用场景（hdfs主要应用在哪些场合）

大家好！今天让创意岭的小编来大家介绍下关于hdfs适用于什么样的应用场景的问题，以下是小编对此问题的归纳整理，让我们一起来看看吧。

开始之前先推荐一个非常厉害的Ai人工智能工具，一键生成原创文章、方案、文案、工作计划、工作报告、论文、代码、作文、做题和对话答疑等等

只需要输入关键词，就能返回你想要的内容，越精准，写出的就越详细，有微信小程序端、在线网页版、PC客户端

官网：https://ai.de1919.com。

创意岭作为行业内优秀的企业，服务客户遍布全球各地，如需了解SEO相关业务请拨打电话175-8598-2043，或添加微信：1454722008

本文目录:

• 1、Hadoop的组件MapReduce和HDFS分别是做什么的？

• 2、hadoop主要应用领域包括以下哪些

• 3、hadoop是做什么的

• 4、请简要描述一下hadoop，spark，mpi三种计算框架的特点以及分别适用于什么样的场景

一、Hadoop的组件MapReduce和HDFS分别是做什么的？

hdfs是：hadoop分布式文件系统，主要用于存储和管理数据，而mapreduce是计算处理框架，主要用于分析处理统计你存在hdfs上的数据集用的

二、hadoop主要应用领域包括以下哪些

Hadoop本身是一个生态圈. 整个生态圈里包含了底层的分布式存储HDFS, 计算框架Mapreduce, 集群调度管理工具Zookeeper,集群资源管理工具YARN， 分布式数据库HBASE等等. 我拿淘宝的店铺淘生意举一个例子吧, 可能不是那么准确:

比如一个店铺一天有10万的访客量, 你想分析的诸如这些访客来自哪里，性别，年龄，访问过什么商品，买过什么商品等等都会在访问网站的时候留下相关的痕迹文件（简称日志），比如这些文件一天就有1TB，那么你怎么存大文件？一个客户可能对应的特性就有上万条，你怎么在数据库里存大表，又怎么分析用户特性？这些都依赖于Hadoop的框架.

现在假设你有一个10台机器的集群：

HDFS：可以将你每天生成的1TB文件拆分存储在这个集群内. Zookeeper可以监控你的文件系统以及其他主从框架的服务是否正常在线. YARN则可在集群内协调你的CPU/内存资源，当有任务的时候可以合理分配资源进行计算，Mapreduce则是执行分析计算的基本框架，HBASE则可以将你分析后的数据保存在整个分布式集群内. 以供其它应用来进行进一步的分析展示. 其它的Spark/Storm/HIVE/Impala/cassandra 等等在这就不说了.

总之，涉及超大数据进行存储分析等领域，都是以Hadoop为基本框架的，至少底层都是HDFS 纯手打，忘采纳.

三、hadoop是做什么的

hadoop是做分布式系统基础架构。

Hadoop是一个由Apache基金会所开发的分布式系统基础架构，一个能够对大量数据进行分布式处理的软件框架； Hadoop以一种可靠、高效、可伸缩的方式进行数据处理；用户可以在不了解分布式底层细节的情况下，开发分布式程序。

用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。

Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。

Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。

Hadoop主要有以下优点：

高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。

高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。

高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。

低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低。

Hadoop带有用Java语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写，比如 C++。

四、请简要描述一下hadoop，spark，mpi三种计算框架的特点以及分别适用于什么样的场景

Spark已经取代Hadoop成为最活跃的开源大数据项目，但是，在选择大数据框架时，企业不能因此就厚此薄彼

近日，著名大数据专家Bernard Marr在一篇文章中分析了Spark和 Hadoop 的异同

Hadoop和Spark均是大数据框架，都提供了一些执行常见大数据任务的工具，但确切地说，它们所执行的任务并不相同，彼此也并不排斥

虽然在特定的情况下，Spark据称要比Hadoop快100倍，但它本身没有一个分布式存储系统

而分布式存储是如今许多大数据项目的基础，它可以将 PB 级的数据集存储在几乎无限数量的普通计算机的硬盘上，并提供了良好的可扩展性，只需要随着数据集的增大增加硬盘

因此，Spark需要一个第三方的分布式存储，也正是因为这个原因，许多大数据项目都将Spark安装在Hadoop之上，这样，Spark的高级分析应用程序就可以使用存储在HDFS中的数据了

与Hadoop相比，Spark真正的优势在于速度，Spark的大部分操作都是在内存中，而Hadoop的MapReduce系统会在每次操作之后将所有数据写回到物理存储介质上，这是为了确保在出现问题时能够完全恢复，但Spark的弹性分布式数据存储也能实现这一点

另外，在高级数据处理（如实时流处理、机器学习）方面，Spark的功能要胜过Hadoop

在Bernard看来，这一点连同其速度优势是Spark越来越受欢迎的真正原因

实时处理意味着可以在数据捕获的瞬间将其提交给分析型应用程序，并立即获得反馈

在各种各样的大数据应用程序中，这种处理的用途越来越多，比如，零售商使用的推荐引擎、制造业中的工业机械性能监控

Spark平台的速度和流数据处理能力也非常适合机器学习算法，这类算法可以自我学习和改进，直到找到问题的理想解决方案

这种技术是最先进制造系统（如预测零件何时损坏）和无人驾驶汽车的核心

Spark有自己的机器学习库MLib，而Hadoop系统则需要借助第三方机器学习库，如Apache Mahout

实际上，虽然Spark和Hadoop存在一些功能上的重叠，但它们都不是商业产品，并不存在真正的竞争关系，而通过为这类免费系统提供技术支持赢利的公司往往同时提供两种服务

例如，Cloudera 就既提供 Spark服务也提供 Hadoop服务，并会根据客户的需要提供最合适的建议

Bernard认为，虽然Spark发展迅速，但它尚处于起步阶段，安全和技术支持基础设施方还不发达，在他看来，Spark在开源社区活跃度的上升，表明企业用户正在寻找已存储数据的创新用法

以上就是关于hdfs适用于什么样的应用场景相关问题的回答。希望能帮到你，如有更多相关问题，您也可以联系我们的客服进行咨询，客服也会为您讲解更多精彩的知识和内容。

推荐阅读：

EnglishDay翻译（englishday翻译成中文）

happybirthday花体粘贴复制（happybirthdaytome花体可复制）

Mac不小心把HD盘删除了（把macintosh hd删了怎么办）

极速网络优化（极速网络优化软件）

正规外汇平台排行榜（正规外汇平台排行榜前十名）