云计算环境下架构Hadoop集群的数据分配方式(2)

来源：万方数据　作者：李珺　责任编辑：admin　发表时间:2012-02-27 19:16　

核心提示：2. Hadoop框架的工作机制 Hadoop是Apache软件基金会（Apache SoftwareFoundation）组织下的一个开源项目，提供分布式计算环境下的可靠、可扩展软件。Hadoop平台拥有自己的分布式文件系统（HDFS），具体实现采用MapR

2. Hadoop框架的工作机制

Hadoop是Apache软件基金会（Apache SoftwareFoundation）组织下的一个开源项目，提供分布式计算环境下的可靠、可扩展软件。Hadoop平台拥有自己的分布式文件系统（HDFS），具体实现采用MapReduce模式。Hadoop采取文件备份的方式，为每份数据制作若干拷贝，拥有较高的安全可靠性。作为一个开源的分布式系统平台，Hadoop除了拥有开源所带来的更新速度快、应用广泛等优势外，还具有以下一些其它分布式云计算框架所共有的优点：高度的可扩展性、经济实用性、高速有效性、高可靠性。

HDFS采用Master/Slave架构，一个HDFS集群由一个命名节点（（NameNode）和一组数据节点（DataNode）组成。命名节点是一个中心服务器，负责管理文件系统的名字空间（NameSpace）以及客户端对文件的访问。在集群系统中，一般在一个节点上运行一个数据节点，负责管理它所在节点上的数据存储，并负责处理文件系统客户端的读写请求，在命名节点的统一调度下进行数据块的创建、删除和复制。Hadoop还实现了Google的MapReduce分布式计算模型，MapReduce把应用程序的总任务分割成许多子任务，每个子任务可以在任何集群节点（数据节点，通常也作为计算节点）上并行处理。HDFS创建了多份数据块（Data Blocks）的副本（Replicas），以保证各个子任务节点计算的可靠性（（Reliability）。由于采用了分布式文件系统和MapRedace模型，因此Hadoop框架具有高容错性及对数据读写的高吞吐率，能自动处理失败节点。

HDFS是由一个命名节点和多个数据节点组成的。数据节点存储着文件系统的元数据，它的作用就像是文件系统的总指挥，维护文件系统命名空间、规范客户对于文件的存取和提供对于文件目录的操作，数据节点中存储着实际的数据，负责管理存储节点上的存储空间和来自客户的读写请求。数据节点也执行块创建、删除和来自命名节点的复制命令。 (责任编辑：admin)

“扫一扫”关注融合网微信号

免责声明：我方仅为合法的第三方企业注册用户所发布的内容提供存储空间，融合网不对其发布的内容提供任何形式的保证：不保证内容满足您的要求，不保证融合网的服务不会中断。因网络状况、通讯线路、第三方网站或管理部门的要求等任何原因而导致您不能正常使用融合网，融合网不承担任何法律责任。

第三方企业注册用户在融合网发布的内容（包含但不限于融合网目前各产品功能里的内容）仅表明其第三方企业注册用户的立场和观点，并不代表融合网的立场或观点。相关各方及作者发布此信息的目的在于传播、分享更多信息，并不代表本网站的观点和立场，更与本站立场无关。相关各方及作者在我方平台上发表、发布的所有资料、言论等仅代表其作者个人观点，与本网站立场无关，不对您构成任何投资、交易等方面的建议。用户应基于自己的独立判断，自行决定并承担相应风险。

根据相关协议内容，第三方企业注册用户已知悉自身作为内容的发布者，需自行对所发表内容（如，字体、图片、文章内容等）负责，因所发表内容（如，字体、图片、文章内容等）等所引发的一切纠纷均由该内容的发布者（即，第三方企业注册用户）承担全部法律及连带责任。融合网不承担任何法律及连带责任。

第三方企业注册用户在融合网相关栏目上所发布的涉嫌侵犯他人知识产权或其他合法权益的内容（如，字体、图片、文章内容等），经相关版权方、权利方等提供初步证据，融合网有权先行予以删除，并保留移交司法机关查处的权利。参照相应司法机关的查处结果，融合网对于第三方企业用户所发布内容的处置具有最终决定权。

个人或单位如认为第三方企业注册用户在融合网上发布的内容（如，字体、图片、文章内容等）存在侵犯自身合法权益的，应准备好具有法律效应的证明材料，及时与融合网取得联系，以便融合网及时协调第三方企业注册用户并迅速做出相应处理工作。

融合网联系方式：（一）、电话：（010）57722280；（二）、电子邮箱：2029555353@qq.com dwrh@dwrh.net

对免责声明的解释、修改及更新权均属于融合网所有。