必威体育Betway必威体育官网
当前位置:首页 > IT技术

NO Route to Host 的解决办法

时间:2019-06-13 18:43:10来源:IT技术作者:seo实验室小编阅读:77次「手机版」
 

no route to host

在hadoop集群中跑程序 出现no route to host的错误,原因其实很简单 ,就是因为系统防火墙没有关。下面先讲讲hadoop的工作原理

Hadoop 总体概述 1

Hadoop起源于Google的集群系统, Google的数据中心使用廉价linux PC机组成集群,在上面运行各种应用。即使是分布式开发的新手也可以迅速使用Google的基础设施。

其核心组件有3个:

第一个就 是,GFS(google file system),一个分布式文件系统,隐藏下层负载均衡,冗余复制等细节,对上层程序提供一个统一的文件系统API接口;

第二个是 mapreduce,Google发现大多数分布式运算可以抽象为MapReduce操作。Map是把输入Input分解成中间的Key/Value 对,Reduce把Key/Value合成最终输出Output。这两个函数程序员提供给系统,下层设施把Map和Reduce操作分布在集群上运行, 并把结果存储在GFS上;

第三个,BigTable,一个大型的分布式数据库,这个数据库不是关系式的数据库,而是一个巨大的表格,用来存储结构化的数据。

Hadoop特点

Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点:

高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。

高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中。

高效性。Hadoop能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此处理速度非常快。

高容错性。Hadoop能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配。

低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比,hadoop是开源的,项目软件成本因此会大大降低。

Hadoop的组成部分

Hadoop框架最核心的设计由两部分组成,分别是分布式文件系统和分布式计算框架。

分布式文件系统Hdfs为海量的数据提供了存储,主要用于大规模数据的分布式存储。

分布式计算框架MapReduce为海量的数据提供了计算,它构建在分布式文件系统之上,对存储在分布式文件系统中的数据进行分布式计算。

Hdfs和Mapreduce的关系

在Hadoop中,MapReduce底层的分布式文件系统是独立模块, Hadoop 默认使用的分布式文件系统是Hdfs,它与MapReduce 框架紧密结合。

用户也可按照约定的一套接口实现自己的分布式文件系统,然后经过简单的配置后,存储在该文件系统上的数据便可以被 MapReduce 处理,例如Spark。

Hadoop核心进程 1

[root@master ~]# jps

–31144 Jps

–19571 NameNode

–19672 DataNode

–19803 SecondaryNameNode

–19887 JobTracker

–19994 TaskTracker

Hadoop核心进程 2

NameNode

它是Hadoop 中的主服务器,管理文件系统名称空间和对集群中存储的文件的访问

DataNode

它负责管理连接到节点的存储(一个集群中可以有多个节点)。每个存储数据的节点运行一个 datanode 守护进程

SecondaryNameNode

它不是 namenode 的冗余守护进程,而是提供周期检查点和清理任务。

出于对可扩展性和容错性等考虑,我们一般将SecondaryNameNode运行在一台非NameNode的机器上。

Hadoop核心进程 3

JobTracker

JobTracker负责调度 DataNode上的工作。每个 DataNode有一个TaskTracker,它们执行实际工作。

JobTracker和 TaskTracker采用主-从形式,JobTracker跨DataNode分发工作,而 TaskTracker执行任务。

JobTracker还检查请求的工作,如果一个 DataNode由于某种原因失败,JobTracker会重新调度以前的任务。

TaskTracker

TaskTracker是在网络环境中开始和跟踪任务的核心位置。与Jobtracker连接请求执行任务而后报告任务状态。

当自己运行程序没有出现自己想要的结果时,首先去http://master1.hadoop:8088/cluster/APPs/KILLED看看自己的程序运行状态如下图这里写图片描述

若出现下图的错误时

这里写图片描述

首先就要检查自己Hadoop集群上每个机器的防火墙是否关闭

1. 关闭防火墙

1> 查看防火墙状态

service iptables status

或者

/etc/init.d/iptables status

这里写图片描述

这是防火墙没有关闭的状态

黑色的图片是防火墙关闭的状态

这里写图片描述

2> 永久关闭防火墙 执行下面两条命令

service iptables stop

chkconfig iptables off

这里写图片描述

然后再次运行,是不是发现程序就不在报NO Route to Host的错误了!!!

相关阅读

穿越ASA进行traceroute或tracert测试

一.概述:  默认情况下,ASA不会回应TTL Exceeded的包,因此traceroute/tracert看不到ASA设备;另外,由于防火墙策略限制,traceroute/trac

127.0.0.1和localhost和本机IP三者的区别

1,什么是环回地址??与127.0.0.1的区别呢??环回地址是主机用于向自身发送通信的一个特殊地址(也就是一个特殊的目的地址)。可以这么说:同一

Route-Map个人理解及实验解析

Route-Map:功能性非常强的策略列表,可以用来过滤路由也可以调整路由的属性,自身具备过滤功能。Route-Map的作用:1.在重发布的过程中

Tomcat 浏览器输入http://localhost:8080/无法访问的

笔者由于重新安装了系统(之前误删系统文件),所以很多东西收需要重新配置,但是很奇怪的是Tomcat安装成功后(能启动服务)浏览器输入http:/

Ghost

测试环境备份与恢复的工具Gohst(Symantes)\Partimage等 Gohst的使用说明: (1)Ghost是一个硬盘拷贝软件、它把整个硬盘映像压缩保存为I

分享到:

栏目导航

推荐阅读

热门阅读