no route to host
在hadoop集群中跑程序 出现no route to host的错误,原因其实很简单 ,就是因为系统防火墙没有关。下面先讲讲hadoop的工作原理
Hadoop 总体概述 1
Hadoop起源于Google的集群系统, Google的数据中心使用廉价linux PC机组成集群,在上面运行各种应用。即使是分布式开发的新手也可以迅速使用Google的基础设施。
其核心组件有3个:
第一个就 是,GFS(google file system),一个分布式文件系统,隐藏下层负载均衡,冗余复制等细节,对上层程序提供一个统一的文件系统API接口;
第二个是 mapreduce,Google发现大多数分布式运算可以抽象为MapReduce操作。Map是把输入Input分解成中间的Key/Value 对,Reduce把Key/Value合成最终输出Output。这两个函数由程序员提供给系统,下层设施把Map和Reduce操作分布在集群上运行, 并把结果存储在GFS上;
第三个,BigTable,一个大型的分布式数据库,这个数据库不是关系式的数据库,而是一个巨大的表格,用来存储结构化的数据。
Hadoop特点
Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点:
高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。
高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中。
高效性。Hadoop能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此处理速度非常快。
高容错性。Hadoop能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配。
低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比,hadoop是开源的,项目的软件成本因此会大大降低。
Hadoop的组成部分
Hadoop框架最核心的设计由两部分组成,分别是分布式文件系统和分布式计算框架。
分布式文件系统Hdfs为海量的数据提供了存储,主要用于大规模数据的分布式存储。
分布式计算框架MapReduce为海量的数据提供了计算,它构建在分布式文件系统之上,对存储在分布式文件系统中的数据进行分布式计算。
Hdfs和Mapreduce的关系
在Hadoop中,MapReduce底层的分布式文件系统是独立模块, Hadoop 默认使用的分布式文件系统是Hdfs,它与MapReduce 框架紧密结合。
用户也可按照约定的一套接口实现自己的分布式文件系统,然后经过简单的配置后,存储在该文件系统上的数据便可以被 MapReduce 处理,例如Spark。
Hadoop核心进程 1
[root@master ~]# jps
–31144 Jps
–19571 NameNode
–19672 DataNode
–19803 SecondaryNameNode
–19887 JobTracker
–19994 TaskTracker
Hadoop核心进程 2
NameNode
它是Hadoop 中的主服务器,管理文件系统名称空间和对集群中存储的文件的访问
DataNode
它负责管理连接到节点的存储(一个集群中可以有多个节点)。每个存储数据的节点运行一个 datanode 守护进程。
SecondaryNameNode
它不是 namenode 的冗余守护进程,而是提供周期检查点和清理任务。
出于对可扩展性和容错性等考虑,我们一般将SecondaryNameNode运行在一台非NameNode的机器上。
Hadoop核心进程 3
JobTracker
JobTracker负责调度 DataNode上的工作。每个 DataNode有一个TaskTracker,它们执行实际工作。
JobTracker和 TaskTracker采用主-从形式,JobTracker跨DataNode分发工作,而 TaskTracker执行任务。
JobTracker还检查请求的工作,如果一个 DataNode由于某种原因失败,JobTracker会重新调度以前的任务。
TaskTracker
TaskTracker是在网络环境中开始和跟踪任务的核心位置。与Jobtracker连接请求执行任务而后报告任务状态。
当自己运行程序没有出现自己想要的结果时,首先去http://master1.hadoop:8088/cluster/APPs/KILLED看看自己的程序运行状态如下图
若出现下图的错误时
首先就要检查自己Hadoop集群上每个机器的防火墙是否关闭
1. 关闭防火墙
1> 查看防火墙状态
service iptables status
或者
/etc/init.d/iptables status
这是防火墙没有关闭的状态
黑色的图片是防火墙关闭的状态
2> 永久关闭防火墙 执行下面两条命令
service iptables stop
chkconfig iptables off
然后再次运行,是不是发现程序就不在报NO Route to Host的错误了!!!
相关阅读
一.概述: 默认情况下,ASA不会回应TTL Exceeded的包,因此traceroute/tracert看不到ASA设备;另外,由于防火墙策略限制,traceroute/trac
1,什么是环回地址??与127.0.0.1的区别呢??环回地址是主机用于向自身发送通信的一个特殊地址(也就是一个特殊的目的地址)。可以这么说:同一
Route-Map:功能性非常强的策略列表,可以用来过滤路由也可以调整路由的属性,自身具备过滤功能。Route-Map的作用:1.在重发布的过程中
Tomcat 浏览器输入http://localhost:8080/无法访问的
笔者由于重新安装了系统(之前误删系统文件),所以很多东西收需要重新配置,但是很奇怪的是Tomcat安装成功后(能启动服务)浏览器输入http:/
测试环境备份与恢复的工具Gohst(Symantes)\Partimage等 Gohst的使用说明: (1)Ghost是一个硬盘拷贝软件、它把整个硬盘映像压缩保存为I