【图文】第二章 会计电算化(二)_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
评价文档：
第二章 会计电算化(二)
上传于||暂无简介
大小：75.50KB
登录百度文库，专享文档复制特权，财富值每天免费拿！
你可能喜欢您所在位置： &
&nbsp&&nbsp
CST微波工作室用户全书-张敏.pdf311页
本文档一共被下载：
次 ,本文档已强制全文免费阅读，若需下载请自行甄别文档质量。
文档加载中...广告还剩秒
需要金币：50 &&
你可能关注的文档：
··········
··········
CST 微波工作室 用户全书 张 敏 电子科技大学出版社 内 容 简 介 CST 微波工作室 为德国CST 公司开发的高级无源微波器件及天线仿真软件包，可 仿真耦合器、滤波器、环流器、隔离器、谐振腔、平面结构、连接器、电磁兼容、IC 封 装及各类天线和天线阵列，能给出S 参量、天线方向图等结果。 本书为其用户参考书的第一卷和第二卷合订本，包括基础入门和六个经典应用算 例，可供在计算电磁学、电磁场理论、电磁场工程等领域从事研究和开发工作的科技人 员参考，也可作为高等院校相关专业高年级本科生和研究生的教学用书。 图书在版编目（CIP ）数据 CST 微波工作室 用户全书/ 张敏.
―成都：电子科技大学出版社，2004. 7 ISBN 7―8―1 Ⅰ. C
①微波元件―计算机仿真―应用软件 ②微波天线―计算机仿真 ―应用软件 Ⅳ.
①TN61②TN822 中国版本图书馆CIP 数据核字（2004 ）第084968 号 CST 微波工作室 用户全书 张 敏
版：电子科技大学出版社 成都建设北路二段四号 组稿编辑：唐雅邻
责任编辑：唐雅邻
发 行：电子科技大学出版社
销：新华书店
刷：成都蜀通印务有限责任公司
开 本：787mm ×1092mm 1/16 印张 19.75
版 次：2004 年7 月第一版
次：2004 年7 月第一次印刷
书 号：ISBN7―8―1/TM ?9
数：1―1200 册
定 价：40.00
元 ■ 版权所有 侵权必究 ■
◆ 邮购本书请与本社发行科联系。电话：（028 ）座机电话号码 邮编：610054
◆ 本书如有缺页、破损、装订错误，请寄回印刷厂调换。
前 言 本书为有关使用CST 微波工作室 最权威的用户参考书。它包含以下分卷： 第一卷 基础入门 第二卷 应用算例 第三卷 高级概念 第四卷
正在加载中，请稍后...Hadoop之完全分布式环境搭建 - Hadoop入门基础教程_服务器应用_Linux公社-Linux系统门户网站
你好，游客
Hadoop入门基础教程
Hadoop之完全分布式环境搭建
来源：Linux社区&
作者：andie_guo
上一篇我们完成了伪分布式环境的搭建，伪分布式模式也叫单节点集群模式， NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker所有的守护进程全部运行在K-Master节点之上。在本篇blog我们将搭建完全分布式环境，运行NameNode、SecondaryNameNode、JobTracker守护进程在主节点上，运行DataNode、TaskTracker在从节点上。特别注意：在搭建Hadoop完全分布式环境前请确保完成了 。
硬件环境： 6.5 服务器4台（一台为Master节点，三台为Slave节点） 软件环境：Java 1.7.0_45、hadoop-1.2.1
1、 集群拓扑图
我们使用4台机器来搭建Hadoop完全分布式环境，4台机器的拓扑图如下图所示：
Hadoop集群中每个节点的角色如下表所示：
2、 配置SSH
下面以配置K-Master启动SSH服务为例进行演示，用户需参照下面步骤完成KVMSlave1~KVMSlave3三台子节点机器的SSH服务启动；
1）以hadoop用户远程登录K-Master服务器，启动SSH服务；
[hadoop@K-Master hadoop]$ sudo /etc/init.d/sshd start
2）设置开机启动：
[hadoop@K-Master hadoop]$ sudo chkconfig sshd on
配置K-Master本机无密码登录
下面以配置K-Master本机无密码登录为例进行讲解，用户需参照下面步骤完成KVMSlave1~KVMSlave3三台子节点机器的本机无密码登录；
1）以hadoop用户远程登录K-Master服务器，在K-Master服务器上生成公钥和私钥密码对，密钥默认存储在&/home/hadoop/.ssh&目录下，生成公钥和私钥密码对时，无需输入密码，直接回车即可。
#切换到hadoop用户，不能使用root用户生成密钥
[hadoop@K-Master hadoop]$ su hadoop
[hadoop@K-Master hadoop]$ cd /home/hadoop/
[hadoop@K-Master hadoop]$ ssh-keygen -t rsa -P ""
2）将公钥追加到&authorized_keys&文件
[hadoop@K-Master hadoop]$ cd /home/hadoop/
[hadoop@K-Master hadoop]$ cat .ssh/id_rsa.pub && .ssh/authorized_keys
3）赋予权限
[hadoop@K-Master hadoop]$ chmod 600 .ssh/authorized_keys
4）验证本机能无密码访问
[hadoop@K-Master hadoop]$ ssh K-Master
配置K-Master本机无密码登录KVMSlave1~KVMSlave3
下面以K-Master无密码登录KVMSlave1为例进行讲解，用户需参照下面步骤完成K-Master无密码登录KVMSlave2~KVMSlave3。
1）以hadoop用户远程登录KVMSlave1服务器，复制K-Master服务器的公钥&id_rsa.pub&到KVMSlave1服务器的&/home/hadoop/&目录下。
[hadoop@KVMSlave1 hadoop]$ cd /home/hadoop/
[hadoop@KVMSlave1 hadoop]$ scp hadoop@K-Master:/home/hadoop/.ssh/id_rsa.pub /home/hadoop/
2）将K-Master的公钥（/home/hadoop/id_rsa.pub）追加到KVMSlave1的authorized_keys中。
[hadoop@KVMSlave1 hadoop]$ cd /home/hadoop
[hadoop@KVMSlave1 hadoop]$ cat id_rsa.pub && .ssh/authorized_keys
[hadoop@KVMSlave1 hadoop]$ rm -r /home/hadoop/id_rsa.pub
3）另外开启一个终端，远程登录K-Master服务器，在K-Master服务器测试通过SSH无密码登录KVMSlave1。
[hadoop@K-Master hadoop]$ ssh KVMSlave1
配置KVMSlave1~KVMSlave3本机无密码登录K-Master
下面以KVMSlave1无密码登录K-Master为例进行讲解，用户需参照下面步骤完成KVMSlave2~KVMSlave3无密码登录K-Master。
1）以hadoop用户远程登录K-Master，复制KVMSlave1服务器的公钥&id_rsa.pub&到KVMSlave1服务器的&/home/hadoop/&目录下。
[hadoop@K-Master hadoop]$ scp hadoop@KVMSlave1:/home/hadoop/.ssh/id_rsa.pub /home/hadoop
2）将KVMSlave1的公钥（/home/hadoop/id_rsa.pub）追加到K-Master的authorized_keys中。
[hadoop@K-Master hadoop]$ cd /home/hadoop
[hadoop@K-Master hadoop]$ cat id_rsa.pub && .ssh/authorized_keys
[hadoop@K-Master hadoop]$ rm &r /home/hadoop/id_rsa.pub
3）以hadoop用户远程登录KVMSlave1服务器，在KVMSlave1服务器测试通过SSH无密码登录K-Master。
[hadoop@KVMSlave1 hadoop]$ ssh K-Master
3、 安装Hadoop
如果用户已经完成了Hadoop伪分布式环境搭建，建议删除/usr/hadoop/安装环境，从零开始配置Hadoop完全分布式环境。
1）以hadoop用户远程登录K-Master服务器，下载 ，并将其拷贝到K-Master服务器的/home/hadoop/目录下。
2）解压Hadoop源文件
[hadoop@K-Master ~]$ su hadoop
[hadoop@K-Master ~]$ cd /usr
[hadoop@K-Master usr]$ sudo tar -zxvf
/home/hadoop/hadoop-1.2.1.tar.gz
//将文件减压在当前路径
3）重命名hadoop
[hadoop@K-Master usr]$ sudo mv hadoop-1.2.1/ hadoop/
4） 设置hadoop文件夹的用户属组和用户组
很关键到一步，便于hadoop用户对该文件夹的文件拥有读写权限，不然后续hadoop启动后，无法在该文件夹创建文件和写入日志信息。
[hadoop@K-Master usr]$ sudo chown -R hadoop:hadoop /usr/hadoop
5）删除安装包
[hadoop@K-Master ~]$ rm -rf
/home/hadoop/hadoop-1.2.1.tar.gz
#删除"hadoop-1.2.1.tar.gz"安装包
4、 配置K-Master的hadoop环境
1）配置环境变量
[hadoop@K-Master ~]$ sudo vi /etc/profile
export HADOOP_HOME=/usr/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_HOME_WARN_SUPPRESS=1
使得hadoop命令在当前终端立即生效；
[hadoop@K-Master ~] $source /etc/profile
2）配置hadoop-env.sh
hadoop环境是基于JVM虚拟机环境的，故需在hadoop-env.sh配置文件中指定JDK环境。修改/usr/hadoop/conf/hadoop-env.sh文件，添加如下JDK配置信息。
[hadoop@K-Master ~] cd /usr/hadoop/
[hadoop@K-Master hadoop] vi conf/hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_65
3）配置core-site.xml
修改Hadoop核心配置文件/usr/hadoop/conf/core-site.xml，通过fs.default.name指定 NameNode 的 IP 地址和端口号，通过hadoop.tmp.dir指定hadoop数据存储的临时文件夹。
[hadoop@K-Master hadoop] vi conf/core-site.xml
&configuration&
&property&
&name&fs.default.name&/name&
&value&hdfs://K-Master:9000&/value&
&/property&
&property&
&name&hadoop.tmp.dir&/name&
&value&/usr/hadoop/tmp&/value&
&/property&
&/configuration&
特别注意：如没有配置hadoop.tmp.dir参数，此时系统默认的临时目录为：/tmp/hadoo-hadoop。而这个目录在每次重启后都会被删除，必须重新执行format才行，否则会出错。
4）配置hdfs-site.xml
修改HDFS核心配置文件/usr/hadoop/conf/hdfs-site.xml，通过dfs.replication指定HDFS的备份因子为3，通过dfs.name.dir指定namenode节点的文件存储目录，通过dfs.data.dir指定datanode节点的文件存储目录。
[hadoop@K-Master hadoop] vi conf/hdfs-site.xml
&configuration&
&property&
&name&dfs.replication&/name&
&value&3&/value&
&/property&
&property&
&name&dfs.name.dir&/name&
&value&/usr/hadoop/hdfs/name&/value&
&/property&
&property&
&name&dfs.data.dir&/name&
&value&/usr/hadoop/hdfs/data&/value&
&/property&
&/configuration&
5）配置mapred-site.xml
修改MapReduce核心配置文件/usr/hadoop/conf/mapred-site.xml，通过mapred.job.tracker属性指定JobTracker的地址和端口。
[hadoop@K-Master hadoop] vi conf/mapred-site.xml
&configuration&
&property&
&name&mapred.job.tracker&/name&
&value&http://K-Master:9001&/value&
&/property&
&/configuration&
6）配置masters文件
修改/user/hadoop/conf/masters文件，该文件指定namenode节点所在的服务器机器。删除localhost，添加namenode节点的主机名K-Master；不建议使用IP地址，因为IP地址可能会变化，但是主机名一般不会变化。
[hadoop@K-Master hadoop] vi conf/masters
7）配置slaves文件（Master主机特有）
修改/usr/hadoop/conf/slaves文件，该文件指定哪些服务器节点是datanode节点。删除locahost，添加所有datanode节点的主机名，如下所示。
[hadoop@K-Master hadoop] vi conf/slaves
5、 配置KVMSlave的hadoop环境
下面以配置KVMSlave1的hadoop为例进行演示，用户需参照以下步骤完成其他KVMSlave服务器的配置。
1）以hadoop用户远程登录KVMSlave1服务器，拷贝K-Master主机的hadoop文件夹到本地/usr/目录下；
[hadoop@KVMSlave1 ~]$ cd /usr/
[hadoop@KVMSlave1 usr]$ sudo scp -r hadoop@K-Master:/usr/hadoop/ .
[hadoop@KVMSlave1 usr]$ sudo chown -R hadoop:hadoop hadoop/
#slaves文件内容删除，或者直接删除slaves
[hadoop@KVMSlave1 usr]$ rm /usr/hadoop/conf/slaves
2）配置环境变量
[hadoop@KVMSlave1 ~]$ sudo vi /etc/profile
export HADOOP_HOME=/usr/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_HOME_WARN_SUPPRESS=1
使得hadoop命令在当前终端立即生效；
[hadoop@KVMSlave1 ~]$ source /etc/profile
6、 格式化HDFS文件系统
格式化HDFS文件系统需要在namenode节点上通过hadoop用户执行，而且只需要执行一次，下次启动时不需要再格式化，直接启动HDFS文件管理系统和MapReduce服务即可。
[hadoop@K-Master ~]$ hadoop namenode -format
14/07/24 16:37:57 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:
host = K-Master/192.168.100.147
STARTUP_MSG:
args = [-format]
STARTUP_MSG:
version = 1.2.1
STARTUP_MSG:
build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152; compiled by 'mattf' on Mon Jul 22 15:23:09 PDT 2013
STARTUP_MSG:
java = 1.7.0_65
********************a****************************************/
14/07/24 16:37:57 INFO util.GSet: Computing capacity for map BlocksMap
14/07/24 16:37:57 INFO util.GSet: VM type
14/07/24 16:37:57 INFO util.GSet: 2.0% max memory =
14/07/24 16:37:57 INFO util.GSet: capacity
= 2^21 = 2097152 entries
14/07/24 16:37:57 INFO util.GSet: recommended=2097152, actual=2097152
14/07/24 16:37:58 INFO namenode.FSNamesystem: fsOwner=hadoop
14/07/24 16:37:58 INFO namenode.FSNamesystem: supergroup=supergroup
14/07/24 16:37:58 INFO namenode.FSNamesystem: isPermissionEnabled=true
14/07/24 16:37:58 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100
14/07/24 16:37:58 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)
14/07/24 16:37:58 INFO namenode.FSEditLog: dfs.namenode.edits.toleration.length = 0
14/07/24 16:37:58 INFO namenode.NameNode: Caching file names occuring more than 10 times
14/07/24 16:37:58 INFO common.Storage: Image file /usr/hadoop/hdfs/name/current/fsimage of size 112 bytes saved in 0 seconds.
14/07/24 16:37:59 INFO namenode.FSEditLog: closing edit log: position=4, editlog=/usr/hadoop/hdfs/name/current/edits
14/07/24 16:37:59 INFO namenode.FSEditLog: close success: truncate to 4, editlog=/usr/hadoop/hdfs/name/current/edits
14/07/24 16:37:59 INFO common.Storage: Storage directory /usr/hadoop/hdfs/name has been successfully formatted.
14/07/24 16:37:59 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at K-Master/192.168.100.147
************************************************************/
7、 启动HDFS文件管理系统
1）通过start-dfs.sh命令启动HDFS文件管理系统，启动后通过如下日志信息可以看到分别启动了namenode节点（K-Master）、datanode节点（KVMSlave1、KVMSlave2、KVMSlave3）和secondarynamenode节点（K-Master）。
[hadoop@K-Master ~]$ start-dfs.sh
starting namenode, logging to /usr/hadoop/libexec/../logs/hadoop-hadoop-namenode-K-Master.out
KVMSlave1: starting datanode, logging to /usr/hadoop/libexec/../logs/hadoop-hadoop-datanode-KVMSlave1.out
KVMSlave2: starting datanode, logging to /usr/hadoop/libexec/../logs/hadoop-hadoop-datanode-KVMSlave2.out
KVMSlave3: starting datanode, logging to /usr/hadoop/libexec/../logs/hadoop-hadoop-datanode-KVMSlave3.out
K-Master: starting secondarynamenode, logging to /usr/hadoop/libexec/../logs/hadoop-hadoop-secondarynamenode-K-Master.out
2）在K-Master节点上查看启动进程
若打印如下日志信息，表明namenode节点启动了NameNode和SecondaryNameNode2服务进程，即namenode节点HDFS文件管理系统启动成功。
[hadoop@K-Master ~]$ jps
5971 NameNode
6108 SecondaryNameNode
3）在KVMSlave1节点上查看启动进程
以hadoop用户远程登录KVMSlave1服务器，通过jps命令查看启动进程。若打印如下日志信息，表明datanode节点启动了DataNode服务进程，即KVMSlave1节点HDFS文件管理系统启动成功，用户可在远程登录其他datanode节点上查看其HDFS文件管理系统启动是否成功。
[hadoop@KVMSlave1 ~]$ jps
1265 DataNode
8、 启动MapReduce
1）通过start-mapred.sh命令启动MapReduce分布式计算服务，启动后通过以下日志信息可以看出在namenode节点上启动了jobtracker进程，分别在datanode节点（KVMSlave1、KVMSlave2、KVMSlave3）上启动了tasktracker进程。
[hadoop@K-Master ~]$ start-mapred.sh
starting jobtracker, logging to /usr/hadoop/libexec/../logs/hadoop-hadoop-jobtracker-K-Master.out
KVMSlave1: starting tasktracker, logging to /usr/hadoop/libexec/../logs/hadoop-hadoop-tasktracker-KVMSlave1.out
KVMSlave2: starting tasktracker, logging to /usr/hadoop/libexec/../logs/hadoop-hadoop-tasktracker-KVMSlave2.out
KVMSlave3: starting tasktracker, logging to /usr/hadoop/libexec/../logs/hadoop-hadoop-tasktracker-KVMSlave3.out
2）K-Master节点上查看启动进程
若打印如下日志信息，表明namenode节点上新启动了JobTracker进程，即namenode节点的JobTracker启动成功。
[hadoop@K-Master ~]$ jps
1342 NameNode
1619 JobTracker
1480 SecondaryNameNode
3）KVMSlave1节点上查看启动进程
以hadoop用户远程登录KVMSlave1服务器，通过jps命令查看启动进程。若打印如下日志信息，表明KVMSlave1节点上新启动了TaskTracker进程，即KVMSlave1节点的TaskTracker启动成功。用户可远程登录其他的datanode节点上查看TaskTracker是否启动成功。
[hadoop@KVMSlave1 ~]$ jps
1549 TaskTracker
1265 DataNode
9、 命令查看Hadoop集群的状态
通过简单的jps命令虽然可以查看HDFS文件管理系统、MapReduce服务是否启动成功，但是无法查看到Hadoop整个集群的运行状态。我们可以通过hadoop dfsadmin -report进行查看。用该命令可以快速定位出哪些节点挂掉了，HDFS的容量以及使用了多少，以及每个节点的硬盘使用情况。
[hadoop@K-Master ~]$ hadoop dfsadmin -report
Configured Capacity:
(222.04 GB)
Present Capacity:
(204.08 GB)
DFS Remaining:
(203.24 GB)
(859.36 MB)
DFS Used%: 0.41%
Under replicated blocks: 72
Blocks with corrupt replicas: 0
Missing blocks: 0
-------------------------------------------------
Datanodes available: 3 (3 total, 0 dead)
Name: 192.168.100.144:50010
Decommission Status : Normal
Configured Capacity:
(74.01 GB)
(286.45 MB)
Non DFS Used:
DFS Remaining: (67.94 GB)
DFS Used%: 0.38%
DFS Remaining%: 91.8%
Last contact: Tue Feb 03 16:50:00 CST 2015
Name: 192.168.100.148:50010
Decommission Status : Normal
Configured Capacity:
(74.01 GB)
(286.45 MB)
Non DFS Used:
DFS Remaining: (67.92 GB)
DFS Used%: 0.38%
DFS Remaining%: 91.77%
Last contact: Tue Feb 03 16:49:59 CST 2015
Name: 192.168.100.146:50010
Decommission Status : Normal
Configured Capacity:
(74.01 GB)
(286.45 MB)
Non DFS Used:
DFS Remaining: (67.38 GB)
DFS Used%: 0.38%
DFS Remaining%: 91.03%
Last contact: Tue Feb 03 16:50:00 CST 2015
【内容导航】
相关资讯 & & &
& (08/17/:10)
& (07/19/:06)
& (11/07/:17)
& (08/09/:17)
& (05/31/:38)
图片资讯 & & &
　　　同意评论声明
　　　发表
尊重网上道德，遵守中华人民共和国的各项有关法律法规
承担一切因您的行为而直接或间接导致的民事或刑事法律责任
本站管理人员有权保留或删除其管辖留言中的任意内容
本站有权在网站内转载或引用您的评论
参与本评论即表明您已经阅读并接受上述条款怎样利用多台计算机进行CST的分布式计算?_百度知道
怎样利用多台计算机进行CST的分布式计算?
我有更好的答案
现在CST支持分布式计算和并行计算，如果你的口令支持的话，详细可以询问CST中国
其他类似问题
为您推荐：
分布式计算的相关知识
等待您来回答
下载知道APP
随时随地咨询
出门在外也不愁}