hadoop3种集群方式-创新互联

hadoop3种集群方式包括独立模式、伪分布式模式和完全分布式模式

成都创新互联是一家集网站建设,合水企业网站建设,合水品牌网站建设,网站定制,合水网站建设报价,网络营销,网络优化,合水网站推广为一体的创新建站企业，帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿，时刻以成就客户成长自我，坚持不断学习、思考、沉淀、净化自己，让我们为更多的企业打造出实用型网站。

1独立模式

安装

a)下载jdk-8u65-linux-x64.tar.gz

b)tar开

$>su centos ; cd ~

$>mkdir downloads

$>cp /mnt/hdfs/downloads/bigdata/jdk-8u65-linux-x64.tar.gz ~/downlooads

$>tar -xzvf jdk-8u65-linux-x64.tar.gz

c)创建/soft文件夹

$>sudo mkdir /soft

$>sudo chown centos:centos /soft

d)移动tar开的文件到/soft下

$>mv ~/downloads/jdk-1.8.0_65 /soft/

e)创建符号连接

$>ln -s /soft/jdk-1.8.0_65 /soft/jdk

f)验证jdk安装是否成功

$>cd /soft/jdk/bin

$>./java -version

配置jdk环境变量

1.编辑/etc/profile

$>sudo nano /etc/profile

...

export JAVA_HOME=/soft/jdk

exprot PATH=$PATH:$JAVA_HOME/bin

2.使环境变量即刻生效

$>source /etc/profile

3.进入任意目录下,测试是否ok

$>cd ~

$>java -version

注意点

你创建文件夹一定和你登陆的用户一致

安装HADOOP软件

 1.安装hadoop

a)下载hadoop-2.7.3.tar.gz

b)tar开

$>su centos ; cd ~

$>cp /mnt/hdfs/downloads/bigdata/hadoop-2.7.3.tar.gz ~/downloads

$>tar -xzvf hadoop-2.7.3.tar.gz

c)无

d)移动tar开的文件到/soft下

$>mv ~/downloads/hadoop-2.7.3 /soft/

e)创建符号连接

$>ln -s /soft/hadoop-2.7.3 /soft/hadoop

f)验证hadoop安装是否成功

$>cd /soft/hadoop/bin

$>./hadoop version

2.配置hadoop环境变量

$>sudo nano /etc/profile

...

export JAVA_HOME=/soft/jdk

exprot PATH=$PATH:$JAVA_HOME/bin

export HADOOP_HOME=/soft/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3.生效

$>source /etc/profile

4.进入任意目录下,测试是否ok

$>cd ~

$>hadoop version

5.nothing !

不需要启用单独的hadoop进程。

6.hafs dfs -ls /home 和 linux中的ls效果一样

伪分布模式（Pseudodistributed mode）

a)进入${HADOOP_HOME}/etc/hadoop目录

三种模式共存

1.创建三个配置目录,内容等同于hadoop目录

${hadoop_home}/etc/local

${hadoop_home}/etc/pesudo

${hadoop_home}/etc/full

2.创建符号连接

$>ln -spesudo hadoop

b)编辑core-site.xml

fs.defaultFS

hdfs://localhost/

c)编辑hdfs-site.xml

dfs.replication

1

d)编辑mapred-site.xml

注意:cp mapred-site.xml.template mapred-site.xml

mapreduce.framework.name

yarn

e)编辑yarn-site.xml

yarn.resourcemanager.hostname

localhost

yarn.nodemanager.aux-services

mapreduce_shuffle

配置：core-site.xml hdfs-site.xmls yarn-site.xml mapred-site.xml

f)配置SSH

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。

网站栏目：hadoop3种集群方式-创新互联
文章网址：http://www.wjwzjz.com/article/dcgeie.html