cdh4.6.0到cdh5.2.0 upgrade和rollback问题小结-白红宇

upgrade小结：
1.dfsadmin -upgradeProgress status 在cdh5.2.0中没有，在4.6.0有（见源码org.apache.hadoop.hdfs.tools.DFSAdmin）
升级的时候不能通过这个看到升级状态
rollingUpgrade这个参数在4.6.0中不存在，在5.2.0中有，可以用于滚动升级
2.在cdh5.2.0中执行upgrade,nn中调用的命令是

                         
hadoop-daemon.sh start namenode -upgrade

最终调用org.apache.hadoop.hdfs.server.namenode.NameNode类，并传入upgrade参数

3.yarn的设置有些变动，下面两个参数会影响nm是否启动正常

                         
  
<property>
    
<name>yarn.nodemanager.aux-services<
/name
>
    
<value>mapreduce.shuffle<
/value
>
  
<
/property
>
  
<property>
    
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class<
/name
>
    
<value>org.apache.hadoop.mapred.ShuffleHandler<
/value
>
  
<
/property
>
        
      

修改为：

                         
   
<property>
    
<name>yarn.nodemanager.aux-services<
/name
>
    
<value>mapreduce_shuffle<
/value
>
  
<
/property
>
  
<property>
    
<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class<
/name
>
    
<value>org.apache.hadoop.mapred.ShuffleHandler<
/value
>
  
<
/property
>
        
      

4.impala1.1.1和cdh5.2.0有兼容性问题
cdh5.x开始使用PB做通信，需要升级impala到2.0.0（impala的可用性/稳定性/性能需要测试）

rollback小结：
1.rollback要在4.6.0版本上运行
在4.6.0上运行rollback,finalize,upgrade时，都会判断时否为ha模式，如果没有关闭ha的配置会报如下错误：

                         
14
/11/19
15:25:47 FATAL namenode.NameNode: Exception 
in
namenode 
join
org.apache.hadoop.HadoopIllegalArgumentException: Invalid startup option. Cannot perform DFS upgrade with HA enabled.
        
at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1130)
        
at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1241)
        
      

namenode类main方法中通过createNameNode方法创建一个NameNode的实例

                         
  
public
static
void
main(String argv[]) 
throws
Exception { 
    
if
(DFSUtil.parseHelpArgument(argv, NameNode.USAGE, System.out, 
true
)) { 
      
System.exit(
0
);
    
}
    
try
{ 
      
StringUtils.startupShutdownMessage(NameNode.
class
, argv, LOG);
      
NameNode namenode = createNameNode(argv, 
null
);
      
if
(namenode != 
null
)
        
namenode.join();
    
} 
catch
(Throwable e) { 
      
LOG.fatal(
"Exception in namenode join"
, e);
      
terminate(
1
, e);
    
}
  
}
        
      

而在createNameNode方法中会通过下面的代码检测是否为ha的配置，而在5.2.0是没有这个限制的。

                         
if
(HAUtil.isHAEnabled(conf, DFSUtil.getNamenodeNameServiceId(conf)) &&
        
(startOpt == StartupOption.UPGRADE ||
         
startOpt == StartupOption.ROLLBACK ||
         
startOpt == StartupOption.FINALIZE)) { 
      
throw
new
HadoopIllegalArgumentException(
"Invalid startup option. "
+
          
"Cannot perform DFS upgrade with HA enabled."
);
    
}

这里会涉及到两个判断方法：
1）

                         
org.apache.hadoop.hdfs.HAUti类的isHAEnabled方法：
  
public
static
boolean
isHAEnabled(Configuration conf, String nsId) { 
    
Map<String, Map<String, InetSocketAddress>> addresses =
      
DFSUtil.getHaNnRpcAddresses(conf);
    
if
(addresses == 
null
) 
return
false
;
    
Map<String, InetSocketAddress> nnMap = addresses.get(nsId);
    
return
nnMap != 
null
&& nnMap.size() > 
1
;  
  
}
        
      

这里会依次调用org.apache.hadoop.hdfs.DFSUtil类的

                         
getHaNnRpcAddresses/getAddresses/getNameServiceIds/getAddressesForNameserviceId/getNameNodeIds

方法，解析dfs.nameservices/dfs.ha.namenodes.xxxx/dfs.namenode.rpc-address.xxxx的设置来获取每个nameserviceid到对应的nn rpc地址的对应关系（

                         
Map<String, Map<String, InetSocketAddress>>

）并判断map value的size(如果dfs.ha.namenodes.x设置超过1个就算ha)，这里只要把配置改成下面即可

                         
  
<property>
        
<name>dfs.ha.namenodes.bipcluster<
/name
>
        
<value>nn1<
/value
>
<
/property
>
        
      

2）如果设置了jn会报如下错误：

                         
14
/11/19
16:47:32 FATAL namenode.NameNode: Exception 
in
namenode 
join
java.io.IOException: Invalid configuration: a shared edits 
dir
must not be specified 
if
HA is not enabled.
        
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:576)
        
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNamesystem.java:513)
        
at org.apache.hadoop.hdfs.server.namenode.NameNode.loadNamesystem(NameNode.java:403)
        
at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:445)
        
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:621)
        
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:606)
        
at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1177)
        
at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1241)
14
/11/19
16:47:32 INFO util.ExitUtil: Exiting with status 1
        
      

错误在FSNamesystem类的构造方法中:

                         
      
final
boolean
persistBlocks = conf.getBoolean(DFS_PERSIST_BLOCKS_KEY,
                                                    
DFS_PERSIST_BLOCKS_DEFAULT);  
//默认是false
      
// block allocation has to be persisted in HA using a shared edits directory
      
// so that the standby has up-to-date namespace information
      
String nameserviceId = DFSUtil.getNamenodeNameServiceId(conf);
      
this
.haEnabled = HAUtil.isHAEnabled(conf, nameserviceId); 
      
this
.persistBlocks = persistBlocks || (haEnabled && HAUtil.usesSharedEditsDir(conf));
     
      
// Sanity check the HA-related config.
      
if
(nameserviceId != 
null
) { 
        
LOG.info(
"Determined nameservice ID: "
+ nameserviceId);  
//Determined nameservice ID: bipcluster
      
}
      
LOG.info(
"HA Enabled: "
+ haEnabled); 
//HA Enabled: false
      
if
(!haEnabled && HAUtil.usesSharedEditsDir(conf)) { 
//异常由这里抛出
        
LOG.warn(
"Configured NNs:\n"
+ DFSUtil.nnAddressesAsString(conf));   
//Configured NNs: Nameservice <bipcluster>: NN ID nn1 => xxxx:8020
        
throw
new
IOException(
"Invalid configuration: a shared edits dir "
+
            
"must not be specified if HA is not enabled."
);
      
}
        
      

HAUtil.usesSharedEditsDir方法：

                         
public
static
boolean
usesSharedEditsDir(Configuration conf) { 
    
return
null
!= conf.get(DFS_NAMENODE_SHARED_EDITS_DIR_KEY);
  
}

判断jn的edit dir设置，如果设置了dfs.namenode.shared.edits.dir就会抛出异常
去掉下面的设置即可：

                         
<
property
>
        
<
name
>dfs.namenode.shared.edits.dir</
name
>
        
<
value
>qjournal://xxxxx/bipcluster</
value
>
</
property
>
        
      

2.rollback的时候要先把ha的配置更改为非ha的配置，然后进行rollback
rollback之后，再重做ha
重做ha的步骤简单如下：
1).关闭整个集群(非ha的),更改配置为ha的配置，备份原来的standby nn和jn的数据目录
2).删除旧的jn数据，并单独启动jn

                         
.
/hadoop-daemon
.sh  start journalnode

3).在active nn上运行

                         
hdfs namenode -initializeSharedEdits

namenode通过initializeSharedEdits命令来初始化journalnode，把edits文件共享到journalnode上
4).运行active nn

                         
.
/hadoop-daemon
.sh start namenode

5).在standby的nn上运行

                         
hadoop-daemon.sh start  namenode -bootstrapStandby
hadoop-daemon.sh start  namenode

同步元数据并启动standby namenode
6).启动所有的dn

                         
.
/hadoop-daemons
.sh start  datanode

7).nn transitionToActive

                         
hdfs haadmin -transitionToActive nn1
hdfs haadmin -getServiceState nn1

3.start-dfs.sh 这个脚本有bug，在传入-rollback时，只能dn可以rollback,nn不能rollback

                         
diff
../..
/hadoop-2
.5.0-cdh5.2.0
/sbin/start-dfs
.sh  start-dfs.sh   
50c50
< nameStartOpt=
"$nameStartOpt $@"
---
> nameStartOpt=
"$nameStartOpts $@"
        
      

也可以直接通过

                         
sh -x .
/hadoop-daemon
.sh  start namenode -rollback

命令rollback nn，注意dn还是要rollback的
4.如果rollback或upgrade失败，可以通过之前的备份元数据进行覆盖恢复

本文转自菜菜光 51CTO博客，原文链接：http://blog.51cto.com/caiguangguang/1579873，如需转载请自行联系原作者