org.apache.hadoop.hbase.NotServingRegionException: Region

ERROR: org.apache.hadoop.hbase.NotServingRegionException: Region crashTable201706m,,1496830190568.20b812237d029b89587c4ac9984a4cc0. is not online on cdhnode3,60020,1498550132579
at org.apache.hadoop.hbase.regionserver.HRegionServer.getRegionByEncodedName(HRegionServer.java:2794)
at org.apache.hadoop.hbase.regionserver.RSRpcServices.getRegion(RSRpcServices.java:892)
at org.apache.hadoop.hbase.regionserver.RSRpcServices.scan(RSRpcServices.java:2108)
at org.apache.hadoop.hbase.protobuf.generated.ClientProtos$ClientService$2.callBlockingMethod(ClientProtos.java:31443)
at org.apache.hadoop.hbase.ipc.RpcServer.call(RpcServer.java:2035)
at org.apache.hadoop.hbase.ipc.CallRunner.run(CallRunner.java:107)
at org.apache.hadoop.hbase.ipc.RpcExecutor.consumerLoop(RpcExecutor.java:130)
at org.apache.hadoop.hbase.ipc.RpcExecutor$1.run(RpcExecutor.java:107)
at java.lang.Thread.run(Thread.java:744)
这个问题如何解决,现在出现这个问题,导致堆栈的数据都查询不了,scan 就出现如上错误。
已邀请:

采菊篱下 - 无分享不快乐 助力技术开源分享 运维一枚

赞同来自: Something chris

你这种情况很有可能是Hbase Master发生转移,发生了角色切换(Master---> Backup, Backup ---> Master),出现状态你可以进入到hbase shell,查看region 的情况:
hbasedead.png

如上图,这个dead的节点,就是这种情况导致不正常的现象。
 
修复操作:
1、在当然Master节点机器上操作:
./hbase-daemon.sh stop master
2、观察到Master已经变更回去了,然后启动:
./hbase-daemon.sh start master
角色变更回去了,应该就会正常:
zerodead.png

祝你好运,这是我遇到的情况,和解决思路。

要回复问题请先登录注册