Operation category READ is not supported in state standby

org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in state standby

此时请登录Hadoop的管理界面查看运行节点是否处于standby

如登录地址是：

http://192.168.50.221:50070/dfshealth.html#tab-overview

如果是，则不可在处于StandBy机器运行spark计算，因为该台机器为备分机器

配置spark.deploy.recoveryMode选项为ZOOKEEPER

如果不设置spark.deploy.recoveryMode的话，那么集群的所有运行数据在Master重启是都会丢失，可参考BlackHolePersistenceEngine的实现。

多Master如何配置

因为涉及到多个Master，所以对于应用程序的提交就有了一点变化，因为应用程序需要知道当前的Master的IP地址和端口。这种HA方案处理这种情况很简单，只需要在SparkContext指向一个Master列表就可以了，如spark://host1:port1,host2:port2,host3:port3，应用程序会轮询列表。