|
|
使用Yarn客户端命令查询历史作业时遇到错误。可能的原因包括配置问题、权限不足或网络连接问题。建议检查相关设置，确保有足够的权限，并检查网络连接状态。
在使用Yarn客户端命令查询历史作业时，可能会遇到一些错误，以下是一些常见的错误及其解决方法：
zbhj5fzo5bkwg4r.jpg
（图片来源网络，侵删）
1. 权限问题
错误信息：
Permission denied: user=, access=WRITE, inode="/":hadoop:hdfs:drwxrxrx
解决方法：
确保当前用户具有访问HDFS的权限，可以尝试使用kinit命令进行身份验证，或者联系管理员为当前用户分配相应的权限。
2. YARN配置问题
错误信息：
java.lang.IllegalArgumentException: Error initializing the proxy for yarn
解决方法：
zbhj4igkukqnowb.jpg
（图片来源网络，侵删）
检查YARN配置文件（如yarnsite.xml）中的代理设置是否正确，确保以下属性设置正确：
yarn.resourcemanager.webapp.address
${yarn.resourcemanager.hostname}:8088
yarn.resourcemanager.ha.rmids
rm1,rm2
yarn.resourcemanager.hostname.rm1
rm1.example.com
yarn.resourcemanager.hostname.rm2
rm2.example.com
3. 网络连接问题
错误信息：
java.net.ConnectException: Call to rm1/192.168.1.1:8032 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
解决方法：
检查ResourceManager的地址和端口是否正确，确保ResourceManager正在运行，并且可以从客户端访问，如果使用了高可用性（HA）模式，请确保所有ResourceManager节点都处于活动状态。
4. 资源不足
错误信息：
zbhj4hjmqzagyuk.png
（图片来源网络，侵删）
org.apache.hadoop.yarn.exceptions.OutOfMemoryError: Java heap space
解决方法：
增加YARN容器的最大内存限制，可以通过修改yarnsite.xml文件中的以下属性来实现：
yarn.scheduler.maximumallocationmb
20480
yarn.scheduler.minimumallocationmb
1024
5. 其他错误
错误信息：
java.io.IOException: Server IPC version mismatch
解决方法：
确保客户端和服务器端的Hadoop版本兼容，如果版本不匹配，请升级或降级客户端以匹配服务器端的版本。 |
|
