检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
常见jar包冲突处理方式 问题现象 Spark能对接很多的第三方工具，因此在使用过程中经常会依赖一堆的三方包。而有一些包MRS已经自带，这样就有可能造成代码使用的jar包版本和集群自带的jar包版本不一致，在使用过程中就有可能出现jar包冲突的情况。 常见的jar包冲突报错有： 1、报错类找不到：java
如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。 解决的问题 解决告警不上报的问题 补丁兼容关系 MRS 1.9.2.5补丁包中包含MRS 1.9.2版本已发布的所有补丁已解决的问题。 补丁基本信息 表2 补丁基本信息 补丁号 MRS 1.9.2.3 发布时间
了StoppableFunction接口的作业。“stop”命令会等待所有资源都正确关闭。相比“cancel”命令，“stop”停止作业的方式更为优雅，但可能导致停止作业失败。 flink脚本的其他参数可以通过以下命令获取： bin/flink --help 注意事项 如果yarn-session
s为单位）。 30000 否 Blob服务端 表2 Blob服务端参数说明 参数 描述 默认值 是否必选 blob.server.port blob服务器端口。 32456-32520 否 blob.service.ssl.enabled blob传输通道是否加密传输，仅在全局开关security
Master2节点。 确认集群主备管理节点。 远程登录Master1节点，请参见登录MRS集群节点。 Master节点支持Cloud-Init特性，Cloud-init预配置的用户名“root”，密码为创建集群时设置的密码。 执行以下命令切换用户。 sudo su - root su
“hdfs://hacluster/user/admin/examples/output-data/spark_workflow” 在“Options list”文本框指定spark参数，例如“--conf spark.yarn.archive=hdfs://hacluster/us
main(TopicCommand.scala) (kafka.admin.TopicCommand$) 可能原因 用户不属于kafkaadmin组，Kafka提供安全访问接口，kafkaamdin组用户才可以进行topic删除操作。 原因分析 使用客户端命令，打印AdminOperationException异常。
H路径。 daemonlog 获取或者设置服务LOG级别。 CLASSNAME 运行一个名字为CLASSNAME的类。 top 运行集群利用率监控工具。 -Dmapreduce.job.hdfs-servers 如果对接了OBS，而服务端依然使用HDFS，那么需要显式在命令行使用
“hdfs://hacluster/user/admin/examples/output-data/spark_workflow” 在“Options list”文本框指定spark参数 , 例如“--conf spark.yarn.archive=hdfs://hacluster/user/spark2x/jars/8
Kafka Java API接口介绍 Kafka相关接口同开源社区保持一致。 Kafka Java API接口介绍可直接参考开源社区。 详情请参见http://kafka.apache.org/documentation.html#api。 父主题： Kafka接口介绍
当HetuEngine访问Hive数据源时，需要访问Hive metastore获取元数据信息。HetuEngine提供了元数据缓存的功能，当首次访问Hive数据源的库或表时，会将该库或表的元数据信息（数据库名、表名、表字段、分区信息、权限信息等）缓存起来，后续访问时不需要再次访问Hive
1-LTS.1.2补丁基本信息及解决问题列表请参考补丁基本信息说明。 安装补丁前提条件 集群不能存在被隔离的主机，如果存在，需要先恢复被隔离主机。 集群有以下要求： 请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。 集群中各组件服务正常、各实例正常、无故障、无退服的实例。
Manager界面超时退出后无法正常登录 现象描述 MRS Manager超时退出后偶现无法正常登录访问页面。 可能原因 超时后页面的js及css文件未加载成功。 操作步骤 清除浏览器缓存。 刷新当前页面即可正常登录及访问。 父主题： 登录集群Manager常见异常问题
修改集群域名后无法登录Manager页面 问题现象 用户修改域名后，通过console页面无法登录MRS Manager页面，或者登录MRS Manager页面异常。 原因分析 用户修改域名后，没有刷新executor用户的keytab文件，导致executor进程认证失败后不断循环认证，导致了acs进程内存溢出。
trl+Shift+Delete”弹出“清除浏览数据”对话框。 勾选待清除的浏览记录，单击“清除数据”，完成浏览器缓存清理。 检查是否可以访问Manager。 是，操作结束。 否，执行4。 修改“/opt/Bigdata/tmp”目录权限 以root用户依次登录Master1、Master2节点。
访问HBase Phoenix提示权限不足如何处理 问题 使用租户访问Phoenix提示权限不足。 回答 创建租户的时候需要关联HBase服务和Yarn队列。 租户要操作Phoenix还需要额外操作的权限，即Phoenix系统表的RWX权限。 例如： 创建好的租户为hbase，使用admin用户登录hbase
使用hive-table方式同步数据报错 问题 使用hive-table方式同步数据报错。 回答 修改hive-site.xml，加入如下值。 父主题： Sqoop常见问题
使用hcatalog方式同步hive parquet表报错 问题 同步hive parquet表，其分区字段为非string类型，无法正常使用hive import导入，只能考虑使用hcatalog方式，但是hcatalog方式报错如下： 回答 修改sqoop源码SqoopHCa
执行以下命令，远端启动Spark运行SparkPi。 ./spark-submit --master yarn-client --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=5006"
执行以下命令，远端启动Spark运行SparkPi。 ./spark-submit --master yarn-client --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=5006"
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
