检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS节点访问OBS报错408如何处理？ 问： MRS节点访问OBS报错408，怎么办？ 答： MRS节点访问OBS报错408时，用户需要更换OBS域名。 修改OBS域名为myhuaweicloud.com后缀的域名即可。 父主题： 作业管理类
java样例运行获取元数据失败如何处理 解决步骤 检查工程conf目录下“client.properties”中配置的“bootstrap.servers”配置值中访问的IP和端口是否正确。 如果IP与Kafka集群部署的业务IP不一致，那么需要修改为当前集群正确的IP地址。 如
的值。 服务端topic权限配置。 将Kafka的Broker配置参数“allow.everyone.if.no.acl.found”的值修改为“true”。 安全认证。 安全认证的方式有三种：Kerberos认证、SSL加密认证和Kerberos+SSL模式认证，用户在使用的时候可任选其中一种方式进行认证。
使用Sasl Kerberos认证 在安全集群环境下，各个组件之间不能够简单地相互通信，而需要在通信之前进行相互认证，以确保通信的安全性。Kafka应用开发需要进行Kafka、ZooKeeper、Kerberos的安全认证，这些安全认证只需要生成一个jaas文件并设置相关环境变量
Spark作业访问OBS报错“requestId=XXX”如何处理？ 问： Spark作业访问OBS报错，错误信息如下，如何处理？ xxx requestId=4971883851071737250 xxx 答： 登录Spark客户端节点，进入conf目录，修改配置文件“core-site.xml”中的“fs
IOException: Connection reset by peer”如何处理？ 问： Spark作业运行一直不结束，查看日志报错：java.io.IOException: Connection reset by peer。 答： 修改作业提交参数，加上参数“executor.memoryOverhead”。
Presto如何配置其他数据源？ 本指导以连接MySQL数据源为例。 MRS 1.x及MRS 3.x版本。 登录MRS管理控制台。 单击集群名称进入集群详情页面。 选择“组件管理 > Presto”。设置“参数类别”为“全部配置”，进入Presto配置界面修改参数配置。 搜索“c
初始化MRS集群用户密码 用户如果遗忘密码或公共账号密码需要定期修改时，管理员可通过Manager初始化密码。初始化密码后系统用户首次使用账号需要修改密码。 初始化MRS集群用户密码对系统的影响 初始化MRS集群用户密码后，如果以前下载过用户认证文件，则需要重新下载并获取keytab文件。
Hue连接HiveServer报错“over max user connections”如何处理？ 适用版本：MRS 3.1.0及之前的MRS 3.x版本。 修改所有Hue节点上的以下配置文件： /opt/Bigdata/FusionInsight_Porter_8.*/inst
如何关闭ZooKeeper的SASL认证？ 问： 怎么关闭ZooKeeper SASL认证？ 答： 登录FusionInsight Manager。 选择“集群 > 服务 > ZooKeeper > 配置 > 全部配置”。 在左侧导航栏选择“quorumpeer > 自定义”添加参数名称和值：zookeeper
如何提高Presto资源使用率？ 问题现象 节点资源利用不均衡，执行Presto任务几小时后仍未完成。 解决步骤 调小Yarn节点内存比例： 登录Manager页面，选择“集群 > 服务 > Presto > 实例”，查看并记录所有Presto实例所在节点主机名称。 选择“集群 >
tblproperties('hoodie.index.type'='xx'); Hive/Presto等引擎可以直接修改表属性，但是这种修改会导致整个Hudi表出现数据重复，甚至数据损坏；因此禁止修改上述属性。 父主题： Spark on Hudi开发规范
MRS集群如何使用公网访问Presto 用户问题 用户调测Presto JDBC样例代码，需要使用公网访问Presto。 问题分析 登录MRS Manager上查看Presto全部配置，Coordinator角色配置： PRESTO_COORDINATOR_FLOAT_IP = 内网IP地址
Impala样例程序指导 功能简介 本小节介绍了如何使用样例程序完成分析任务。本章节以使用JDBC接口提交数据分析任务为例。 样例代码 使用Impala JDBC接口提交数据分析任务，参考样例程序中的JDBCExample.java。 修改以下变量为false，标识连接集群的认证模式为普通模式。
分析Impala数据 功能简介 本小节介绍了如何使用样例程序完成分析任务。本章节以使用JDBC接口提交数据分析任务为例。 样例代码 使用Impala JDBC接口提交数据分析任务，参考样例程序中的JDBCExample.java。 修改以下变量为false，标识连接集群的认证模式为普通模式。
提交Flink任务时launcher-job被Yarn终止如何处理？ 问题现象 管控面提交Flink任务时launcher-job因heap size不足被Yarn终止如何处理？ 解决方法 调大launcher-job的heap size值。 使用omm用户登录主OMS节点。 修改“/opt/executor
如何处理集群内部OBS证书过期 用户问题 用户在MRS集群中访问OBS服务过程中出现证书过期问题。 问题现象 MRS集群产生“ALM-12054 证书文件失效”或“ALM-12055 证书文件即将过期”告警，且告警详情中触发告警的证书为OBS证书。 图1 OBS证书即将过期告警 图2
初始化存量表的分区 命令功能 计算每个历史分区的最后修改时间，以“lastUpdateTime=最后修改时间”的格式将每个分区的最后修改时间写入每个分区下的“.hoodie_partition_metadata”文件中。TTL会依据“当前系统时间 - 分区最后修改时间”来判断每个分区是否老化。 命令格式
Impala样例程序指导 功能简介 本小节介绍了如何使用样例程序完成分析任务。本章节以使用JDBC接口提交数据分析任务为例。 样例代码 使用Impala JDBC接口提交数据分析任务，参考样例程序中的JDBCExample.java。 修改以下变量为false，标识连接集群的认证模式为普通模式。
如何查看哪个ZooKeeper实例是Leader 问题 如何查看ZooKeeper实例的角色是Leader还是Follower？ 回答 登录集群Manager管理界面，选择“集群 > 服务 > ZooKeeper > 实例”。 单击相应的quorumpeer实例名称，进入对应实例的详情页面。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
