检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何采用Java命令提交Spark应用 问题 除了spark-submit命令提交应用外，如何采用Java命令提交Spark应用？ 回答 您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下：
如何采用Java命令提交Spark应用 问题 除了spark-submit命令提交应用外，如何采用Java命令提交Spark应用？ 回答 您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下：
如何关闭Hive客户端日志 问题 如何关闭Hive客户端的运行日志？ 回答 使用root用户登录安装客户端的节点。 执行以下命令，切换到客户端安装目录，例如“/opt/client”。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env
HBase如何关闭HDFS多路读功能 现象描述 MRS 3.3.1及之后版本，HBase默认适配开启HDFS多路读功能（HDFS多路读相关介绍请参见配置HDFS多路读）以降低读取延迟及适应网络变化，相关参数如表1所示。 表1 HBase适配HDFS多路读相关参数 参数名称 参数描述
如何关闭Hive客户端日志 问题 如何关闭Hive客户端的运行日志？ 回答 使用root用户登录安装客户端的节点。 执行以下命令，切换到客户端安装目录，例如“/opt/client”。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env
如何通过集群外的节点访问MRS集群？ 创建集群外Linux操作系统ECS节点访问MRS集群 创建一个集群外ECS节点，具体请参考购买弹性云服务器。 ECS节点的“可用区”、“虚拟私有云”、“安全组”，需要和待访问集群的配置相同。 在VPC管理控制台，申请一个弹性IP地址，并与ECS绑定。
购买MRS集群提交订单时报无效认证如何处理？ 问： 购买MRS集群，提交订单时，报无效认证，怎么办？ 答： 通过管理人员检查API请求日志发现告警信息为细粒度策略中未赋予IAM用户“mrs:cluster:create”的权限导致。 分析原因为当前IAM用户归属在多个用户组内，多
如何使用自定义安全组创建MRS集群？ 问： 如何使用自定义安全组创建MRS集群？ 答： 使用自定义安全组创建MRS集群有以下两种方式： 用户购买集群时，选择使用自己创建的安全组时，需要放开9022端口。 用户购买集群时，安全组选择“自动创建”。 父主题： 集群创建类
DataArts Studio调度Spark作业偶现失败如何处理？ 问题现象 DataArts Studio调度spark作业，偶现失败，重跑失败，作业报错： Caused by: org.apache.spark.SparkException: Application appl
MRS集群内节点互信异常如何处理？ 当Manager报“ALM-12066 节点间互信失效”告警，或者发现节点间无ssh互信时，可参考如下步骤操作。 分别在互信集群的两端节点执行ssh-add -l 确认是否有identities信息。 如果没有identities信息，执行ps
提交Flink作业时报错slot request timeout如何处理？ 问题现象 Flink作业提交时，jobmanager启动成功，但taskmanager一直是启动中直到超时，报错如下： org.apache.flink.runtime.jobmanager.scheduler
单NameNode长期故障时如何使用客户端手动checkpoint 问题背景与现象 在备NameNode长期异常的情况下，会积攒大量的editlog，此时如果重启HDFS或者主NameNode，主NameNode会读取大量的未合并的editlog，导致耗时启动较长，甚至启动失败。
如何在MRS集群中手动添加组件？ 问：如何在已创建好的MRS集群中手动添加服务？ 答： 已经创建的MRS 3.1.0及之前版本集群不支持安装新的组件。如果需要使用当前集群未安装的组件，则需要重新创建一个集群，并且选择所需要的组件。 MRS 3.1.2-LTS.3及之后版本的自定义
MRS导出数据到OBS加密桶失败如何处理？ 问： MRS导出数据到OBS加密桶失败如何处理？ 答： 目前仅MRS 1.9.x及之后版本支持OBS加密桶功能，MRS 1.8.x及之前版本不支持OBS加密桶功能。 如需使用OBS加密桶请使用MRS 1.9.x及之后版本集群。 父主题：
如何上传本地文件到集群内节点？ 登录MapReduce服务管理控制台。 选择“现有集群”，单击集群名，进入集群基本信息页面。 在“节点管理”页签单击任一节点名称，登录到弹性云服务器管理控制台。 参见申请弹性公网IP为集群的节点绑定一个弹性IP地址。 参考上传文件到云服务器方式概览，将本地文件上传到集群节点。
Spark作业访问OBS报错“requestId=XXX”如何处理？ 问： Spark作业访问OBS报错，错误信息如下，如何处理？ xxx requestId=4971883851071737250 xxx 答： 登录Spark客户端节点，进入conf目录，修改配置文件“core-site
如何修改Clickhouse服务的allow_drop_detached配置项? 用root用户登录Clickhouse客户端所在节点。 进入客户端目录，配置环境变量。 cd /opt/客户端安装目录 source bigdata_env 如果当前集群已启用Kerberos认证，
购买MRS集群时，找不到ZooKeeper组件如何处理？ 问： 购买MRS集群时，为什么找不到ZooKeeper组件？ 答： 创建MRS 3.x之前版本集群时，ZooKeeper组件为默认安装的组件，不在创建集群的界面上显示。 集群创建完成后可在集群“组件管理”页签看到ZooKeeper组件。
如何设置Spark作业执行时自动获取更多资源？ 问 如何设置Spark作业执行时自动获取更多资源？ 答 对于Spark应用来说，资源是影响Spark应用执行效率的一个重要因素。当一个长期运行的服务（比如JDBCServer），如果分配给它多个Executor，可是却没有任何任务分
Hue WebUI界面中下载的Excel无法打开如何处理？ 本案例适用于MRS 3.x之前版本。 以root用户登录任意一个Master节点，切换到omm用户。 su - omm 使用如下命令查看当前节点是否为OMS主节点。 sh ${BIGDATA_HOME}/om-0.0.1/sbin/status-oms
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
