检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
其他版本集群请联系技术支持处理。 MRS 2.1.0（需安装 2.1.0.5或之后版本的补丁） MRS 3.1.0（需安装 3.1.0.0.2或之后版本的补丁） MRS 3.1.5 MRS 3.2.0-LTS.1（需安装3.2.0-LTS.1.3或之后版本的补丁） 集群版本为MRS
执行Yarn客户端命令查询历史作业报错，进程被终止。具体错误如下: 原因分析 客户端分配内存不足，导致提交命令报错。 处理步骤 以root用户登录HDFS客户端安装节点。 执行以下命令编辑文件。 vim /opt/client/HDFS/component_env 调大参数“ export GC_OP
Doris数据库名和表名区分大小写。 前提条件 已创建包含Doris服务的集群，集群内各服务运行正常。 待连接Doris数据库的节点与MRS集群网络互通。 已安装MySQL客户端，相关操作可参考使用MySQL客户端连接Doris。 操作步骤 创建具有Doris管理权限的用户。 集群已启用Kerberos认证（安全模式）
partition by：分区字段 分区键不允许为null，如果字段中有null值，需要做数据转换处理。 表级别的参数配置： index_granularity：稀疏索引粒度配置，默认是8192，一般不需要修改。 建表定义，参考链接： https://clickhouse.tech/do
JDBC方式使用公用资源，不用单独起Spark作业，但是不能指定执行SQL所需要的资源以及配置参数，因此建议用来做建表操作或小数据量的查询操作。 Spark API方式执行的SQL独立起Spark作业，有一定的耗时，但是可以通过配置运行程序参数来指定作业所需要的资源等参数，建议批量导入等 作业使用AP
return properties; } 注意事项 通过Java API访问Oozie需要先参考环境准备章节进行安全认证，并将依赖的配置文件（配置文件Workflow.xml的开发参见workflow.xml）与jar包上传到HDFS，并确保进行过安全认证的用户有权限访问HDFS
2 16/07/12 17:07:18 INFO mapreduce.JobSubmitter: number of splits:2 16/07/12 17:07:18 INFO mapreduce.JobSubmitter: Submitting tokens for job:
that it 问题根因： 报错中type为5时：在执行sqoop import命令时，会启动MapReduce任务，由于MRS Hadoop安装目录（${BIGDATA_HOME}/FusionInsight_HD_*/1_*_NodeManager/install/hadoop/
接口参数说明 命令 参数 含义 oozie version 无 显示Oozie版本信息 oozie job -config <arg> 指定job配置文件（job.properties）路径 -oozie <arg> 指定oozie server地址 -run 运行job -start <arg>
brokers: 0. 原因分析 由特殊字符导致获取的ZooKeeper地址变量错误。 处理步骤 登录任意一个Master节点。 执行cat 客户端安装目录/Kafka/kafka/config/server.properties |grep '^zookeeper.connect ='命
提交Kudu应用程序运行前，在Kudu客户端执行如下命令进行认证。 kinit 组件业务用户 该方式仅适用于Linux操作系统，且安装了Kudu的客户端。 代码认证： 通过获取客户端的principal配置文件和keytab文件进行认证。 父主题： 准备Kudu应用开发环境
出现该报错作业不会立即异常，在超过重试次数时才会通知作业异常。可以适当增大HDFS参数“dfs.client.block.write.retries”配置，例如：“dfs.client.block.write.retries=10”。 父主题： Loader常见问题
主要进程运行的性能，甚至造成内存溢出导致OMS主要进程不可用，OMS任务执行变慢或失败。 可能原因 该节点OMS主要进程内存使用率过大，或配置的内存不合理，导致使用率超过阈值。 处理步骤 检查进程内存使用率。 在FusionInsight Manager界面，选择“运维 > 告警
N，缓存中将会找不到HDFS_DELEGATION_TOKEN。 为了能够在随后的工作中再次使用同一个Token，为MapReduce任务配置参数。当参数为false时，用户能够再次使用同一个Token。 jobConf.setBoolean("mapreduce.job.complete
txt。 在客户端安装节点下创建文件目录：“/home/data”。将上述两个文件上传到此“/home/data”目录下。 将Kafka的Broker配置参数“allow.everyone.if.no.acl.found”值设置为“true”(普通集群不需配置)。 启动样例代码的
API、HBase Shell或者Web UI访问服务端，对HBase的表进行读写操作。本文中的HBase客户端特指HBase client的安装包，可参考HBase对外接口介绍。 父主题： HBase应用开发概述
that it 问题根因： 报错中type为5时：在执行sqoop import命令时，会启动MapReduce任务，由于MRS Hadoop安装目录（/opt/Bigdata/FusionInsight_HD_*/1_*_NodeManager/install/hadoop/sha
tion作业CPU与内存的比例按照1:4~1:8配置，保证Compaction作业稳定运行。当Compaction出现OOM问题，可以通过调大内存占比解决。 建议 通过增加并发数提升Compaction性能。 CPU和内存比例配置合理会保证Compaction作业是稳定的，实现单个Compaction
速发现数据价值。 快速购买MRS集群 进入购买MRS集群页面。 在购买集群页面，选择“快速购买”页签。 参考下列参数说明配置集群基本信息。 表1 MRS集群配置参数 参数 描述 示例 计费模式 集群的计费模式，MRS提供“包年/包月”与“按需计费”两种计费模式。 选择“按需计费”
JobHistory2x直接内存 在FusionInsight Manager首页，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”，选择“JobHistory2x > 默认”，“SPARK_DAEMON_JAVA_OPTS”参数中“-XX:MaxDirect
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
