检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
operation CREATETABLE [[CREATE] on Object [type=DATABASE, name=xxx]] 可能原因 CDL业务运行用户无权限在其他用户创建的数据库中创建表。 处理步骤 登录FusionInsight Manager，选择“系统 > 角色 >
登录FusionInsight Manager，选择“集群 > 服务 > Yarn > 配置 > 全部配置”，在左侧选择“Yarn > 自定义”，在“yarn.yarn-site.customized.configs”中添加“yarn.resourcemanager.zk-tim
加入表1中的参数。 表1 增强BulkLoad效率的配置项 参数 描述 配置的值 -Dimporttsv.mapper.class 用户自定义mapper通过把键值对的构造从mapper移动到reducer以提高性能。mapper只需要把每一行的原始文本发送到reducer，re
补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.9.3.1 发布时间 2020-09-04 解决的问题 MRS Manager 解决自定义集群缩容Task节点失败问题 MRS大数据组件 解决Hive和Spark路径下adapter-hadoop-wrapper-file-system包版本错误问题
元数据导入MRS集群DBService。 $Sqoop_Home/bin/sqoop export --connect jdbc:postgresql://<ip>:20051/hivemeta --table <table_name> --username hive -password
Flink流式写Hudi表参数规范 参数名称 是否必填 参数描述 建议值 Connector 必填 读取表类型。 hudi Path 必填 表存储的路径。 根据实际填写 hoodie.datasource.write.recordkey.field 必填 表的主键。 根据实际填写 write
void init() throws ClassNotFoundException { // 认证用的密码写入代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全; // 本示例以密码保存在环境变量中来实现
定。 Tablet&Partition 在Doris的存储引擎中，用户数据被水平划分为若干个数据分片（Tablet，也称作数据分桶）。每个Tablet包含若干数据行。各个Tablet之间的数据没有交集，并且在物理上是独立存储的。 多个Tablet在逻辑上归属于不同的分区（Part
ice WebUI界面，从Hudi导入数据到DWS。 前提条件 集群已安装CDL、Hudi服务且运行正常。 DWS数据库需要开启前置要求，操作步骤请参考DWS数据库前置准备。 在FusionInsight Manager中创建一个人机用户，例如“cdluser”，加入用户组cdl
hbase.regionserver.wal.IndexedWALEditCodec”。 Manager上，可以看到RegionServer有如下自定义配置： 原因分析 用户配置了Phoenix的索引功能，由于新节点没有Phoenix对应的jar包，导致找不到类，启动失败。 处理步骤 登录
bigdata.mapreduce.examples.MultiComponentExample类： 样例1：类MultiComponentMapper定义Mapper抽象类的map方法。 private static class MultiComponentMapper extends Mapper<Object
产生告警的主机名。 NameService名 产生告警的NameService名称。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 NameNode无法及时处理来自HDFS客户端、依赖于HDFS的上层服务、DataNode等的RPC请求，
运行变慢、页面响应迟钝、接口响应超时等），甚至出现崩溃或错误。 系统故障：卡IO可能会导致系统故障，从而导致客户的业务受到影响。如果慢盘上存储的数据包含关键信息，可能会导致系统崩溃或数据丢失。 可能原因 磁盘老化。 处理步骤 更换磁盘。 在FusionInsight Manager界面，选择“运维
tly Once）。 SavePoint Savepoint是指允许用户在持久化存储中保存某个checkpoint，以便用户可以暂停自己的任务进行升级。升级完后将任务状态设置为savepoint存储的状态开始恢复运行，保证数据处理的延续性。 父主题： Flink应用开发概述
登录FusionInsight Manager系统，选择“集群 > 服务 > Spark > 配置 > 全部配置 >JDBCServer（角色） > 自定义”，在“custom”中添加如下参数，并重启JDBCServer服务： 参数 说明 默认值 spark.yarn.session.to.application
les-1.0.jar”为jar包路径，“hdfs://hacluster/tmp/example/hoodie_java”为Hudi表的存储路径，“ hoodie_java”为Hudi表的表名。 运行Scala样例程序： spark-submit --class com.huawei
建议：编程时必须加以考虑的原则。 说明：对此规则或建议进行的解释。 示例：对此规则或建议给出示例。 适用范围 基于MRS-Flink数据存储进行数据存储、数据加工作业的设计、开发、测试和维护。 该设计开发规范是基于MRS 3.2.0及以后版本。 参数优化部分适配于MRS 3.2.0及以后版本。
根据业务需求配置相关参数。 表1 Yarn权限参数 参数名称 描述 Policy Name 策略名称，可自定义，不能与本服务内其他策略名称重复。 Policy Conditions IP过滤策略，可自定义，配置当前策略适用的主机节点，可填写一个或多个IP或IP段，并且IP填写支持“*”通配符，例如：192
ster_1_Flume_ClientConfig/Flume/FlumeClient/flume/conf/plugin.conf文件，定义具体调用的脚本、相关参数。 配置如下： RUN_PLUGIN="PLUGIN_LIST_1" LOG_TO_HDFS_PATH="/yxs"
bigdata.mapreduce.examples.MultiComponentExample类： 样例1：类MultiComponentMapper定义Mapper抽象类的map方法。 private static class MultiComponentMapper extends Mapper<Object
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
