检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建FlinkServer应用 通过应用来隔离不同的上层业务。 使用具有FlinkServer管理员权限的用户访问Flink WebUI，请参考访问FlinkServer WebUI界面。 选择“系统管理 > 应用管理”，进入应用管理页面。 单击“创建应用”，在弹出的页面中填写应用信息，单击“确定”，完成应用创建。
写入更新数据时报错UnsupportedOperationException 问题 数据写入时报错： java.lang.UnsupportedOperationException: org.apache.parquet.avro.AvroConverters$FieldIntegerConverter
“/srv/BigData/data2”，则执行以下命令： mount /dev/vdb2 /srv/BigData/data2 弹性云服务器重启后，挂载会失效。您可以修改“/etc/fstab”文件，将新建磁盘分区设置为开机自动挂载，具体请参见设置开机自动挂载磁盘分区。 参见
该功能适用于MRS 3.5.0及之后版本。 操作步骤 使用MRS集群管理员用户（例如admin）登录Manager页面。 选择“集群 > 服务 > HDFS > 配置 > 全部配置”进入HDFS全部配置页面。 搜索并修改“dfs.namenode.fgl.enable”参数，配置项详细说明如下表。
该功能适用于MRS 3.2.0-LTS.1及之后版本。 操作步骤 登录FusionInsight Manager页面。 选择“集群 > 服务 > HDFS > 配置 > 全部配置”进入HDFS全部配置页面。 搜索并修改“dfs.namenode.file.close.num-c
Hudi写入小精度Decimal数据失败 问题 Hudi表初始入库采用BULK_INSERT方式入库含有Decimal类型的数据，之后执行upsert，数据写入时报错： java.lang.UnsupportedOperationException: org.apache.parquet
CHANGE_TABLE Hudi CALL COMMAND语法适用于MRS 3.2.0及之后版本。 命令功能 CHANGE_TABLE命令可以方便地修改表的类型以及索引，由于Hudi表本不支持修改表类型及索引等关键参数，该命令实际是将表重写。 命令格式 call change_table(table
0版本开启Kerberos认证的集群的CDLService WebUI界面，从Hudi导入数据到DWS。 前提条件 集群已安装CDL、Hudi服务且运行正常。 DWS数据库需要开启前置要求，操作步骤请参考DWS数据库前置准备。 在FusionInsight Manager中创建一个人
CLEAN_FILE 命令功能 用于清理Hudi表目录下的无效数据文件。 命令格式 call clean_file(table => '[table_name]', mode=>'[op_type]', backup_path=>'[backup_path]', start_in
拼接转换 概述 “拼接转换”算子，将已有字段的值通过连接符拼接，生成新的字段。 输入与输出 输入：需要拼接的字段 输出：拼接后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出字段名 配置拼接后的字段名。 string 是 无 分隔符 配置拼接符，可为空。
更新域 概述 “更新域”算子，当满足某些条件时，更新字段的值。 目前支持的类型有“BIGINT”、“DECIMAL”、“DOUBLE”、“FLOAT”、“INTEGER”、“SMALLINT”、“VARCHAR”。当类型为“VARCHAR”时，运算符为“+”时，表示在字符串后追加
Hive输出 概述 “Hive输出”算子，用于配置已生成的字段输出到Hive表的列。 输入与输出 输入：需要输出的字段 输出：Hive表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Hive文件存储格式 配置Hive表文件的存储格式（目前支持四种格式：CSV、ORC、RC和PARQUET）。
表输出 概述 “表输出”算子，用于配置输出的字段对应到关系型数据库的指定列。 输入与输出 输入：需要输出的字段 输出：关系型数据库表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出分隔符 配置分隔符。 说明： 该配置仅用于MySQL专用连接器，当数据列内容
文件输出 概述 “文件输出”算子，用于配置已生成的字段通过分隔符连接并输出到文件。 输入与输出 输入：需要输出的字段 输出：文件 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出分隔符 配置分隔符。 string 是 无 换行符 用户根据数据实际情况，填写字
HBase输出 概述 “HBase输出”算子，用于配置已生成的字段输出到HBase表的列。 输入与输出 输入：需要输出的字段 输出：HBase表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 HBase表类型 配置HBase表类型，可选项为normal（普通HBase表）和phoenix表。
配置Flink任务并行度 操作场景 并行度控制任务的数量，影响操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到更优。 查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度使任务和数据更均匀
登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > Flume”进入Flume服务界面，在右上角选择“更多 > 下载客户端”，选择“选择客户端类型”为“完整客户端”，下载Flume服务客户端文件。 客户端文件名称为“FusionInsight_Clust
失的现象。对数据可靠性要求高的场景请慎重配置。 操作步骤 参数入口： 在FusionInsight Manager系统中，选择“集群 > 服务 > HBase > 配置”，单击“全部配置”。在搜索框中输入参数名称，并进行修改。 表1 提升连续Put场景性能的参数 参数 描述 配置值
使用LZC压缩算法存储HDFS文件 配置场景 文件压缩可以减少储存文件的空间，并且提高数据从磁盘读取和网络传输的速度。HDFS有Gzip和Snappy这两种默认压缩格式。本章节为HDFS新增加的压缩格式LZC（Lempel-Ziv Compression）提供配置方法。这种压缩格
使用Hue提交Oozie Loader作业 操作场景 该任务指导用户通过Hue界面提交Loader类型的Oozie作业。 操作步骤 创建工作流，请参考使用Hue创建工作流。 在工作流编辑页面，选择“Loader”按钮，将其拖到操作区中。 在弹出的“Loader”窗口中配置“Job
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
