检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择“集群 > 服务 > HDFS > 配置 > 全部配置”进入HDFS全部配置页面。 搜索并修改“dfs.namenode.fgl.enable”参数,配置项详细说明如下表。 参数 参数说明 备注 dfs.namenode.fgl.enable 是否开启细粒度锁特性。
选择“集群 > 服务 > HDFS > 配置 > 全部配置”进入HDFS全部配置页面。 搜索并修改“dfs.namenode.file.close.num-committed-allowed”参数,配置项详细说明如下表。
Hudi写入小精度Decimal数据失败 问题 Hudi表初始入库采用BULK_INSERT方式入库含有Decimal类型的数据,之后执行upsert,数据写入时报错: java.lang.UnsupportedOperationException: org.apache.parquet.avro.AvroConverters
使用Phoenix Sqlline脚本报import argparse错误 问题 在客户端使用sqlline脚本时,报import argparse错误。 回答 以root用户登录安装HBase客户端的节点,使用hbase用户进行安全认证。 进入HBase客户端sqlline脚本所在目录执行
搜索“_clickhouse.storage_configuration.disks”,在该配置项下,添加新增的ClickHouse数据目录。 多个目录之间需用“,”分隔,添加的目录以“/”结尾。
CHANGE_TABLE Hudi CALL COMMAND语法适用于MRS 3.2.0及之后版本。 命令功能 CHANGE_TABLE命令可以方便地修改表的类型以及索引,由于Hudi表本不支持修改表类型及索引等关键参数,该命令实际是将表重写。 命令格式 call change_table
前提条件 集群已安装CDL、Hudi服务且运行正常。 DWS数据库需要开启前置要求,操作步骤请参考DWS数据库前置准备。
CLEAN_FILE 命令功能 用于清理Hudi表目录下的无效数据文件。 命令格式 call clean_file(table => '[table_name]', mode=>'[op_type]', backup_path=>'[backup_path]', start_instant_time
创建FlinkServer应用 通过应用来隔离不同的上层业务。 使用具有FlinkServer管理员权限的用户访问Flink WebUI,请参考访问FlinkServer WebUI界面。 选择“系统管理 > 应用管理”,进入应用管理页面。 单击“创建应用”,在弹出的页面中填写应用信息
写入更新数据时报错UnsupportedOperationException 问题 数据写入时报错: java.lang.UnsupportedOperationException: org.apache.parquet.avro.AvroConverters$FieldIntegerConverter
Delete轻量化删除表数据 本章节主要介绍轻量化delete删除表数据的SQL基本语法和使用说明。 本章节仅适用于MRS 3.3.0及之后版本。 基本语法 DELETE FROM [db.]table [ON CLUSTER cluster] WHERE expr 使用示例 建表
DELETE 语法 DELETE FROM table_name [ WHERE condition ] 描述 从表中删除数据行。 当前版本,使用delete可以删除整个表的数据,或者分区表的指定分区。 对于事务表(指定了属性transactional = true),如果指定了where
LOAD 语法 LOAD DATA INPATH filepath [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=value1,partcol2=values2…)] 描述 LOAD DATA命令用于从文件或者文件夹加载数据到
COMMIT 语法 COMMIT [ WORK ] 描述 用于提交当前的事务。 示例 COMMIT; COMMIT WORK; 父主题: HetuEngine TCL SQL语法说明
SELECT 语法 [/*+ query_rewrite_hint*/] [ WITH [ RECURSIVE ] with_query [, ...] ] SELECT [ ALL | DISTINCT ] select_expression [, ...] [ FROM from_item
UNNEST UNNEST可以将ARRAY或MAP展开成relation。 ARRAYS展开为单独一列,MAP展开为两列(key,value)。 UNNEST还可以与多个参数一起使用,将被展开成多列,行数与最高基数参数相同(其他列用空填充)。 UNNEST可以选择使用WITH ORDINALITY
JOINS 允许合并多个relation的数据。 HetuEngine支持JOIN类型为:CROSS JOIN、INNER JOIN、OUTER JOIN(LEFT JOIN、RIGHT JOIN、FULL JOIN)、SEMIN JOIN和ANTI JOIN。 CROSS JOIN
HetuEngine数据类型隐式转换 开启HetuEngine数据类型隐式转换 关闭HetuEngine数据类型隐式转换 HetuEngine隐式转换对照表 父主题: HetuEngine常见SQL语法说明
配置描述 进入Mapreduce服务参数“全部配置”界面,具体操作请参考修改集群服务配置参数章节。 在搜索框中输入参数名称,修改并保存配置。然后在Mapreduce服务“概览”页面选择“更多 > 同步配置”。同步完成后重启Mapreduce服务。
配置描述 参数入口: 在Manager系统中,选择“集群 > 待操作集群的名称 > 服务 > Yarn > 配置”,选择“全部配置”,在搜索框中输入参数名称“mapreduce.job.am.memory.policy”。