检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“下一步”,进入到字段映射界面,CDM会自动匹配源和目的字段。 如果字段映射顺序不匹配,可通过拖拽字段调整。 如果选择在目的端自动创建类型,这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移过程中转换字段内容,详细请参见字段转换。 图7 字段映射 单击“下一步”配置任务参数,一般情况下全部保持默认即可。
查询HBase表 SELECT命令用于查询hbase表中的数据。 语法格式 1 SELECT * FROM table_name LIMIT number; 关键字 LIMIT:对查询结果进行限制,number参数仅支持INT类型。 注意事项 所查询的表必须是已经存在的表,否则会出错。
TABLE TABLE_NAME VALUES(XXX); 关键字 表1 INSERT INTO关键字说明 参数 描述 TABLE_NAME 所关联的OpenTSDB表名。 DLI_TABLE 创建的DLI表名称。 注意事项 插入的数据不能为null;插入的数据相同,会覆盖原数
查询DCS表 SELECT命令用于查询DCS表中的数据。 语法格式 1 SELECT * FROM table_name LIMIT number; 关键字 LIMIT:对查询结果进行限制,number参数仅支持INT类型。 示例 查询表test_redis中的数据。 1 SELECT
SELECT对应关键字说明请参考基本语句。 参数说明 表1 参数描述 参数 描述 DLI_TABLE 已创建跨源连接的DLI表名称。 DLI_TEST 为包含待查询数据的表。 field1,field2...,field 表“DLI_TEST”中的列值,需要匹配表“DLI_TABLE”的列值和类型。
2.3.0。 Spark 3.3.1(3.0.0)版本的SQL仍有部分不支持Delta表的相关开源语法,具体内容请参考表1。 表1 Spark 3.3.1-3.0.0版本SQL不支持的Delta表相关开源语法 不支持的语法 示例 ALTER TABLE REPLACE COLUMNS替换列
x版本后表刷新会清除表的缓存数据,但保持依赖项缓存。 升级引擎版本后是否对作业有影响: 升级新版本引擎后会增加原有依赖项的缓存数据。 表刷新对依赖该表的其他缓存操作的影响 说明: Spark2.4.x:Spark2.4.x中,刷新表时,只有当表本身被缓存时,才会触发引用该表的所有其他缓存的uncache操作。
DWS DWS Connector概述 DWS源表(不推荐使用) DWS结果表(不推荐使用) DWS维表(不推荐使用) 父主题: Connector列表
表值函数 string_split 父主题: 内置函数
Doris Doris Connector概述 Doris源表 Doris结果表 Doris维表 父主题: Connector列表
DLI数据库和表类 为什么在DLI控制台中查询不到表? OBS表压缩率较高怎么办? 字符码不一致导致数据乱码怎么办? 删除表后再重新创建同名的表,需要对操作该表的用户和项目重新赋权吗? DLI分区内表导入的文件不包含分区列的数据,导致数据导入完成后查询表数据失败怎么办? 创建OB
SELECT对应关键字说明请参考基本语句。 参数说明 表1 参数描述 参数 描述 DLI_TABLE 已创建跨源连接的DLI表名称。 DLI_TEST 为包含待查询数据的表。 field1,field2...,field 表“DLI_TEST”中的列值,需要匹配表“DLI_TABLE”的列值和类型。
创建维表 DWS维表 Hbase维表 JDBC维表 Redis维表 父主题: 数据定义语句DDL
Hive 创建Hive Catalog Hive方言 Hive源表 Hive结果表 Hive维表 使用Temporal join关联维表的最新分区 使用Temporal join关联维表的最新版本 父主题: Connector列表
供了插入更新和增量拉取的功能。 表1 支持类别 类别 详情 支持Flink表类型 源表、结果表 支持hudi表类型 MOR表,COW表 支持读写类型 批量读,批量写,流式读,流式写 Hudi源表 Hudi 结果表 父主题: Connector列表
分区相关 添加分区(只支持OBS表) 重命名分区(只支持OBS表) 删除分区 指定筛选条件删除分区(只支持OBS表) 修改表分区位置(只支持OBS表) 更新表分区信息(只支持OBS表) REFRESH TABLE刷新表元数据 父主题: 表相关
创建结果表 BlackHole结果表 ClickHouse结果表 DWS结果表 Elasticsearch结果表 Hbase结果表 JDBC结果表 Kafka结果表 Print结果表 Redis结果表 Upsert Kafka结果表 FileSystem结果表 父主题: 数据定义语句DDL
Hive方言 简介 从Flink 1.11.0 开始,在使用Hive方言时,Flink允许用户用Hive语法来编写SQL语句。通过提供与Hive语法的兼容性,改善与Hive的互操作性,并减少用户需要在Flink和Hive之间切换来执行不同语句的情况。详情可参考:Apache Flink
Redis Redis源表 Redis结果表 Redis维表 父主题: Connector列表
表值函数 string_split 父主题: 内置函数