检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Canal Format 功能描述 Canal是一个 CDC(ChangeLog Data Capture,变更日志数据捕获)工具,可以实时地将 MySQL 变更传输到其他系统。Canal 为变更日志提供了统一的数据格式,并支持使用 JSON 或 protobuf序列化消息(Canal
INSERT 命令功能 INSERT命令用于将SELECT查询结果加载到Delta表中。 命令格式 追加模式: INSERT INTO [database_name.]table_name|DELTA.`obs://bucket_name/tbl_path` select query
RESTORE 命令功能 RESTORE命令用于将Delta表还原到早期状态,支持还原到较早的版本号或者时间戳。 命令格式 还原Delta表到历史某一时刻的状态: RESTORE [TABLE] [database_name.]table_name|DELTA.`obs_path`
ADD CONSTRAINT 命令功能 ADD CONSTRAINT 命令添加 CHECK 约束。 在将约束添加到表中之前会验证所有现有行是否满足约束。 注意事项 在将约束添加到表中之前会验证所有现有行是否满足约束,如果有行不满足约束,约束将添加失败,添加前需先清理不满足约束的数据
DESCRIBE 命令功能 DESCRIBE命令用于显示表的详细信息或统计信息。 命令格式 显示表统计信息: DESCRIBE [EXTENDED|FORMATTED] [database_name.]table_name|DELTA.`obs://bucket_name/tbl_path
增强型跨源连接概述 为什么要创建增强型跨源连接? DLI跨源分析场景连接外部数据源时,由于数据源的VPC与DLI VPC不同,网络无法连通,导致DLI无法读取数据源数据。DLI提供的增强型跨源连接功能可以实现DLI与数据源的网络连通。 本节操作为您介绍跨VPC的数据源网络连通方案:
ALTER COLUMN 命令功能 ALTER TABLE ... ALTER COLUMN语法用于修改当前列属性包括列comment、空约束,当前不支持修改列类型、列位置。 注意事项 目前不支持修改列类型。 目前不支持修改已存在列的顺序。 目前不支持指定顺序添加列。 命令语法 ALTER
使用前必读 使用须知 DLI HetuEngine功能为白名单功能,如需使用,请在管理控制台右上角,选择“工单 > 新建工单”,提交申请。 使用前您需要先创建一个HetuEngine类型的SQL队列,具体操作请参考创建弹性资源池并添加队列。 HetuEngine SQL需搭配lakeformation
创建增强型跨源连接 操作场景 使用DLI访问其他数据源的数据前,首先要通过建立增强型跨源连接打通DLI和数据源之间的网络,DLI才能够访问、导入、查询、分析其他数据源的数据。 例如:DLI连接MRS、RDS、CSS、Kafka、DWS时,需要打通DLI和对应数据源VPC之间的网络,
UPDATE 命令功能 UPDATE命令根据列表达式和可选的过滤条件更新Delta表。 命令格式 UPDATE [database_name.]table_name|DELTA.`obs://bucket_name/tbl_path` SET column = EXPRESSION
扫描量计费 按扫描量计费 按扫描量计费即:按运行查询作业扫描的数据量付费,如果扫描字节数量少于10M, 按10M计算。 且数据定义语言(DDL)语句(如 CREATE、ALTER、DROP TABLE等语句)、管理分区语句、失败的查询语句无需付费。 对于取消的查询,按取消查询时扫描的总数据量计费
创建跨源成功但测试网络连通性失败怎么办? 问题描述 创建跨源并绑定新创建的DLI队列,测试跨源的网络连通性时失败,有如下报错信息: failed to connect to specified address 排查思路 以下排查思路根据原因的出现概率进行排序,建议您从高频率原因往低频率原因排查
RENAME COLUMN 命令功能 ALTER TABLE ... RENAME COLUMN语法用于修改列名称。 注意事项 如果您的表已经在所需的协议版本上,需要先执行如下语句才能修改成功: ALTER TABLE table_name SET TBLPROPERTIES ('
DLI Flink作业提交运行后(已选择保存作业日志到OBS桶),提交运行失败的情形(例如:jar包冲突),有时日志不会写到OBS桶中 DLI Flink作业提交或运行失败时,对应生成的作业日志保存方式,包含以下三种情况: 提交失败,只会在submit-client下生成提交日志。
使用Spark作业访问DLI元数据 操作场景 DLI支持用户编写代码创建Spark作业来创建数据库、创建DLI表或OBS表和插入表数据等操作。本示例完整的演示通过编写java代码、使用Spark作业创建数据库、创建表和插入表数据的详细操作,帮助您在DLI上进行作业开发。 该功能公测阶段
VACUUM 命令功能 VACUUM命令用于删除表目录中不由 Delta 管理的所有文件,并删除不再处于表事务日志最新状态且超过保留期阈值的数据文件。默认阈值为 7 天。 注意事项 RETAIN num HOURS表示保留期阈值,建议设置为至少 7 天。 如果对 Delta 表运行
DLI的计费模式有哪些? DLI在不同的计费项下有不同的计费模式,具体详见表1说明。 表1 DLI计费模式 计费项 计费模式 计费模式说明 计算计费 包年/包月 按照弹性资源池包年/包月的固定费用计费。 按需计费 按需弹性资源池资源使用CU时进行计费。 计算费用=单价*CU数*小时数
删除全局变量 功能介绍 该API用于删除全局变量。 只有创建全局变量的用户才可以删除对应的变量。 调试 您可以在API Explorer中调试该接口。 URI URI格式 DELETE /v1.0/{project_id}/variables/{var_name} 参数说明 表1
CLUSTERING 命令功能 对Hudi表进行clustering操作,具体作用可以参考Hudi Clustering操作说明章节。 命令格式 执行clustering: call run_clustering(table=>'[table]', path=>'[path]',
如何给子用户授权查看Flink作业? 子用户使用DLI时,可以查看队列,但是不能查看Flink作业,可以通过在DLI中对子用户授权,或在IAM中对子用户授权: DLI授权管理 使用租户账号,或者作业owner账号,或有DLI Service Administrator权限的账号,登录