检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
UPDATE 命令功能 UPDATE命令根据列表达式和可选的过滤条件更新Delta表。 命令格式 UPDATE [database_name.]table_name|DELTA.`obs://bucket_name/tbl_path` SET column = EXPRESSION(
查询作业详情 功能介绍 查看一个作业的详情信息。 调试 您可以在API Explorer中调试该接口。 URI URI格式 GET /v1.0/{project_id}/streaming/jobs/{job_id} 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明
SQL作业使用咨询 DLI是否支持创建临时表? 问题描述:临时表主要用于存储临时中间结果,当事务结束或者会话结束的时候,临时表的数据可以自动删除。例如MySQL中可以通过:“create temporary table ...” 语法来创建临时表,通过该表存储临时数据,结束事务或
取消作业(推荐) 功能介绍 该API用于取消已经提交的作业,若作业已经执行结束或失败则无法取消。 调试 您可以在API Explorer中调试该接口。 URI URI格式: DELETE /v1.0/{project_id}/jobs/{job_id} 参数说明 表1 URI 参数
删除队列 功能介绍 该API用于删除指定队列。 若指定队列正在执行任务,则不允许删除。 调试 您可以在API Explorer中调试该接口。 URI URI格式: DELETE /v1.0/{project_id}/queues/{queue_name} 参数说明 表1 URI参数
创建路由(废弃) 功能介绍 该API用于创建跨源需要的路由。 当前接口已废弃,不推荐使用。推荐使用创建路由。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v2.0/{project_id}/datasource/enhanced-con
功能总览 功能总览 全部 数据湖探索 权限管理 弹性资源池 DLI元数据 DLI SQL作业 DLI Spark作业 DLI Flink作业 跨源连接 DLI自定义委托 自定义镜像 OBS 2.0支持 数据湖探索 数据湖探索(Data Lake Insight,以下简称DLI)是完全兼容Apache
查询指定地址连通性测试详情 功能介绍 该API用于在连通性测试提交后查询连通性结果。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v1.0/{project_id}/queues/{queue_name}/connection-test/{task_id}
显示所有函数 功能描述 查看当前工程下所有的函数。 语法格式 1 SHOW [USER|SYSTEM|ALL] FUNCTIONS ([LIKE] regex | [db_name.] function_name); 其中regex为正则表达式,可以参考如下表1参数样例。 表1
CLEANING 命令功能 对Hudi表进行cleaning操作,具体作用可以参考Hudi Clean操作说明章节。 命令格式 call run_clean(table=>'[table]', clean_policy=>'[clean_policy]', retain_comm
RENAME COLUMN 命令功能 ALTER TABLE ... RENAME COLUMN语法用于修改列名称。 注意事项 如果您的表已经在所需的协议版本上,需要先执行如下语句才能修改成功: ALTER TABLE table_name SET TBLPROPERTIES ('delta
DLI Flink作业提交运行后(已选择保存作业日志到OBS桶),提交运行失败的情形(例如:jar包冲突),有时日志不会写到OBS桶中 DLI Flink作业提交或运行失败时,对应生成的作业日志保存方式,包含以下三种情况: 提交失败,只会在submit-client下生成提交日志。
OPTIMIZE 命令功能 OPTIMIZE命令用于优化数据在存储中的布局,提高查询速度。 注意事项 由于Optimize是一项耗时的活动,因此需要根据更好的最终用户查询性能与优化计算时间之间的权衡来确定运行Optimized的频率。 分区表优化需要设置参数spark.sql.f
Flink作业概述 DLI支持的两种类型的Flink作业: Flink OpenSource SQL类型作业: 完全兼容社区版的Flink,确保了作业可以在这些Flink版本上无缝运行。 在社区版Flink的基础上,DLI扩展了Connector的支持,新增了Redis、DWS作
导出数据(废弃) 功能介绍 该API用于从DLI表中导出数据到文件。 该API为异步操作。 目前只支持从DLI表导出数据到OBS中,且导出的路径必须指定到文件夹级别。OBS路径中不支持逗号,且其中的桶名不能以正则格式“.[0-9]+(.*)”结尾,即,若桶名包含“.”, 则最后一个“
创建指定地址连通性测试请求 功能介绍 该API用于往指定队列发送地址连通性测试请求,并将测试地址插入表内。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v1.0/{project_id}/queues/{queue_name}/connection-test
导入Flink作业保存点 功能介绍 导入Flink作业保存点。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1.0/{project_id}/str
SHOW_LOG_FILE 命令功能 查看log文件的meta和record信息。 命令格式 查看meta: call show_logfile_metadata(table => '[table]', log_file_path_pattern => '[log_file_path_pattern]'
SHOW_COMMIT_FILES 命令功能 查看指定的instant一共更新或者插入了多个文件。 命令格式 call show_commit_files(table=>'[table]', instant_time=>'[instant_time]', limit=>[limit]);
SHOW_TIME_LINE 命令功能 查看当前生效或者被归档的Hudi time line以及某个指定instant time的详细内容。 命令格式 查看某个表生效的time line列表: call show_active_instant_list(table => '[table_name]');