检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
order02 STORED AS TEXTFILE; 创建表orders_like03,它将包含表order01定义的列及表属性,order02定义的列,以及额外的列c1和c2 CREATE TABLE orders_like03 (c1 int,c2 float,LIKE order01
Python SDK Python SDK概述 Python SDK环境配置 队列相关 资源相关 SQL作业相关 Spark作业相关
分组资源相关API(废弃) Spark批处理相关API(废弃) SQL作业相关API(废弃) 资源相关API(废弃) 权限相关API(废弃) 队列相关API(废弃) 跨源认证相关API(废弃) 增强型跨源连接相关API(废弃) 模板相关API(废弃) 表相关API(废弃) SQL作业相关API(废弃)
Hudi DDL语法说明 Hudi DML语法说明 Hudi CALL COMMAND语法说明 Schema演进语法说明 配置Hudi数据列默认值
D。 请求参数 表2 请求参数说明 名称 是否必选 参数类型 说明 sql_ids 是 Array<String> 待删除的sql模板ID列表。 响应参数 表3 响应参数说明 名称 参数类型 说明 is_success Boolean 是否成功。 message String 系
“?”后面接其他配置项,每个配置项以“key=value”的形式列出,配置项之间以“;”隔开,详见表3 表3 属性配置项 属性项(key) 必须配置 默认值(value) 描述 enginetype 否 - 配置执行作业的引擎类型。 queuename 是 - DLI服务的队列名称。 databasename 否
USER:限定后面的user_name是一个用户。 注意事项 resource可以是queue、database、table、column、view,格式分别为: queue的格式为:queues.queue_name database的格式为:databases.db_name table的格式为:databases
Access Key)或Token两种认证方式初始化客户端,具体操作请参考初始化DLI客户端 Python SDK列表 表1 Python SDK列表 类型 说明 队列相关 介绍查询所有队列的Python SDK使用说明。 资源相关 介绍上传资源包、查询所有资源包、查询制定资源包、删除资源包的Python
单击“确定”,完成数据库标签的添加。 如需删除标签,在标签列表中,单击操作列中“删除”可对选中的标签进行删除。 数据表标签管理 在DLI管理控制台的左侧导航栏中,单击“数据管理> 库表管理”。 单击数据库名称,查看数据库下的数据表。 在数据表的操作列,选择“更多> 标签”。 进入标签管理页面,显示当前数据表的标签信息。
开启Checkpoint步骤如下。 到DLI管理控制台,左侧导航栏选择“作业管理 > Flink作业”,在对应的Flink作业所在行,操作列下单击“编辑”。 在“运行参数”下,查看“开启Checkpoint”参数是否开启。 图1 开启Checkpoint 确认Flink结果表的表
限: 在“服务列表”中选择数据湖探索,进入DLI主界面。如果在“队列管理”页面可以查看队列列表,但是单击右上角“购买队列”,无法购买DLI队列(假设当前权限仅包含DLI ReadOnlyAccess),表示“DLI ReadOnlyAccess”已生效。 在“服务列表”中选择除数据湖探索外(假设当前策略仅包含DLI
PARTITION:指定分区列。 参数说明 表1 参数说明 参数 描述 db_name 数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。 table_name 表名称。 column 分区列名。 value 分区列名对应的值。 注意事项 DLI
根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列 > 找到作业的所属队列 > 更多 > 测试地址连通性 > 输入kafka的地址 > 测试)。如果能
x版本支持。推荐使用AK/SK认证方式。 (推荐)生成AK/SK 登录DLI管理控制台。 在页面右上角的用户名的下拉列表中选择“我的凭证”。 在“我的凭证”页面,默认显示“项目列表”,切换到“管理访问密钥”页面。 单击左侧“新增访问密钥”按钮,输入“登录密码”和“短息验证码”。 单击“确定”,下载证书。
"lakeformation:database:create", "lakeformation:database:drop", "lakeformation:database:describe",
运行,同时提高资源的利用效率。 当前仅Flink 1.12版本的作业支持开启动态扩缩容。 使用须知 在Flink作业进行动态扩缩容时如果队列资源被抢占,剩余资源不满足作业启动所需资源则可能存在作业无法正常恢复的情况。 在Flink作业进行动态扩缩时后台作业需要停止继而从savep
field 表“DLI_TEST”中的列值,需要匹配表“DLI_TABLE”的列值和类型。 where_condition 查询过滤条件。 num 对查询结果进行限制,num参数仅支持INT类型。 values_row 想要插入到表中的值,列与列之间用逗号分隔。 注意事项 DLI表必须已经存在。
where_condition 过滤条件。 GROUP BY 指定分组的字段,支持单字段及多字段分组。 col_name_list 字段列表。 ORDER BY 对查询结果进行排序。 ASC/DESC ASC为升序,DESC为降序,默认为ASC。 CLUSTER BY 为分桶且
start_time 否 Long 作业启动时间。 user_id 否 String 作业所属用户标识。 queue_name 否 String 队列名称。长度限制:1-128个字符。 project_id 否 String 作业所属项目标识。 sql_body 否 String Stream
资源名称 资源路径 queue DLI队列 queues.queuename database DLI数据库 databases.dbname table DLI表 databases.dbname.tables.tbname column DLI列 databases.dbname.tables