检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在DLI中,表和数据库是定义底层数据的元数据容器。表中的元数据让DLI知道数据所在的位置,并指定了数据的结构,例如列名称、数据类型和表名称。数据库是表的逻辑分组。 OBS表、DLI表、CloudTable表 不同表类型表示不同的数据存储位置。 OBS表表示数据存储在OBS服务的桶中。 DLI表表示数据存储在本服务内部的表中。
那么导出的作业结果的路径为obs://bucket/src1/test.csv 导出方式 是 随导出创建指定路径: 该方式导出作业结果时,会创建一个新的文件夹路径,并将作业结果保存在这个路径中。适用于当您希望在新的路径下保存本次的导出结果的场景,方便作业结果的管理的回溯。 选择
是 String Flink作业的作业ID。 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 job_id 是 Long Flink作业的ID。 savepoint_path
处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink
connection_id 是 String 连接ID,用于标识跨源连接的UUID。具体为创建增强型跨源连接返回的连接ID。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 queues 否 Array of Strings 需要使用跨源的队列名列表。 elastic_resource_pools
请求参数 参数名称 是否必选 参数类型 说明 sql 是 String 待执行的SQL语句。 currentdb 否 String SQL语句执行所在的数据库。 说明: 在SQL里面已经包含db_name的情况下可以不选该参数,例如SQL为:select * from db1.t1。
是 String 待删除定时扩缩计划的队列名称。名称长度为1~128个字符,多个队列名称使用逗号“,”分隔。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 plan_ids 是 Array of Long 待删除的队列扩缩容计划的ID列表,具体获取请参考查看队列定时
String 标签的键。 说明: 标签的键的最大长度为128个字符,标签的键可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格,不能以_sys_开头。 value 是 String 标签的值。 说明: 标签值的最大长度为255个字符,标签的值可以包含任意语种字母、数字、空格和_
bs/{job_id}/savepoint 表1 路径参数 参数 是否必选 参数类型 描述 job_id 是 String Flink作业的作业ID。 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求参数 表2 请求Body参数 参数
连接ID,用于标识跨源连接的UUID。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 hosts 是 Array of objects 用户自定义主机信息,最大支持2万条记录,详细信息参见表 hosts请求参数。内容填空表示清除所有已配置的主机信息。 表3 hosts请求参数
15语法概览。 Flink 1.15需要配置租户面自定义委托,并在作业中配置委托信息。委托的权限需要根据作业具体的业务场景需求进行配置。详情操作请参考DLI自定义委托。 Flink 1.15作业管理凭据的方法: Flink OpenSource SQL中推荐使用DEW管理密码密钥等访问凭据信息。请参考Flink
batch_id 是 String 批处理作业的ID。 表2 请求参数说明 参数名称 是否必选 参数类型 说明 from 否 Integer 起始日志的行号,默认显示最后100行日志。如果日志不足100行,从0行开始显示。 size 否 Integer 查询日志的数量。 type 否 String
database_name 是 String 待预览的表所在的数据库名称。 table_name 是 String 待预览的表名称。 表2 query参数 参数名称 是否必选 参数类型 说明 mode 否 String 预览表的模式,取值为““SYNC””或者““ASYNC””默认值为:“SYNC”。
修改队列网段(废弃) 功能介绍 该功能用于修改包年包月队列网段。 如果待修改网段的队列中有正在提交或正在运行的作业,或者改队列已经绑定了增强型跨源,将不支持修改网段操作。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: PUT
系统提示信息,执行成功时,信息可能为空。 task_id 是 Integer 请求id。 请求示例 测试队列与该地址“iam.xxx.com:443”的连通性。 { "address": "iam.xxx.com:443" } 响应示例 { "is_success": true
基准测试的度量单位是每小时执行的查询数( QphH@size),其中“H”表示每小时系统执行复杂查询的平均次数,“size”表示数据库规模的大小,能够反映出系统在处理查询时的能力。TPC-H 是根据真实的生产运行环境来建模的,这使得它可以评估一些其他测试所不能评估的关键性能参数。总而言之,TPC组织颁布的TPC-H
obs_adm:DLI获得访问和使用OBS的委托权限。 dis_adm:访问和使用DIS数据源,需要获得访问和使用DIS(数据接入服务)DIS Administrator权限。 ctable_adm:访问和使用CloudTable(表格存储服务)的CloudTable Administrator权限。
不支持队列类型切换,如需使用其他队列类型,请重新购买新的队列。 不支持切换队列的计费模式。 队列不支持切换区域。 16CUs队列不支持扩容和缩容。 64CUs队列不支持缩容。 创建队列时,仅支持包年包月队列和按需专属队列选择跨AZ双活,且跨AZ的队列价格为单AZ模式下的2倍。 新创建的队列需要运行作业后才可进行扩缩容。
响应参数 参数名称 参数类型 说明 create_time Long 资源包上传的unix时间。是单位为“毫秒”的时间戳。 update_time Long 更新已上传资源包的unix时间。是单位为“毫秒”的时间戳。 resource_type String 资源类型。 resource_name
12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 创建HBase源表的列簇必须定义为ROW类型,字段名对应列簇名(column family),嵌套的字段名对应列限定符名(column qualifier)。 用户只需在表结构中声明查询中使用的的列簇和列限定符。除了ROW类型的列,剩下的原子数据类型字段(比如,STRING