检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理弹性资源池 查看弹性资源池的基本信息 弹性资源池权限管理 弹性资源池关联队列 弹性资源池CU设置 弹性资源池规格变更 弹性资源池标签管理 调整弹性资源池中队列的扩缩容策略 查看弹性资源池扩缩容历史 分配弹性资源池至项目 父主题: 创建弹性资源池和队列
ce-pools 参数说明 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 每页的数量。默认为100。
数据湖探索API参考》>《创建批处理作业》。 如果选择spark版本为2.3.2(即将下线)或2.4.5提交作业时,需要指定Module模块,名称为:sys.datasource.mongo。 如果选择Spark版本为3.1.1时,无需选择Module模块, 需在 'Spark参数(--conf)'
data_type 格式 无。 说明 数据类型,当前只支持原生数据类型。 父主题: 标示符
数据湖探索API参考》>《创建批处理作业》。 如果选择spark版本为2.3.2(即将下线)或2.4.5提交作业时,需要指定Module模块,名称为:sys.datasource.redis。 如果选择Spark版本为3.1.1时,无需选择Module模块, 需在 'Spark参数(--conf)'
DLI授权项 格式为:服务名:资源类型:操作,例:dli:queue:submit_job。 服务名为产品名称,例如dli、evs和vpc等,服务名仅支持小写。资源类型和操作没有大小写,要求支持通配符号*,无需罗列全部授权项。 资源类型可以参考表4中的资源类型。 操作:操作以IAM服务中已经注册的action为准。
参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 job_id 是 Long 作业ID。具体可以从新建SQL作业中获取。 请求消息 表2 请求参数说明 参数名称 是否必选 参数类型 说明 name 否 String
返回规则如下: number为DOUBLE、DECIMAL类型时会返回相应的类型。 number为STRING、BIGINT类型时,返回DOUBLE类型。 decimal_places非BIGINT类型时,返回报错。 number值为NULL时,返回NULL。 示例代码 返回 3.141。 select
返回规则如下: number为DOUBLE、DECIMAL类型时会返回相应的类型。 number为STRING、BIGINT类型时,返回DOUBLE类型。 decimal_places非BIGINT类型时,返回报错。 number值为NULL时,返回NULL。 示例代码 返回 3.141。 select
关系运算符 所有数据类型都可用关系运算符进行比较,并返回一个BOOLEAN类型的值。 关系运算符均为双目操作符,被比较的两个数据类型必须是相同的数据类型或者是可以进行隐式转换的类型。 DLI提供的关系运算符,请参见表1。 表1 关系运算符 运算符 返回类型 描述 A = B BOOLEAN
UPDATE_BEFORE 和 UPDATE_AFTER 分别编码为 DELETE 和 INSERT 类型的 Canal 消息。 参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明 format 是 (none) String 指定要使用的格式,此处应为 'canal-json'
data_type 格式 无。 说明 数据类型,当前只支持原生数据类型。 父主题: 标示符
适用场景:适合业务量有明显波动的场合,如周期性的数据批处理任务或实时数据处理需求。 支持的队列类型:SQL队列(Spark)、SQL队列(HetuEngine)、通用队列。了解DLI的队列类型请参考DLI队列类型。 弹性资源池模式的通用队列和SQL队列不支持跨可用区。 使用方法:先创建弹性资源
UPDATE_BEFORE 和 UPDATE_AFTER 分别编码为 DELETE 和 INSERT 类型的 Canal 消息。 参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明 format 是 (none) String 指定要使用的格式,此处应为 'canal-json'
怎样管理在DLI上运行的作业 管理大量的DLI作业时您可以采用以下方案: 作业分组: 将几万个作业根据不同的类型分组,不同类型的作业通过不同的队列运行。 创建IAM子用户 或者创建IAM子用户,将不同类型的作业通过不同的用户执行。 具体请参考《数据湖探索用户指南》。 此外DLI还提供了作业管理功
numeric 所有数字类型 返回负数。 A + B 所有数字类型 A和B相加。结果数据类型与操作数据类型相关,例如一个整数类型数据加上一个浮点类型数据,结果数值为浮点类型数据。 A - B 所有数字类型 A和B相减。结果数据类型与操作数据类型相关。 A * B 所有数字类型 A和B相乘。结果数据类型与操作数据类型相关。
numeric 所有数字类型 返回负数。 A + B 所有数字类型 A和B相加。结果数据类型与操作数据类型相关,例如一个整数类型数据加上一个浮点类型数据,结果数值为浮点类型数据。 A - B 所有数字类型 A和B相减。结果数据类型与操作数据类型相关。 A * B 所有数字类型 A和B相乘。结果数据类型与操作数据类型相关。
numeric 所有数字类型 返回负数。 A + B 所有数字类型 A和B相加。结果数据类型与操作数据类型相关,例如一个整数类型数据加上一个浮点类型数据,结果数值为浮点类型数据。 A - B 所有数字类型 A和B相减。结果数据类型与操作数据类型相关。 A * B 所有数字类型 A和B相乘。结果数据类型与操作数据类型相关。
在“连接信息”中获取该Kafka的“内网连接地址”,在“网络”中获取该实例的“虚拟私有云”和“子网”信息。 Kafka的基本信息页面,“网络 > 安全组”参数下获取Kafka的安全组。 RDS 在RDS控制台“实例管理”页面,单击对应实例名称,查看“连接信息”,获取“内网地址”、“虚拟私有云”
创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 数据类型的使用,请参考Format章节。 Hive 方言支持的 DDL 语句,Flink 1.15