检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
0-SNAPSHOT.jar”。 图10 生成Jar包 登录OBS控制台,将生成的Jar包文件上传到OBS路径下。 Jar包文件上传的OBS桶所在的区域需与DLI的队列区域相同,不可跨区域执行操作。 (可选)可以将Jar包文件上传到DLI的程序包管理中,方便后续统一管理。 登录DLI管理控制台,单击“数据管理
消息键(Key)与消息体(Value)的格式 Kafka消息的消息键和消息体部分都可以使用某种格式来序列化或反序列化成二进制数据。 消息体格式 由于 Kafka 消息中消息键是可选的,以下语句将使用消息体格式读取和写入消息,但不使用消息键格式。 'format' 选项与 'value
)和中划线(-)开头或结尾。 禁止使用IP地址。 如果名称中包含英文句号(.),访问桶或对象时可能会进行安全证书校验。 导入源文件时,如果源文件中的某一列与目标表列类型不匹配,将会导致该行数据的查询结果为null 。 不支持并发导入同一张表。 调试 您可以在API Explorer中调试该接口。
集群名称”,在集群信息获取OpenTSDB链接地址。 访问MRS OpenTSDB,若使用增强型跨源连接,填写OpenTSDB所在节点IP与端口,格式为"IP:PORT",OpenTSDB存在多个节点时,用分号隔开,获取方式请参考“图 MRS集群OpenTSDB IP信息”和“图
用户执行跨多个数据源的复杂查询。 库表管理中表的列表页面,表类型为External,存储位置非OBS路径的即代表跨源表。 数据库和表的约束与限制 表1 DLI资源相关约束限制 限制项 说明 数据库 “default”为内置数据库,不能创建名为“default”的数据库。 DLI支持创建的数据库的最大数量为50个。
Doris 造成更大的压力。 doris.batch.size 1024 否 一次从 BE 读取数据的最大行数。增大此数值可减少Flink与Doris之间建立连接的次数。 从而减轻网络延迟所带来的额外时间开销。 doris.exec.mem.limit 2147483648 否 单个查询的内存限制。默认为
com/v3/auth/tokens Content-Type: application/json 请求消息体 请求消息体通常以结构化格式发出,与请求消息头中Content-type对应,传递除请求消息头之外的内容。 每个接口的请求消息体内容不同,也并不是每个接口都需要有请求消息体(或
Maven工程的pom.xml文件配置请参考JAVA样例代码(Flink 1.12)中“pom文件配置”说明。 确保本地编译环境可以正常访问公网。 约束与限制 需要在DLI控制台下“全局配置 > 服务授权”开启Tenant Adminstrator(全局服务)。 写入数据到OBS的桶必须为主账号下所创建的OBS桶。
指定格式的字符串值。格式字符串与 Java 的 SimpleDateFormat 兼容。 TIMESTAMPADD(timeintervalunit, interval, timepoint) TIMESTAMP/DATE/TIME 将整型interval与timeintervalu
个。 select_statement 源表上的SELECT查询(支持DLI表、OBS表)。 values_row 想要插入到表中的值,列与列之间用逗号分隔。 注意事项 表必须已经存在。 如果动态分区不需要指定分区,则将“part_spec”作为普通字段放置SELECT语句中。
VARCHAR)将JSON值转换为对应的SQL VARCHAR值。对于JSON字符串、JSON数字、true、false或null,转换行为与对应的SQL类型相同。JSON对象和JSON数组无法转换为VARCHAR: SELECT CAST(JSON '{"a": 1, "b": 2}'
说明 sql_body 是 String SQL。 cu_number 否 Integer 是在作业编辑页面配置的作业占用资源总CU数,需配置与实际占用资源一致,作业实际占用资源根据算子并行数按需申请。 cu_number = 管理单元 + (算子总并行数 / 单TM Slot数) *
服务用户指南》中的创建用户组。 注意事项 如果需要查看管理员或者其他用户账号下的数据库,需要对当前用户授权(显示权限),具体请参考常用操作与系统权限关系。 数据库和表赋权对象具有层级关系,用户赋予上一层级的权限会自动继承到下一层级对象上,层级关系为:数据库>表>列。 数据库所有者
host:port,以英文逗号(,)分隔。 format 是 无 string Flink Kafka Connector在序列化来自Kafka的消息时使用的格式。该选项与'value.format'只能配置其中一个。 格式取值如下: csv json avro 请参考Format页面以获取更多详细信息和格式参数。
OpenSource SQL作业,创建Flink Jar作业。 切换项目或用户时,需要对新项目或用户授权,具体请参考配置Flink作业权限。 仅支持导入与从DLI导出的Flink作业相同数据格式的作业。 在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入Flink作业管理页面。
闲置时长 flink_taskmanager_job_task_operator_currentEmitEventTimeLag 数据的事件时间与数据离开 Source 时的间隔 flink_taskmanager_job_task_operator_pendingRecords 尚未被
份认证服务用户指南》中的创建用户组。 注意事项 如果需要查看主账号下数据库中的表,需要对当前子账号用户授权(显示权限),具体请参考常用操作与系统权限关系。 如果表被删除后,再重新创建同名的表,表权限不会继承,需要对操作该表的用户和项目重新进行权限赋予。 例如,testTable表
从而允许从多个表中复制列。如果指定了INCLUDING PROPERTIES,则将所有表属性复制到新表中。如果WITH子句指定的属性名称与复制的属性名称相同,则将使用WITH子句中的值。默认是EXCLUDING PROPERTIES属性,而且最多只能为一个表指定INCLUDING
已在DEW服务创建通用凭证,并存入凭据值。具体操作请参考:创建通用凭据。 已创建DLI访问DEW的委托并完成委托授权。该委托需具备以下权限: DEW中的查询凭据的版本与凭据值ShowSecretVersion接口权限,csms:secretVersion:get。 DEW中的查询凭据的版本列表ListSec
需要新建委托将Catelog数据操作权限委托给DLI,允许DLI服务以您的身份访问Catalog元数据。 新建委托时,请注意委托名称不可与系统默认委托重复,即不可以是dli_admin_agency、dli_management_agency、dli_data_clean_agency。