检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
<b>[,...]),concat(string <str1>, string <str2>[,...]) ARRAY或STRING 连接多个字符串,合并为一个字符串,可以接受任意数量的输入字符串。 concat_ws concat_ws(string <separator>, string
10及其以上版本的作业支持在弹性资源池运行。 弹性资源池网段设置后不支持更改。 仅支持查看30天以内的弹性资源池扩缩容历史。 弹性资源池无法直接访问公网。 弹性资源池关联队列 弹性资源池关联队列: 仅支持关联按需计费模式的队列(包括专属队列)。 队列和弹性资源池状态正常,资源未被冻结。 弹性资源池扩缩容 弹性
序包。 在“创建程序包”对话框,配置以下参数。 包类型:选择“JAR”。 OBS路径:程序包所在的OBS路径。 分组设置和组名称根据情况选择设置,方便后续识别和管理程序包。 单击“确定”,完成创建程序包。 创建UDAF函数。 登录登录DLI管理控制台,创建SQL队列和数据库。 登
在DLI控制台预览表数据 “预览页面”将显示对应表的前10条数据。 预览数据步骤 预览数据的入口有两个,分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面预览数据。 在管理控制台左侧,单击“数据管理”>“库表管理”。 单击需导出数据对应数据库名称,进入该数据库“表管理”页面。
DLI将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。 前提条件 Kafka是线下集群,需要通过增强型跨源连接功能将Flink作业与Kafka进行对接
为指标加上当前作业所在的弹性资源池名称作为标签。 metrics.reporter.remote.dli-job-id 否 None String - 为指标加上当前作业的DLI Flink作业ID作为标签。 metrics.reporter.remote.dli-job-name 否 None
API进行的作业提交的封装,以简化用户的开发工作。用户直接调用DLI SDK提供的接口函数即可实现使用提交DLI SQL和DLI Spark作业。 DLI支持的SDK分为SDK V3和DLI服务自行开发的SDK。 (推荐)DLI SDK V3:是根据定义API的YAML文件统一自动生成,其接口参数与服务的API一致。
在实际使用过程中,开发人员创建了数据库和表,交给测试人员进行测试,测试人员测试完成后,再交给运维人员进行体验,在这种情况下,可以通过修改数据库的所有者,将数据转移给其他所有者。 修改数据库所有者 修改数据库所有者的入口有两个,分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面修改数据库所有者。
查看计划 功能描述 执行该语句将返回该SQL语句的逻辑计划与物理执行计划。 语法格式 1 EXPLAIN [EXTENDED | CODEGEN] statement; 关键字 EXTENDED:指定该关键字后,会同时输出逻辑计划与物理执行计划。 CODEGEN:指定该关键字后
15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 数据类型的使用,请参考Format章节。 Hive 方言支持的 DDL 语句,Flink 1.15 当前仅支持使用Hive语法创建OBS表和使用hive语法的DLI Lakehouse表。 使用Hive语法创建OBS表
Hudi Compaction操作说明 什么是Compaction Compaction用于合并mor表Base和Log文件,Compaction包含两个过程Schedule和Run。Schedule过程会在TimeLine里生成一个Compaction Plan,这个Compaction
//Hudi表类型 'hoodie.datasource.write.recordkey.field' = 'id', //主键 'write.precombine.field' = 'vin',
但是DLI目前不支持直接在INSERT INTO语句中指定部分列字段进行数据插入,您需要确保在SELECT子句中选择的字段数量和类型与目标表的Schema信息匹配。即确保源表和目标表的数据类型和列字段个数相同,以避免插入失败。 如果目标表中的某些字段在SELECT子句中没有被指定,那么这些字段也可能
| (2 rows) --如果匹配字符串中有字符与通配符冲突,可以指定转义字符来标识,示例为查询default这个schema下,table_name前缀为"t_" 的所有table,转义字符为"\": SHOW FUNCTIONS LIKE
r的支持,新增了Redis、DWS作为数据源类型。为用户提供了更多的数据源选择,使得数据集成更加灵活和方便。 Flink OpenSource SQL作业适合通过SQL语句来定义和执行流处理逻辑的场景,简化了流处理的复杂性,使得开发者可以更加专注于业务逻辑的实现。 创建Flink
// SASL_SSL相关配置项。设置jaas账号和密码,username和password为创建Kafka实例过程中开启SASL_SSL时填入的用户名和密码, // 或者创建SASL_SSL用户时设置的用户名和密码。格式如下, // org.apache
) STRING 返回将两个或多个字符串拼接后的新字符串。 例如 CONCAT('AA', 'BB', 'CC') 返回"AABBCC" CONCAT_WS(string1, string2, string3,...) STRING 返回将每个参数和第一个参数指定的分隔符依次连接
永久移动,请求的资源已被永久的移动到新的URI,返回信息会包括新的URI。 302 Found 资源被临时移动。 303 See Other 查看其它地址。 使用GET和POST请求查看。 304 Not Modified 所请求的资源未修改,服务器返回此状态码时,不会返回任何资源。 305 Use Proxy
任意权限。 Flink作业权限使用说明 查看作业详情 租户以及admin用户可以查看和操作所有作业。 子用户以及拥有只读权限的用户只能查看自己的作业。 他人赋权给该子用户查看权限外的任意权限,则该作业仅显示在作业列表中,但不支持该子用户查看作业详情。 启动作业 用户需要同时拥有队
创建Password类型跨源认证 操作场景 通过在DLI控制台创建的Password类型的跨源认证,将DWS、RDS、DCS和DDS数据源的密码信息存储到DLI,无需在SQL作业中配置账号密码,安全访问DWS、RDS、DDS、DCS数据源。 Password类型跨源认证支持连接的数据源