检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
只能配置一个,不能同时配置。 若有多个topic,请以';'分隔,如'topic-1;topic-2'。 topic-pattern 否 无 String 匹配读取kafka topic名称的正则表达式。 注意:“topic-pattern”和“topic”只能选择一个,不可同时存在。
资源池的单位为CU,1CU包含1CPU和4GB内存。 您可以在弹性资源池中创建多个队列, 队列之间的计算资源支持共享。 通过合理设置队列的计算资源池分配策略,提高计算资源利用率。 DLI弹性资源池之间为物理集群隔离,同一个弹性资源池中的队列之间为逻辑隔离。 建议您对测试业务场景和
该场景作业需要运行在DLI的独享队列上,因此要与Doris建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 如果使用MRS Doris,请在增
split1或split2值为NULL时,返回NULL。 str或key值为NULL或没有匹配的key时,返回NULL。 如果有多个Key-Value匹配,返回第一个匹配上的key对应的Value。 示例代码 返回2。 select keyvalue('a:1;b:2', 'b'); 返回2。
采用big-endian(默认)编码的两个字节。字节序可以通过 'raw.endianness' 配置。 INT 采用 big-endian (默认)编码的四个字节。字节序可以通过 'raw.endianness' 配置。 BIGINT 采用 big-endian (默认)编码的八个字节。字节序可以通过 'raw.endianness'
SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 新建作业模板 DLI提供新建Flink作业模板的接口。您可以使用该接口新建一个Flink作业模板。示例代码如下: 1 2 3 4 5 6 public static void createFlinkJobTemplate(DLIClient
数据类型将在 Flink 中转换为 JSON 格式的字符串。 SET ARRAY<STRING> 因为MySQL中的SET数据类型是一个字符串对象,可以有零个或多个值 它应该始终映射到字符串数组。 GEOMETRY POINT LINESTRING POLYGON MULTIPOINT MULTILINESTRING
权限管理概述 DLI服务不仅在服务本身有一套完善的权限控制机制,同时还支持通过统一身份认证服务(Identity and Access Management,简称IAM)细粒度鉴权,可以通过在IAM创建策略来管理DLI的权限控制。两种权限控制机制可以共同使用,没有冲突。 IAM鉴权使用场景
在列表页面的右上方单击可以自定义显示列,并设置表格内容显示规则、操作列显示规则。 在列表页面上方的搜索区域,您可以名称和标签筛选需要的增强型跨源连接。 单击查看增强型跨源连接详细信息。 支持查看以下信息: 是否支持IPv6:如果创建增强型跨源连接时您选择的子网是开启IPv6的,则您
Hive源表 简介 Apache Hive 已经成为了数据仓库生态系统中的核心。 它不仅仅是一个用于大数据分析和ETL场景的SQL引擎,同样它也是一个数据管理平台,可用于发现,定义,和演化数据。 Flink与Hive的集成包含两个层面,一是利用了Hive的MetaStore作为持
业的输入数据。HBase是一个稳定可靠,性能卓越、可伸缩、面向列的分布式云存储系统,适用于海量数据存储以及分布式计算的场景,用户可以利用HBase搭建起TB至PB级数据规模的存储系统,对数据轻松进行过滤分析,毫秒级得到响应,快速发现数据价值。DLI可以从HBase中读取数据,用于过滤分析、数据转储等场景。
SQL节点传递SQL语句到DLI中执行,请参考《DLI SQL》。 通过数据治理中心的DLI Flink Job节点执行一个预先定义的DLI作业,请参考《DLI Flink Job》。 通过数据治理中心的DLI Spark节点执行一个预先定义的Spark作业,请参考《DLI Spark》。
是 String 指定修改网段的队列名称。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 cidr_in_vpc 否 String 队列虚拟私有云网段。 不同CU规格队列支持的网段范围: 16cu: 10.0.0.0/8 ~ 10.255.255.0/24 172.16
该场景作业需要运行在DLI的独享队列上,因此要与Doris建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 如果使用MRS Doris,请在增
ROLE:限定后面的rol e_name是一个角色。 USER:限定后面的user_name是一个用户。 注意事项 privilege必须为赋权对象在resource中的已授权限,否则会回收失败。Privilege支持的权限类型可参见数据权限列表。 resource可以是queue、databa
8。配置Java环境变量JAVA_HOME。 查询弹性云服务器ECS详细信息,获取ECS的“私有IP地址”。 使用增强型跨源连接打通DLI队列和Livy实例所在的VPC网络。具体操作可以参考增强型跨源连接。 DLI Livy工具下载及安装 本次操作下载的DLI Livy版本为apache-livy-0
csv.field-delimiter 否 , String 字段分隔符 (默认','),必须为单字符。您可以使用反斜杠字符指定一些特殊字符,例如 '\t' 代表制表符。 您也可以通过 unicode 编码在纯 SQL 文本中指定一些特殊字符,例如 'csv.field-delimiter'
interval) 定义一个跳跃的时间窗口(在 Table API 中称为滑动窗口)。滑动窗口有一个固定的持续时间( 第二个 interval 参数 )以及一个滑动的间隔(第一个 interval 参数 )。若滑动间隔小于窗口的持续时间,滑动窗口则会出现重叠;因此,行将会被分配到多个窗口中。比如,一个大小为
MULTISET object ROW object 示例 该示例是从kafka的一个topic中读取数据,并使用kafka sink将数据写入到kafka的另一个topic中。 根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组入向规则,使其对当前将
imeLine里生成一个Compaction Plan,这个Compaction Plan会记录哪些parquet文件将会与哪些log文件进行合并,但是仅仅是一个Plan,没有去合并。Run过程会将TimeLine里的所有Compaction Plan一个一个去执行,一直到全部都执行完。