检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图3 包年/包月DLI资源生命周期 到期预警 包年/包月DLI资源在到期前第7天内,系统将向用户推送到期预警消息。预警消息将通过邮件、短信和站内信的方式通知到华为云账号的创建者。 到期后影响 当您的包年/包月DLI资源到期未续费,首先会进入宽限期,资源状态变为“已过期”。 如
策略。 单击“确定”完成添加队列配置。 步骤2:创建虚拟私有云和安全组 创建虚拟私有云 登录VPC管理控制台,进入创建虚拟私有云页面。 在“创建虚拟私有云”页面,根据界面提示配置VPC和子网的参数。 具体参数说明请参考创建虚拟私有云。 其中配置IPv4网段时,请确保VPC的IPv4网段不要与下列网段重复。
在创建Kafka实例前您需要提前准备相关依赖资源,包括VPC、子网和安全组,并配置安全组。 创建VPC和子网的操作指导请参考创建虚拟私有云和子网,如果需要在已有VPC上创建和使用新的子网,请参考为虚拟私有云创建新的子网。 创建的VPC与使用的Kafka服务应在相同的区域。 创建VPC和子网时,如无特殊需求,配置参数使用默认配置即可。
若名称中包含大写字母,将会自动转换为小写字母。 description 否 String 描述信息。长度限制:256个字符以内。 cidr_in_vpc 否 String 虚拟集群关联的vpc cidr。如果不填,默认值为172.16.0.0/12。 max_cu 是 Integer 最大CU大于等于该资源池下任
配置为基于时间的方式往桶中写入数据,比如可以设置每个小时的数据写入一个新桶中。即桶中将包含一个小时间隔内接收到的记录。 桶目录中的数据被拆分成多个Part文件。对于相应的接收数据的桶的Sink的每个Subtask,每个桶将至少包含一个Part文件。将根据配置的滚动策略来创建其他Part文件。对于Row
连接名称:设置具体的增强型跨源名称。本示例输入为:dli_kafka。 弹性资源池:选择步骤1:创建队列中已经创建的队列名。 虚拟私有云:选择Kafka的虚拟私有云。 子网:选择Kafka的子网。 其他参数可以根据需要选择配置。 参数配置完成后,单击“确定”完成增强型跨源配置。单击
细内容请参考DLI对接LakeFormation。 HetuEngine简介 HetuEngine是华为推出的高性能交互式SQL分析及数据虚拟化引擎,能够与大数据生态无缝融合,实现海量数据的秒级交互式查询。 DLI+HetuEngine能够快速处理大规模数据集的查询请求,迅速和高
实现DLI与数据源的VPC网络互通,为DLI的跨源分析提供了支持。 目前DLI支持跨源访问的数据源请参考跨源分析开发方式。 增强型跨源连接收费吗? 增强型跨源连接不计费。 怎样创建增强型跨源连接? 在DLI管理控制台,单击“跨源管理 > 增强型跨源 ”。 选择“增强型跨源”,单击“创建”。
仅包周期和按需计费模式的专属队列支持绑定弹性资源池。 说明: 使用增强型跨源连接之前必须绑定队列且对等连接的状态是“active”。 虚拟私有云 数据源所使用的虚拟私有云。 子网 数据源所使用的子网。 路由表 显示子网实际绑定的路由表。 说明: 此处的路由表为目的数据源子网关联的路由表,不
000000027 默认会表示为 2.7E-8。当此选项设为 true 时,则会表示为 0.000000027。 元数据 元数据可以在 DDL 中作为只读(虚拟)meta 列声明。 Format的元数据只有在相应的连接器使用元数据时才可用。目前,只有Kafka连接器。 表3 元数据 Key 数据类型
dli_kafka。 弹性资源池:选择步骤1:创建队列中已经创建的队列名称。(未添加至资源池的队列,请直接选择队列名称。) 虚拟私有云:选择Kafka的虚拟私有云。 子网:选择Kafka的子网。 其他参数可以根据需要选择配置。 参数配置完成后,单击“确定”完成增强型跨源配置。单击
加强劲的性能。 说明: 系统default队列不支持创建跨源连接。 跨源连接需要使用VPC、子网、路由、对等连接功能,因此需要获得VPC(虚拟私有云)的VPC Administrator权限。可在服务授权中进行设置。 发布区域:全部 创建增强型跨源连接 OBS 2.0支持 DLI自定义委托
子句可用于在 SELECT 子句之外定义 OVER 窗口。它让查询可读性更好,也允许多个聚合共用一个窗口定义。 示例 查询为每个订单计算前一个小时之内接收到的同一产品所有订单的总金额。 1 2 3 4 5 6 7 SELECT order_id, order_time, amount, SUM(amount)
参考《企业管理用户指南》。 说明: 开通了企业管理服务的用户可设置该参数绑定指定的项目。 cidr_in_vpc 否 String 队列的虚拟私有云(VPC)的网段。例如:10.0.0.0/8~24,172.16.0.0/12~24,192.168.0.0/16~24。 cidr_in_mgntsubnet
如果该步骤不选择弹性资源池,可以创建跨源完后,在增强型跨源界面,在对应跨源连接所在行的“操作”列,单击“更多 > 绑定弹性资源池”进行绑定。 虚拟私有云:选择5中获取的RDS的虚拟私有云。 子网:选择5中获取的RDS的子网。 其他参数可以根据需要选择配置。 参数配置完成后,单击“确定”完成增强型跨源配
从kafka中作为source的topic中读取json数据,并以confluent avro的形式写入作为sink的topic中。 根据kafka和ecs所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka和ecs的地址测试队列连通性(通用队列
更多细节可查阅字节序。 支持的Connector Kafka UpsertKafka 示例 使用kafka发送数据,输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连
format' = 'ogg-json' ); 示例 使用ogg-json读取kafka中的ogg记录,并输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列
IP,数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 ii. CDM集群与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则。 配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。
根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 Flink跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证。