检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 注意事项 JDBC结果表如果定义了主键,将以upsert模式与外部系统交换UPDATE/DELETE消息;否则,它将以append模式与外部系统交换消息,不支持消费UPDATE/DELETE消息。 创建Flink OpenSource SQL作业
创建DLI自定义委托权限 使用Flink 1.15和Spark 3.3及以上版本的引擎执行作业时,当您所需的委托没有包含在DLI系统委托dli_management_agency时,您需要在IAM页面创建相关委托,并在作业配置中添加新建的委托信息。dli_management_a
参数类型 说明 is_success 否 Boolean 请求执行是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 job_id 否 String 当“force”为“true”时返回的job_id。 queue_name
流量限制:DLI通过设置流量控制机制,防止服务过载并保持服务的稳定性。 跨AZ容灾:DLI云服务采用跨可用区容灾部署,减少单点故障的风险,提高系统的可用性和弹性。 备份恢复:DLI自动化的备份策略和恢复计划,确保在发生故障时可以迅速恢复服务和数据。 父主题: 安全
所要使用的Flink弹性资源池。 设置DWS和Kafka的安全组,添加入向规则使其对Flink的队列网段放通。参考测试地址连通性分别根据DWS和Kafka的地址测试队列连通性。若能连通,则表示跨源已经绑定成功,否则表示未成功。 连接DWS数据库实例,在DWS中创建相应的表,作为维
所要使用的Flink弹性资源池。 设置DWS和Kafka的安全组,添加入向规则使其对Flink的队列网段放通。参考测试地址连通性分别根据DWS和Kafka的地址测试队列连通性。若能连通,则表示跨源已经绑定成功,否则表示未成功。 连接DWS数据库实例,在DWS中创建相应的表,作为维
DWS集群连接地址 -U dbadmin -p 8000 -W password -r gaussdb:DWS集群默认数据库。 DWS集群连接地址:请参见获取集群连接地址进行获取。如果通过公网地址连接,请指定为集群“公网访问地址”或“公网访问域名”,如果通过内网地址连接,请指定为
作指导。 约束限制 增强型跨源仅支持包年包月队列和按需专属的弹性资源池/队列。 绑定跨源的DLI队列网段和数据源网段不能重合。 不支持绑定系统预置的default队列。 操作步骤 登录DLI管理控制台。 在左侧导航栏中,选择“跨源管理 > 增强型跨源 ”。 绑定弹性资源池。 选择
is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。示例值:true。 message 否 String 系统提示信息,执行成功时,信息可能为空。示例值:空 请求示例 给用户赋予队列queue1提交作业、删除队列的权限。 { "queue_name":
性资源池并添加队列中创建的队列,在操作列,单击“更多 > 测试地址连通性”。 在“测试连通性”界面,地址栏输入“Kafka内网地址:Kafka数据库端口”,单击“测试”测试DLI到Kafka网络是否可达。注意多个地址要分开单独测试。 步骤6:创建DLI连接RDS的增强型跨源连接 在RDS的安全组上放通DLI队列网段。
e”则默认为“ErrorIfExists”。 “ErrorIfExists”:存在即报错。指定的导出目录必须不存在,如果指定目录已经存在,系统将返回错误信息,无法执行导出操作。 “Overwrite”:覆盖。在指定目录下新建文件,会删除已有文件。 with_column_header
、英文句号(.)。 禁止两个英文句号(.)或英文句号(.)和中划线(-)相邻,禁止以英文句号(.)和中划线(-)开头或结尾。 禁止使用IP地址。 如果名称中包含英文句号(.),访问桶或对象时可能会进行安全证书校验。 导入源文件时,如果源文件中的某一列与目标表列类型不匹配,将会导致该行数据的查询结果为null
E”等协议。 端口:允许远端地址访问指定端口,取值范围为:1~65535。 本例中选择TCP协议,端口值不填或者填写为步骤1:获取外部数据源的内网IP、端口和安全组获取的数据源的端口。 类型 IP地址类型。 IPv4 源地址 源地址用于放通来自IP地址或另一安全组内的实例的访问。
ID)/SK(Secret Access Key)加密调用请求。推荐使用AK/SK认证,其安全性比Token认证更高。 Token认证 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。
Flink提供了完整可靠的Checkpoint/Savepoint机制,您可以利用该机制,保证在手动重启或者作业异常重启场景下,不丢失数据。 为了避免系统故障导致作业异常自动重启后,丢失数据: 对于Flink SQL作业,您可以勾选“开启Checkpoint”,并合理配置Checkpoint
迁移数据场景概述 为了将分散在不同系统中的数据迁移到DLI,确保数据可以在DLI集中分析和管理,您可以通过云数据迁移服务CDM等迁移工具迁移数据至DLI,再使用DLI提交作业分析数据。 CDM支持数据库、数据仓库、文件等多种类型的数据源,通过可视化界面对数据源迁移任务进行配置,提高数据迁移和集成的效率。
Redis结果表 功能描述 DLI将Flink作业的输出数据输出到Redis中。Redis是一种支持Key-Value等多种数据结构的存储系统。可用于缓存、事件发布或订阅、高速队列等场景,提供字符串、哈希、列表、队列、集合结构直接存取,基于内存,可持久化。有关Redis的详细信息
队列相关API(推荐) 包括创建队列、删除队列、查询所有队列、修改队列网段、重启/扩容/缩容队列和查询队列详情、创建指定地址连通性测试请求、查询指定地址连通性请求、创建队列定时扩缩容计划、查询队列定时扩缩容计划、批量删除队列定时扩缩容计划、单个删除队列定时扩缩容计划、修改队列定时扩缩容计划。
使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列 > 找到作业的所属队列 > 更多 > 测试地址连通性 > 输入kafka的地址 > 测试)。如果能连通,则表示跨源已经绑定成功;否则表示未成功。 创建flink opensource
DLI队列的提交操作 dli:queue:* DLI队列的全部操作 dli:*:* DLI所有资源类型的所有操作 更多操作与系统权限的关系请参考常用操作与系统权限关系。 定义Resource Resource由<服务名:region:domainId:资源类型:资源路径>5个字段组