检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在到期前续费成功,所有资源得以保留,且作业的运行不受影响。资源到期后的状态说明,请参见到期后影响(适用于包年/包月计费模式)。 续费相关的功能 包年/包月的DLI资源续费相关的功能如表1所示。 表1 续费相关的功能 功能 说明 手动续费 包年/包月的DLI资源从购买到被自动删除之前,您
DLI跨源分析场景连接外部数据源时,由于数据源的VPC与DLI VPC不同,网络无法连通,导致DLI无法读取数据源数据。DLI提供的增强型跨源连接功能可以实现DLI与数据源的网络连通。 本节操作为您介绍跨VPC的数据源网络连通方案: 创建增强型跨源连接:采用对等连接的方式打通DLI与数据源的VPC网络。 测试
查询组:查询组内程序包详情。 删除组:删除该组的程序包。 赋权:当前用户可将组的权限赋予其他用户。 回收:当前用户可回收其他用户具备的该组的权限,但不能回收该组所有者的权限。 查看其他用户具备的权限:当前用户可查看其他用户具备的该组的权限。 程序包授权 图2 程序包授权 表2 程序包授权参数说明
String 仅读取指定表的 changelog 记录(通过对比 Canal 记录中的 "table" 元数据字段)。 支持的Connector Kafka 示例 使用kafka发送数据,输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置
String 仅读取指定表的 changelog 记录(通过对比 Canal 记录中的 "table" 元数据字段)。 支持的Connector Kafka 示例 使用kafka发送数据,输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置
不支持队列类型切换,如需使用其他队列类型,请重新购买新的队列。 不支持切换队列的计费模式。 队列不支持切换区域。 16CUs队列不支持扩容和缩容。 64CUs队列不支持缩容。 创建队列时,仅支持包年包月队列和按需专属队列选择跨AZ双活,且跨AZ的队列价格为单AZ模式下的2倍。 新创建的队列需要运行作业后才可进行扩缩容。
Flink Jar作业只能运行在预先创建的独享队列上。 如果“所属队列”下拉框中无可用的独享队列,请先创建一个独享队列并将该队列绑定到当前用户 选择Flink Jar作业运行的队列 应用程序 用户自定义的程序包 自定义的程序包 主类 指定加载的Jar包类名,如FlinkDisToDisExample。
System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件系统,提供毫秒级别访问时延,以及TB/s级别带宽和百万级别的IOPS,能够快速处理高性能计算(HPC)工作负载。 并行文件系统的详细介绍和使用说明,请参见《并行文件系统特性指南》。 使用须知 请勿
RDS实例的用户名。 第二行凭据值的键为MySQLPassword,值为RDS实例的密码。 图1 设置凭据值 按需完成其他参数的配置后,单击“确定”保存凭据。 了解更多请参考创建通用凭据。 在DLI作业中使用DEW中创建的凭据 以Flink作业为例介绍使用DEW凭据的方法。 参考Flink
那么导出的作业结果的路径为obs://bucket/src1/test.csv 导出方式 是 随导出创建指定路径: 该方式导出作业结果时,会创建一个新的文件夹路径,并将作业结果保存在这个路径中。适用于当您希望在新的路径下保存本次的导出结果的场景,方便作业结果的管理的回溯。 选择
使用文件系统输出流写入数据到OBS时,应避免多个作业写同一个目录的情况。 OBS对象存储桶的默认行为为覆盖写,可能导致数据丢失。 OBS并行文件系统桶的默认行为追加写,可能导致数据混淆。 因为以上OBS桶类型行为的区别,为避免作业异常重启可能导致的数据异常问题,请根据您的业务需求选择OBS桶类型。 HDFS代理用户配置
使用文件系统输出流写入数据到OBS时,应避免多个作业写同一个目录的情况。 OBS对象存储桶的默认行为为覆盖写,可能导致数据丢失。 OBS并行文件系统桶的默认行为追加写,可能导致数据混淆。 因为以上OBS桶类型行为的区别,为避免作业异常重启可能导致的数据异常问题,请根据您的业务需求选择OBS桶类型。 HDFS代理用户配置
根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列 > 找到作业的所属队列 > 更多 > 测试地址连通性 > 输入kafka的地址 > 测试)。如果能
同一个队列,同一个动作的防御规则仅支持创建一条。 系统默认创建的规则会分别创建每个支持动作的规则。例如:创建队列时,会分别创建“提示”和“拦截”动作的Scan files number规则。 不同的引擎版本支持的防御规则不同。 如需查看队列的引擎版本,您可以在队列资源的资源列表页面,通
LITERAL 的时候,指定字符串常量替换 Map 中的空 key 值。 支持的Connector Kafka 示例 使用kafka发送数据,输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放
LITERAL 的时候,指定字符串常量替换 Map 中的空 key 值。 支持的Connector Kafka 示例 使用kafka发送数据,输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放
KEY 主键用作 Flink 优化的一种提示信息。主键限制表明一张表或视图的某个(些)列是唯一的并且不包含 Null 值。 主键声明的列都是非 nullable 的。因此主键可以被用作表行级别的唯一标识。 主键可以和列的定义一起声明,也可以独立声明为表的限制属性,不管是哪种方式,主键都不可以重复定义,否则
使用canal-json读取kafka中的canal记录,并输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列 > 找到作业的所属队列 > 更多 > 测试地址连通性
附加请求消息头字段,如指定的URI和HTTP方法所要求的字段。例如,定义消息体类型的请求消息头“Content-Type”,请求鉴权信息等。 详细的公共请求消息头字段请参见表3。 表3 公共请求消息头 参数 说明 是否必选 示例 Host 请求的服务器信息,从服务API的URL中获取。值为
KEY 主键用作 Flink 优化的一种提示信息。主键限制表明一张表或视图的某个(些)列是唯一的并且不包含 Null 值。 主键声明的列都是非 nullable 的。因此主键可以被用作表行级别的唯一标识。 主键可以和列的定义一起声明,也可以独立声明为表的限制属性,不管是哪种方式,主键都不可以重复定义,否则