检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI侧创建的Password类型的跨源认证名称。 使用跨源认证则无需在作业中配置账号和密码。 示例 从Kafka源表中读取数据,将DWS表作为维表,并将二者生成的宽表信息写入Kafka结果表中,其具体步骤如下: 参考增强型跨源连接,在DLI上根据DWS和Kafka所在的虚拟私有云和子网分别创建相
max-retries 否 3 Integer 维表配置,数据拉取最大重试次数。 示例 从Kafka源表中读取数据,将DWS表作为维表,并将二者生成的宽表信息写入Kafka结果表中,其具体步骤如下: 参考增强型跨源连接,在DLI上根据DWS和Kafka所在的虚拟私有云和子网分别创建相
前界面显示为--。 创建时间 弹性资源池添加队列的时间。 企业项目 队列所属的企业项目。 弹性资源池支持添加不同企业项目的队列资源。 所有者 弹性资源池添加队列的用户名。 操作 编辑:重新修改或者添加弹性资源池队列的扩缩容策略。 删除:删除当前弹性资源添加的队列。 图1 弹性资源池队列管理
key-column 否 无 String Redis 表schema的key 示例 从Kafka源表中读取数据,将Redis表作为维表,并将二者生成的宽表信息写入Kafka结果表中,其具体步骤如下: 参考增强型跨源连接,根据Redis和Kafka所在的虚拟私有云和子网创建相应的增强型
DLI侧创建的Password类型的跨源认证名称。 使用跨源认证则无需在作业中配置和账号密码。 示例 从Kafka源表中读取数据,将Redis表作为维表,并将二者生成的宽表信息写入Kafka结果表中,其具体步骤如下: 参考增强型跨源连接,根据Redis和Kafka所在的虚拟私有云和子网创建相应的增强型
查看表中数据,在MySQL中执行sql查询语句 select * from orders; 示例3:从DataGen源表中读取数据,将JDBC表作为维表,并将二者生成的表信息写入Print结果表中。 参考增强型跨源连接,根据RDS MySQL所在的虚拟私有云和子网创建相应的增强型跨源,并绑定所要使用的Flink弹性资源池。
当period_interval为0时,表示没有使用窗口的周期触发策略; 当lateness_interval为0时,表示没有使用窗口结束后的延迟策略; 当二者都没有填写时,默认两种策略都没有配置,仅使用普通的TUMBLE窗口。 若仅需使用延迟时间策略,则需要将上述period_interval格式中的'10'设置为
deserializer'。 format 是 无 String 序列化和反序列化Kafka消息的value的格式。 该配置项和 'value.format' 二者必需其一。 关于Kafka消息的消息键和消息体请参考消息键(Key)与消息体(Value)的格式。 请参考Format页面以获取更多详细信息和格式参数。
Integer 读取表快照时每次读取数据的最大条数。 scan.startup.mode 否 initial String MySQL CDC 消费者可选的启动模式, 合法的模式为 "initial","earliest-offset","latest-offset","specific-offset"
生效,指定启动位点时间戳。 scan.topic-partition-discovery.interval 否 无 Duration 消费者定期发现动态创建的Kafka主题和分区的时间间隔。 ssl_auth_name 否 无 String DLI侧创建的Kafka_SSL类型的
DayTimeIntervalType的映射类型变化为Duration 说明: 在ArrowWriter和ArrowColumnVector开发者API中,从Spark 3.3.x版本开始,Spark SQL中的DayTimeIntervalType类型被映射到Apache Arrow的Duration类型。