检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka到Mysql的实时任务时,MQS中的Topic下有数据,但是FDI任务没有采集到数据。 原因分析 数据源配置的不是本实例下的MQS地址,所以本实例下的MQS中虽然有消息,但是FDI任务采集不到数据。 解决方案 检查任务配置与数据源配置,修改数据源配置为正确的MQS地址。 父主题: 数据集成任务
是否必选 参数类型 描述 topics 是 Array of UpdateTopicAccessPolicyTopicsObject objects 策略列表。 表4 UpdateTopicAccessPolicyTopicsObject 参数 是否必选 参数类型 描述 name 是
最新动态(html) 本文介绍了Huawei Cloud EulerOS产品新特性和对应的文档动态,新特性将在各个区域(Region)陆续发布,欢迎体验。
OpenAPI接口 导出API 导入API 导出自定义后端API 导入自定义后端API 父主题: 服务集成API
定时器 定时器是一种能够按照预定的时间间隔触发特定操作的触发器。它可以在设定的时间周期内周期性地触发操作,也可以在指定的时间点触发操作。定时器常用于实现定时任务、定时调度等功能。 支持的动作 每分钟触发 每小时触发 每周触发 每月触发 固定时间间隔触发 配置参数 表1 每分钟触发
定时同步MySQL中的数据到Oracle 方案概述 资源规划 创建MySQL连接器 创建Oracle连接器 选择模板创建组合应用 数据同步验证
用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。 支持的动作 获取数据库变更 实时获取数据库变更 ,需要在数据库中启动CDC配置。 配置参数 表1 获取数据库变更 参数 说明 表名 填写或者选择要获取数据变更的数据表名。 数据库操作
PolicyEntity 参数 是否必选 参数类型 描述 user_name 是 String 应用Key(access key) app_name 是 String 应用名称。 access_policy 是 String 权限类型。 all:拥有发布、订阅权限; pub:拥有发布权限;
Access Key 当前账号的AK(Access Key ID)。请参考访问密钥获取AK,如果已生成过AK/SK,找到原来已下载的AK/SK文件,文件名一般为:credentials.csv。 Secret Access Key 当前账号的SK(Secret Access
用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。 支持的动作 获取数据库变更 实时获取数据库变更 ,需要在数据库中启动CDC配置。 配置参数 表1 获取数据库变更 参数 说明 表名 填写或者选择要获取数据变更的数据表名。 数据库操作
Hive目标字段和源端字段数据类型不匹配时,数据是否能集成到目标端? 目标端MRS Hive和源端字段数据类型不匹配时,例如源端字段为datetime,目标端字段为date,数据可以集成到目标端,但是数据类型不匹配的字段值会为NULL,其他字段正常集成。 父主题: 数据集成普通任务
Kafka是一个分布式流处理平台,最初由LinkedIn开发。它是一个高吞吐量、低延迟的平台,可以处理大量的实时数据流。Kafka主要由三个部分组成:生产者、消费者和代理服务器。生产者将数据发布到Kafka集群,消费者从Kafka集群订阅数据并进行处理,代理服务器则是Kafka集群中的核心组件,负责处理消息的存储和转
连接与安全 选择数据库的连接模式。本实践选择默认模式。 默认:由系统根据用户配置自动拼接数据源连接字符串。 专业:由用户自己输入数据源连接字符串。 主机IP地址 填写数据库的连接IP地址。 端口 填写数据库的连接端口号。 数据库名 填写要连接的数据库名。 pdb数据库名 填写要连接的pdb数据库名。
Connect的数据集成,把业务系统A中的数据进行格式转换后,集成到业务系统B的数据库中使用。后续根据制定的同步计划,定时把业务系统A中新增的数据同步到业务系统B中,保证了两个系统间的数据同步。 ROMA Connect的数据集成直接读取业务系统A中数据库的数据,并根据集成任务的
以在分布式系统中进行异步通信,确保数据的可靠传输。MQ是一种基于消息的中间件,它提供了一种可靠、安全的方式来传输消息,可以在不同的应用程序、平台和系统之间进行通信。MQ可以确保消息在传输过程中不会丢失、重复或失序,并且可以在不同的系统之间进行数据转换和格式化。 创建IBM MQ连接
Access Key 当前账号的AK(Access Key ID)。请参考访问密钥获取AK,如果已生成过AK/SK,找到原来已下载的AK/SK文件,文件名一般为:credentials.csv。 Secret Access Key 当前账号的SK(Secret Access
Index pattern:使用通配符形式匹配多个日志索引,例如“site_access_log_*”,表示匹配以site_access_log_开头的所有日志索引文件。 日志索引的名称格式为site_access_log_{es_index_name}_{current_date
Access Key 当前账号的AK(Access Key ID)。请参考访问密钥获取AK,如果已生成过AK/SK,找到原来已下载的AK/SK文件,文件名一般为:credentials.csv。 Secret Access Key 当前账号的SK(Secret Access
表名存在乱码导致Camel访问数据库失败 原因分析 访问数据库使用参数不正确,导致组合任务启动失败,任务终止。 解决方案 检查数据库中是否有表名存在乱码的情况,如果存在请和数据库管理员沟通后删除乱码表名的表,然后重新启动任务。 父主题: 数据集成组合任务
选择实例,用于后续验证连通性。 连接与安全 选择数据库的连接模式。当前支持“默认”模式,由系统根据用户配置自动拼接数据源连接字符串。 主机IP地址 填写数据库的连接IP地址。 端口 填写数据库的连接端口号。 数据库名 填写要连接的数据库名。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息。