检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"enterprise_project_id" : "0", "source_datasource_type" : "MYSQL", "target_datasource_type" : "MYSQL", "source_instance_name" : "roma-z00617033-not-delete"
数据集成组合任务 目标表中配置的RowId字段类型不正确导致写入数据失败 读取MySQL的binlog时报“binlog probably contains events generated with statement or mixed based replication forma”错误
接入FI Hive数据源 接入MySQL数据源 接入MongoDB数据源 接入MRS Hive数据源 接入MRS HBase数据源 接入FI HBase数据源 接入Oracle数据源 接入SQL Server数据源 接入DAMENG数据源 接入POSTGRESQL数据源 接入SFTP数据源
数组长度:1 - 9999 表4 ext_info 参数 是否必选 参数类型 描述 server_id 否 String MySQL的serverId。数据源为MySQL时,ServerID必填。 最小长度:1 最大长度:20 表5 MultiTaskColumnInfo 参数 是否必选
数组长度:1 - 9999 表4 ext_info 参数 是否必选 参数类型 描述 server_id 否 String MySQL的serverId。数据源为MySQL时,ServerID必填。 最小长度:1 最大长度:20 表5 MultiTaskColumnInfo 参数 是否必选
自动生成APP Code 功能介绍 创建App Code时,可以不指定具体值,由后台自动生成随机字符串填充。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI PUT
选择策略所属的集成应用。若没有可用的集成应用,可单击右侧的“新建集成应用”,创建一个集成应用。 描述 填写策略的描述信息。 策略内容:支持表单模式和脚本模式两种方式,脚本模式配置请参见脚本配置示例。 策略基本信息 Broker地址 日志要推送的目标Kafka连接地址列表,多个地址间以英文逗号(,)隔开。 Topic主题
选择策略所属的集成应用。若没有可用的集成应用,可单击右侧的“新建集成应用”,创建一个集成应用。 描述 填写策略的描述信息。 策略内容:支持表单模式和脚本模式两种方式,脚本模式配置请参见脚本配置示例。 流控类型 选择流控的类型,推荐使用高性能流控。 高精度流控:单位时间内流控没有误差,但高并发场景下实例内部有
接入LDAP数据源 定时 - - - 接入IBM MQ数据源 实时 定时,实时 - - 接入Kafka数据源 实时 定时,实时 - 实时 接入MySQL数据源 定时 定时,实时 定时,实时 定时,实时 接入MongoDB数据源 定时 定时,实时 - - 接入MQS数据源 实时 定时,实时
选择策略所属的集成应用。若没有可用的集成应用,可单击右侧的“新建集成应用”,创建一个集成应用。 描述 填写策略的描述信息。 策略内容:支持表单模式和脚本模式两种方式,脚本模式配置请参见脚本配置示例。 负载通道 是否使用负载通道访问第三方鉴权服务。若选择“使用”,您需要提前创建负载通道。 后端URL 配置第三方认证服务的URL。
填写要连接的数据库名。 连接字符串 仅当“连接与安全”选择“专业”时需要配置。 填写Sql Server数据库的JDBC格式连接串,例如:jdbc:sqlserver://{hostname}:{port};DatabaseName={dbname}。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。
接入DWS数据源 接入Gauss100数据源 接入HANA数据源 接入HIVE数据源 接入MongoDB数据源 接入MySQL数据源 接入Oracle数据源 接入PostgreSQL数据源 接入Redis数据源 接入SQL Server数据源 父主题: 创建并开放数据API
方案概述 应用现状 在数字化转型过程中,一些大型企业的业务系统数据格式多样化,难以在业务系统间形成有效信息传输。如何实现多种数据类型之间灵活、快速的数据集成和转换,成为企业数字化转型所面临的重要问题。 比如企业中不同业务系统数据的存储格式、存储位置各不相同,当一个业务系统需要获取
数据信息。 MySQL 返回页首 任务的“集成模式”为“定时”时,可以选择MySQL作为源端数据源。 在创建任务页面中配置源端信息。 表15 源端MySQL信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择MySQL数据源所属的集成应用,在接入数据源时已配置。
创建Topic 功能介绍 创建Topic。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/mqs/instances/{instance_id}/topics
n-class.bat脚本文件。仅当使用1.1.0版本Kafka命令行工具时需要修改脚本文件,否则跳过此步骤。 在“D:\kafka_2.11-1.1.0\bin\windows”路径下找到kafka-run-class.bat文件,并在文件内容中的以下脚本行中,为“%CLASSPATH%”加上英文双引号,如下所示。
SQL语法 数据后端与各数据库的SQL语法差异 如果需要把后端服务请求中携带的参数传递给SQL,使用${参数名}的方式传递,其中String类型的参数需要用单引号括起来,int类型的参数则不需要。 如以下示例,name为String类型参数,id为int类型参数。 select *
接入DM数据源 接入Gauss100数据源 接入HANA数据源 接入HIVE数据源 接入MongoDB数据源 接入MySQL数据源 接入Oracle数据源 接入PostgreSQL数据源 接入Redis数据源 接入SQL Server数据源 父主题: 开放数据API
消息大小:512byte 消息目的端:MQS Topic 数据集成规格在以下条件中测试得出: 分别执行以下三个任务场景,每个场景3个并发任务: mysql-mysql任务场景 obs-obs任务场景 kafka-kafka任务场景 读写100W数据 数据迁移量1G 服务集成规格在以下条件中测试得出:
完全托管的分析型数据库服务,兼容ANSI/ISO标准的SQL92、SQL99和SQL 2003语法,同时兼容PostgreSQL/Oracle/Teradata/MySQL等数据库生态,为各行业PB级海量大数据分析提供有竞争力的解决方案。 创建DWS连接 登录新版ROMA Connect控制台。