检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"info":"zz"},其中xx、yy、zz为从源端传入的数据值。 MySQL 返回页首 任务的“集成模式”为“定时”或“实时”时,可以选择MySQL作为目标端数据源,具体配置如下。 表7 目标端MySQL信息 参数 配置说明 目标端表 选择已有的表,单击“选择表字段”,可以选择只需要集成的数据列字段。
选择实例,用于后续验证连通性。 连接与安全 选择数据库的连接模式。当前支持“默认”模式,由系统根据用户配置自动拼接数据源连接字符串。 主机IP地址 填写数据库的连接IP地址。 端口 填写数据库的连接端口号。 数据库名 填写要连接的数据库名。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述
on/off xff_index X-Forwarded-For头中IP的排序序号,值允许为正数、负数、0。 值为0或正数时,获取X-Forwarded-For头中对应索引的IP。 值为负数时,按倒序方式从X-Forwarded-For头中获取IP。 例如到达API网关的X-Forw
获取jedis的超时时间,默认1000秒 返回信息 返回超时时间 public void setDatabase(int database) 设置redis的database 输入参数 database:database public void setIp(String[] ip) 设置ip地址 输入参数 ip:IP地址
配置SQL Server CDC 概述 CDC(Change Data Capture),即数据变更抓取,通过为源端数据源开启CDC,ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 本章节主要介绍如何为SQL Server数据库开启CDC功能。 前提条件
测试数据源SQL是否可用 功能介绍 测试数据源SQL是否可用。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/fdi/i
在开放API前,您需要为API分组绑定一个独立域名,供用户访问API使用。 在绑定独立域名前,您可以使用系统为API分配的默认子域名进行API调用测试,ROMA Connect对默认子域名的访问次数做了限制,每天最多可以访问1000次。 配置API授权(可选) 仅使用APP认证方式的API,才需要配置调用授权,把AP
xff_index:X-Forwarded-For头中IP的排序序号,值允许为正数、负数、0。 xff_index值为0或正数时,获取X-Forwarded-For头中对应索引的IP。 xff_index值为负数时,按倒序方式从X-Forwarded-For头中获取IP。 例如到达API
配置集成应用授权 概述 ROMA Connect对用户资源实现了严格的权限管理,在同一实例内,非管理员权限(Tenant Administrator权限)的IAM用户只能查看和管理自己创建的集成应用和资源,默认不能查看其他IAM用户创建的集成应用和资源。ROMA Connect支
数据集成API错误码 更多服务错误码请参见API错误中心。 状态码 错误码 错误信息 描述 处理措施 400 FDI.3002 Invalid parameters. 存在非法参数。 参考API文档修改非法参数。 400 FDI.3016 Failed to test the connectivity
原因分析 查看界面上的采集数据,如果写入数据耗时在秒级,属于正常的情况。如果写入几千条数据超过5秒,一般是性能劣化的表现。 解决方案 如果对DWS的某个表频繁访问,会导致写入性能逐渐降低,需要对DWS进行调优,例如,定时使用analyze规划表、VACUUM FULL等。 父主题:
Parameters或Body中传递。 若数据源开启了“预编译”,则还需要调用相应的函数对offset和limit参数进行数据类型转换,具体请参见自定义后端开发(数据后端)。 预编译 是否对执行语句进行预编译,可以防止SQL注入风险。 结果分页示例说明 假设“返回对象”设置为“m
允许/禁止某个IP地址或账号访问绑定策略的API。 访问控制策略和API本身是相互独立的,只有将API绑定访问控制策略后,访问控制策略才对API生效。 约束与限制 同一个API在同一个环境中只能绑定一个相同限制类型的访问控制策略,一个访问控制策略可以绑定多个API。 创建访问控制策略
写速率(MB/S) MRS Hive 5 2 MRS HDFS 5 2 DWS 5 2 MySQL 6 3 Oracle 6 2 Kafka 10 8 SQL Server 6 3 PostgreSQL 4 2 Gauss100 6 3 FTP 5 3 OBS 6 3 MongoDB 0
Integer 映射关系总数 最小值:0 最大值:1000000 表5 ext_info 参数 参数类型 描述 server_id String MySQL的ServerID。 最小长度:1 最大长度:20 表6 MultiTaskMappingElement 参数 参数类型 描述 id String
从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗? 如果是采集同一个文件,每次在OBS上更新文件,目标端数据库有主键情况下,每次会根据主键更新数据。 如果是采集多个文件,目标端数据库有主键且主键相同的情况下,每次都会更新成时间最早的文件里的值,即数据内容没有变化
Auth认证所需的密码。 AppKey Auth:使用AppKey和AppSecret对请求进行签名,签名校验通过后才允许调用API。 APP认证方式:选择如下三种APP认证方式。 Default:使用AppKey和AppSecret对请求进行签名,签名校验通过后才允许调用API。APIC的API默认使用此方式。
选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接地址 填写DWS集群中数据库的连接IP地址和端口号。 数据库名 填写DWS集群中要接入的数据库名。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 DWS数据源的接入配置示例如下图所示。 图1 DWS数据源配置示例
源数据库重启等操作对组合任务是否有影响? 在业务使用过程中,Oracle等数据库可能需要扩容、重启等操作,这些操作对组合任务的影响主要包含以下两种: 如果变更中重启耗时较短,组合任务中会重试连接,恢复正常运行任务。 如果变更中重启耗时较长,任务会报错失败,等变更完成,需重启组合任务。
选择前端API的安全认证方式,推荐使用APP认证方式。 APP认证:表示由ROMA Connect对API请求进行安全认证。用户调用API时,使用集成应用的Key和Secret进行API请求的安全认证。 华为IAM认证:表示由IAM对API请求进行安全认证。用户调用API时,使用Token或AK/SK进行API请求的安全认证。