检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。 支持的动作 获取数据库变更 实时获取数据库变更 ,需要在数据库中启动CDC配置。 配置参数 表1 获取数据库变更 参数 说明 表名 要获取数据变更的数据表名。 数据库操作 选择数据库变更的操作。
OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办? 任务配置时源端OBS的元数据填写顺序必须与CSV文件中列的顺序一致,需修改任务配置,按照文件中列的顺序填写元数据。 父主题: 数据集成普通任务
OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办? MRS Hive目标字段和源端字段数据类型不匹配时,数据是否能集成到目标端? MRS Hive、MRS HBase和MongoDB的Mapping映射手动输入时,是否区分大小写? MRS Hive是否支持分区? 源端API类型数据源自定义周期如何设置?
HBase和MongoDB的Mapping映射手动输入时,是否区分大小写? Mapping映射时会区分大小写,源端字段、目标端字段都必须和所选择的字段大小写一致。若不一致,MRS Hive和MRS HBase将会运行异常,MongoDB数据库不受影响,运行正常。 父主题: 数据集成普通任务
层/贴源数据层。 是否使用JDBC字符串 选择连接数据库模式。 否:由系统根据用户配置自动拼接数据源连接字符串。 是:由用户自己输入数据源连接字符串。 连接地址 仅当“是否使用JDBC字符串”选择“否”时需要配置。 填写数据库的连接IP地址。 端口 仅当“是否使用JDBC字符串”选择“否”时需要配置。
导入Topic前,请确保Topic所属的集成应用已创建,否则请提前创建集成应用。 导入Topic前,请检查导入Topic的实例中是否存在重名Topic,若存在重名Topic,会导致导入Topic失败。 导入Topic前,请确保Topic的配额满足需求。 若Topic的描述信息中有换行
操作步骤 建议由数据库管理员进行CDC功能的配置操作,以下配置以Linux环境为例进行说明。 开启Binlog。 使用命令行工具连接到MySQL数据库所在服务器,执行以下命令以root用户登录数据库。 mysql -uroot -ppassword 其中,password为数据库root用户的密码,可向数据库管理员获取。
仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。 数据库名 仅当“连接模式”选择“默认”时需要配置。 填写要接入的数据库名。 编码格式 仅当“连接模式”选择“默认”时可配置。 数据库所使用的编码格式。 超时时间 仅当“连接模式”选择“默认”时可配置。 连接数据库的超时时间,单位为秒。
端下载。 操作步骤 建议由数据库管理员进行CDC功能的配置操作,以下配置以windows环境为例进行说明。 开启CDC。 使用SSMS客户端连接到SQL Server数据库所在服务器,以sa用户登录数据库。 其中,密码为数据库用户sa的密码,可向数据库管理员获取。 单击“新建查询
如何修复意外重启等原因导致的XStream模式Oracle CDC功能异常? 因Oracle数据库意外重启等原因导致CDC功能异常时,可以在Oracle数据库中执行以下命令来排查和修复。 以sys用户连接到Oracle数据库,然后执行以下命令: SELECT CAPTURE_NAME,status
校验API定义 功能介绍 校验API定义。校验API的路径或名称是否已存在 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}
购买RCU时套餐包,当月未使用完的RCU时下个月是否可以继续使用? 不可以,上个生效月RCU时余量不可以转结到下个生效月。 父主题: 计费FAQ
原因分析 在DWS磁盘空间达到阈值,例如80%,或者某些大数据量的表存在数据倾斜时,DWS集群会变为只读状态。从FDI侧来看,在某个时间点,所有访问DWS的任务均异常停止。 解决方案 处理DWS只读状态问题,恢复数据库服务后,如果FDI的任务停止时间没有超过6小时,可以直接启动任务。
实时获取数据库变更 ,需要在数据库中启动LogMiner。 配置参数 表1 获取数据库变更 参数 说明 表名 要获取数据变更的数据表名。 数据库操作 选择数据库变更的操作。 父主题: 触发器
自定义数据源开发示例(定时任务) 操作场景 FDI当前支持接入MySQL类型数据库,但因为MySQL是最常用的数据库类型,可以方便开发者参照理解,故本章节以MySQL类型自定义连接器为例进行开发,示例使用Java语言进行开发,Demo代码参考MysqlConnctor.rar。 前提条件
导入设备前,请确保设备所属的集成应用已创建,否则请提前创建集成应用。 导入设备前,请确保设备所属的产品已创建,否则请提前创建产品。 导入设备前,请检查导入设备的实例中是否存在重名设备,若存在重名设备,会导致导入设备失败。 导入设备前,请确保设备的配额满足需求。 导入文件格式为csv,并需要使用UTF-8 BOM编码。
选择MongoDB数据源中要写入数据的数据集合(数据集合相当于关系型数据库的数据表)。选择数据集合后,单击“选择集合字段”,可以选择只需要写入的数据列字段。 是否upsert 写入目标端的数据是否进行更新插入,即是否在目标端数据集合中直接更新已有数据字段。 Upsert键 仅当“是否upsert”选择开启时需要配置。
Connect,实现产品信息的批量迁移。 前提条件 导入产品前,请确保产品所属的集成应用已创建,否则请提前创建集成应用。 导入产品前,请检查导入产品的实例中是否存在重名产品,若存在重名产品,会导致导入产品失败。 导入产品前,请确保产品的配额满足需求。 导入文件格式为csv,并需要使用UTF-8 BOM编码。
时区 仅当“是否增量迁移”选择开启时需要配置。 选择DWS数据源使用的时区,以便ROMA Connect识别数据的时间戳。 时间戳字段 仅当“是否增量迁移”选择开启且“插入SQL”不开启时需要配置。 选择数据表中“DATE”类型的字段作为源端数据的时间戳,用来判断数据是否满足增量集成的条件。
ame}:{port}/{dbname}。 {hostname}为数据库的连接地址。 {port}为数据库的连接端口号。 {dbname}为要接入的数据库名。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 完成数据源参数配置后,单击“开始检测”,进行数据源的连接测试。