检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
多个数据源编排 一个数据API可以包含多个数据源,因此一次API请求可以涉及多个数据源,例如取第一个数据源查询结果作为第二个数据源的参数。 以MySQL为例说明,假设数据API有数据源1和数据源2,user01是数据源1的数据表和user02是数据源2的数据表,两张表的结构如下: 表1 表结构
选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接地址 填写DWS集群中数据库的连接IP地址和端口号。 数据库名 填写DWS集群中要接入的数据库名。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 DWS数据源的接入配置示例如下图所示。 图1 DWS数据源配置示例
FDI各类数据库支持哪些数据类型? 跟踪号是什么,能跟踪到数据吗? FDI任务是否支持清空目标表? FDI任务只能采集单张表到单张表吗? 用户创建的FDI任务,同一账号的其他用户可见吗? FDI通过公网对接其他租户的MRS HIVE如何配置? 从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗?
MRS Hive写入时数据全部写在第一个字段里 原因分析 建表时没有使用列分隔符。 解决方案 在数据库中执行以下命令设置分隔符: alter table 表名set serdeproperties('field.delim'='分隔符') 父主题: 数据集成任务
本章节主要介绍如何为Oracle数据库开启LogMiner模式的CDC功能。另外,根据Oracle数据库类型为CDB数据库还是非CDB数据库,CDC的配置有所不同。 CDC任务当前仅支持采集数据库物理表,不支持视图。 前提条件 若Oracle数据库为主从模式,不支持使用Oracle从库。
要介绍如何为Oracle数据库开启XStream模式的CDC功能。另外,根据Oracle数据库类型为CDB数据库还是非CDB数据库,CDC的配置有所不同。 前提条件 Oracle数据库需具备OGG License(无需安装OGG)。 若Oracle数据库为主从模式,不支持使用Oracle从库。
APIC不用向后端传递请求,直接返回缓存的应答。有效降低后端的负荷,同时减少API调用的延迟。 当使用响应缓存策略时,后端的响应内容会缓存到APIC中,此时APIC不支持缓存数据加密,对于响应中的敏感数据存在安全风险,请谨慎配置策略。 响应缓存策略原理图如下: 约束与限制 响应
使用SSMS客户端连接到SQL Server数据库所在服务器,以sa用户登录数据库。 其中,密码为数据库用户sa的密码,可向数据库管理员获取。 单击“新建查询”,选择您需要开启CDC的数据库。执行以下命令,开启SQL Server数据库CDC。 if exists(select 1
};DatabaseName={dbname}。 {hostname}为数据库的连接地址。 {port}为数据库的连接端口号。 {dbname}为要接入的数据库名。 用户名 数据库的登录用户名。 密码 数据库的登录密码。 完成数据源接入配置后,单击“测试连接”,检测ABM与数据源之间是否能够连通。
\"sourceDatasourceType\":\"MYSQL\",\"taskType\":2,\"sourceDatasource\":\"mysql\",\"targetDatasourceType\":\"MYSQL\",\"mappingSourceTextOrNot
接入DWS数据源 接入Gauss100数据源 接入HANA数据源 接入HIVE数据源 接入MongoDB数据源 接入MySQL数据源 接入Oracle数据源 接入PostgreSQL数据源 接入Redis数据源 接入SQL Server数据源 父主题: 创建并开放数据API
填写DAMENG数据库的JDBC格式连接串,格式:jdbc: dm://host:port/dbname。 host为数据库的连接地址。 port为数据库的连接端口号。 dbname为要接入的DAMENG数据库名。 用户名 数据库的登录用户名。 密码 数据库的登录密码。 完成数
in this operation”错误 Mysql到Mysql时源端报“Illegal mix of collations for operation 'UNION'”错误 源端Mysql增量采集每小时执行一次时部分数据丢失 API到MySQL时源端报“401 unauthorized”错误
响应消息中“id”的值即为集成应用ID,保存并留待后续步骤使用。 接入数据源 调用“创建数据源”接口,接入需要开放数据的数据库,并获取返回的数据源ID。此处以MySQL数据库为例进行说明,其他类型数据库请参考接口的参数说明。 请求示例: POST /v2/{project_id}/fdi/instan
选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 连接地址 填写数据库的连接IP地址。 端口 填写数据库的端口。 目录 对应SFTP服务器文件目录地址 用户名 数据库的登录用户名。 密码 数据库的登录密码。 完成数据源接入配置后,单击“测试连接”,检测ABM与数据源之间是否能够连通。
Mapping映射时会区分大小写,源端字段、目标端字段都必须和所选择的字段大小写一致。若不一致,MRS Hive和MRS HBase将会运行异常,MongoDB数据库不受影响,运行正常。 父主题: 数据集成普通任务
如果后端服务需要使用签名密钥对请求发送方进行认证,请提前创建签名密钥。 部署并发布后端服务时,如果需要使用自定义认证方式进行API的安全认证,请提前创建自定义认证。 数据源存储的单行数据大小建议不超过2KB,若超过该限制会导致自定义后端响应异常。 当数据源返回numeric类型数据时,如果该数据的小数位精度超过6
有效信息传输。如何实现多种数据类型之间灵活、快速的数据集成和转换,成为企业数字化转型所面临的重要问题。 比如企业中不同业务系统数据的存储格式、存储位置各不相同,当一个业务系统需要获取另一个业务系统的某些数据时,就会出现获取的数据内容不符合要求,无法直接与自己数据结合使用等问题,不
连接地址 仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。 数据库名 仅当“连接模式”选择“默认”时需要配置。 填写要接入的数据库名。 数据库地址列表 仅当“连接模式”选择“多地址”时需要配置。 填写分布式数据库系统的连接地址和端口号,单击“添加地址”添加多个地址和端口号。
config = new DataSourceConfig() config.setType("mysql") config.setUrl("jdbc:mysql://127.0.0.1:3306/db?allowPublicKeyRetrieval=true")