检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
则立即停止任务,否则持续重试读取数据。单位:秒。 60 消费组ID 用户指定消费组ID。 如果是从DMS Kafka导出数据,专享版请任意输入,标准版请输入有效的消费组ID。 sumer-group 开始时间(>=) “偏移量参数”选择为“时间范围”时配置。拉取数据的开始时间,包含设置时间点的数据。
d1cd7861478748a6925bc02f47c69279 X-Dlm-Type 数据服务版本类型,用于请求数据服务时,指定共享版/专享版 调用数据服务接口时必选 共享版: SHARED 专享版: EXCLUSIVE 公共响应消息头 公共响应消息头如表2所示。 表2 公共响应消息头 参数名 说明 Content-Length
配置HBase/CloudTable目的端参数 作业中目的连接为HBase连接或CloudTable连接时,即导入数据到以下数据源时,目的端作业参数如表1所示。 表1 HBase/CloudTable作为目的端时的作业参数 参数名 说明 取值样例 表名 写入数据的HBase表名。
新增字段操作指导 操作场景 作业参数配置完成后,将进行字段映射的配置,您可以通过字段映射界面的可自定义新增字段。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。
新增字段操作指导 操作场景 作业参数配置完成后,将进行字段映射的配置,您可以通过字段映射界面的可自定义新增字段。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。
新增字段操作指导 操作场景 作业参数配置完成后,将进行字段映射的配置,您可以通过字段映射界面的可自定义新增字段。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。
com/database/technologies/appdev/jdbc-downloads.html,推荐使用ojdbc8的12.2.0.1版本。 说明: 如果需要更新驱动文件,则需要先在数据集成页面重启CDM集群,然后通过编辑数据连接的方式重新选择新版本驱动,更新驱动才能生效。 驱动文件
HDFS多副本策略会占用网络带宽,影响迁移速率。 华为云CDM创建连接 创建2个CDM集群: DataArts Studio实例中已经包含一个CDM集群(试用版除外),如果该集群已经满足需求,您无需再购买数据集成增量包,可以跳过这部分内容。 如果您需要再创建新的CDM集群,请参考购买批量数据迁移增量包章节,完成购买数据集成增量包的操作。
Hudi作业配置 支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 Oracle数据库(10、11、12、19版本) MRS集群(3.2.0-LTS.x) Hudi版本(0.11.0) 数据库账号权限要求 在使用Migration进行同步时,源端和目的
com/archives/c-j/,建议5.1.48版本。 PostgreSQL驱动:获取地址https://mvnrepository.com/artifact/org.postgresql/postgresql,建议42.3.4版本。 SQL Server驱动:获取地址https://learn
创建OBS桶,并记录OBS的访问域名、端口和AK/SK。 创建CDM集群。 DataArts Studio实例中已经包含一个CDM集群(试用版除外),如果该集群已经满足需求,您无需再购买数据集成增量包,可以跳过这部分内容。 如果您需要再创建新的CDM集群,请参考购买批量数据迁移增量包,完成购买数据集成增量包的操作。
查看API访问日志 操作场景 支持专享版用户API调用日志的查询,包括请求路径,请求参数,请求响应结果等。 当前数据服务日志仅支持专享版。 配置云日志基础服务 为了能够在云日志服务上面看到数据服务API的日志,需要配置云日志服务。关于云日志服务的详细配置和操作方法,请参见《云日志服务用户指南》。
数据集成(CDM作业) CDM与其他数据迁移服务有什么区别,如何选择? CDM有哪些优势? CDM有哪些安全防护? 如何降低CDM使用成本? CDM未使用数据传输功能时,是否会计费? 已购买包年包月的CDM套餐包,为什么还会产生按需计费的费用? 如何查看套餐包的剩余时长? CDM可以跨账户使用吗?
Oracle数据迁移到云搜索服务 操作场景 云搜索服务(Cloud Search Service)为用户提供结构化、非结构化文本的多条件检索、统计、报表,本章节介绍如何通过CDM将数据从Oracle迁移到云搜索服务中,流程如下: 创建CDM集群并绑定EIP 创建云搜索服务连接 创建Oracle连接
其他编程语言 APP认证工作原理 构造规范请求。 将待发送的请求内容按照与API网关后台约定的规则组装,确保客户端签名、API网关后台认证时使用的请求内容一致。 使用规范请求和其他信息创建待签字符串。 使用AK/SK和待签字符串计算签名。 将生成的签名信息作为请求消息头添加到HT
JSON:以JSON格式解析源数据。 CSV格式:以CSV格式解析源数据。 JSON格式 消费组ID 用户指定消费组ID。 如果是从DMS Kafka导出数据,专享版请任意输入,标准版请输入有效的消费组ID。 sumer-group 消费记录策略 消费record策略。 起止时间:根据kafka record元数
配置Hive目的端参数 作业中目的连接为Hive连接时,目的端作业参数如表1所示。 表1 Hive作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择写入数据的目标
查询checkpoint列表时,配置-s参数,鼠标单击参数值输入框,checkpoint列表参数值会自动弹出。 说明: 若集群为MRS 1.8.7版本或MRS 2.0.1之后版本,需要配置此参数。 单击“选择模板”,选择已创建好的脚本模板,系统支持可以引用多个模板。创建模板的详细操作请参见配置模板。
配置Hive目的端参数 支持快速导入数据到MRS的Hive。 表1 Hive作为目的端时的作业参数 类别 参数名 说明 取值样例 基本参数 数据库 输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择写入数据的目标表名。单击输入框后面的按钮可进入表的选择界面。
支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 Oracle数据库(10、11、12、19版本) DWS集群(8.1.3、8.2.0版本) 数据库账号权限要求 在使用Migration进行同步时,源端和目的端所使用的数据库账号需要满足以下权限要求,才能