检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HBase/CloudTable增量迁移 使用CDM导出HBase(包括MRS HBase、FusionInsight HBase、Apache HBase)或者表格存储服务(CloudTable)的数据时,支持导出指定时间段内的数据,配合CDM的定时任务,可以实现HBase/CloudTable的增量迁移。
MongoDB同步到DWS作业配置 支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 MongoDB数据库(4.0.0及以上版本) DWS集群(8.1.3、8.2.0版本) 数据库账号权限要求 在使用Migration进行同步时,源端和目的端所使用的
数据服务专享版的API怎样通过域名访问? 对于默认发布在数据服务专享版集群的API,当数据服务专享版集群绑定域名后,API即可通过域名访问。 绑定内网域名:内网域名是指在VPC中生效的域名。绑定内网域名,可以将内网域名与内网地址相关联,然后在内网同一VPC中通过内网域名进行API调用。
管理脱敏算法 为了方便对数据进行脱敏,在创建脱敏策略前,需要您准备好脱敏算法。当前系统已内置20+脱敏算法,如果内置算法可以满足您的需求,您需要提前配置对应算法参数;否则,您可以新建脱敏算法。 本章主要介绍内置脱敏算法,和如何新建脱敏算法。 约束与限制 新建随机脱敏或字符替换类型
MySQL同步到DWS作业配置 支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 MySQL数据库(5.6、5.7、8.x版本) DWS集群(8.1.3、8.2.0版本) 数据库账号权限要求 在使用Migration进行同步时,源端和目的端所使用的数
PostgreSQL同步到DWS作业配置 支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 PostgreSQL数据库(PostgreSQL 9.4、9.5、9.6、10、11、12、13、14版本) DWS集群(8.1.3、8.2.0版本) 数据库账号权限要求
Oracle同步到DWS作业配置 支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 Oracle数据库(10、11、12、19版本) DWS集群(8.1.3、8.2.0版本) 数据库账号权限要求 在使用Migration进行同步时,源端和目的端所使用
MySQL同步到MRS Hudi作业配置 支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 MySQL数据库(5.6、5.7、8.x版本) MRS集群(3.2.0-LTS.x) Hudi版本(0.11.0) 数据库账号权限要求 在使用Migratio
数据架构概述 模型设计方法概述 根据业务需求抽取信息的主要特征,模拟和抽象出一个能够反映业务信息(对象)之间关联关系的模型,即数据模型。数据模型也是可视化的展现企业内部信息如何组织的蓝图。数据模型应满足三方面要求:能比较真实地模拟业务(场景);容易被人所理解;便于在IT系统中实现。
SQLServer同步到MRS Hudi作业配置 支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 SQLServer数据库(企业版2016、2017、2019、2022版本,标准版2016 SP2及以上版本、2017、2019、2022版本) MRS集群(3
Oracle同步到MRS Hudi作业配置 支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 Oracle数据库(10、11、12、19版本) MRS集群(3.2.0-LTS.x) Hudi版本(0.11.0) 数据库账号权限要求 在使用Migrat
通知周期概览 操作场景 用户可以按照天/周/月为调度周期配置通知任务,向相关人员发送通知。让相关人员可以定期跟踪作业的调度情况(作业调度成功数量,作业调度失败异常数量以及作业失败详情)。 约束限制 该功能依赖于OBS服务。 前提条件 已开通消息通知服务并配置主题,为主题添加订阅。
配置CDM作业定时任务 在表/文件迁移的任务中,CDM支持定时执行作业,按重复周期分为:分钟、小时、天、周、月。 CDM在配置定时作业时,不要为大量任务设定相同的定时时间,应该错峰调度,避免出现异常。 如果通过DataArts Studio数据开发调度CDM迁移作业,此处也配置了
DMS Kafka同步到OBS作业配置 支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 Kafka集群(2.7、3.x版本) - 数据库账号权限要求 在使用Migration进行同步时,源端和目的端所使用的数据库账号需要满足以下权限要求,才能启动实
发布脚本任务 在企业模式中,开发者提交脚本版本后,系统会对应产生一个脚本类型的发布任务。开发者确认发包后,待拥有管理员、部署者、DAYU Administrator、Tenant Administrator权限的用户审批通过,然后将修改后的脚本同步到生产环境。 管理员导入脚本时,选择导入提交态,会生成对应的待发布项。
Apache Kafka同步到MRS Kafka作业配置 支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 Kafka集群(2.7、3.x版本) Kafka集群(2.7、3.x版本) 数据库账号权限要求 在使用Migration进行同步时,源端和目的
发布作业任务 在企业模式中,开发者提交作业版本后,系统会对应产生一个作业类型的发布任务。开发者确认发布后,待拥有管理员、部署者、DAYU Administrator、Tenant Administrator权限的用户审批通过,然后将修改后的作业同步到生产环境。 管理员导入作业时,选择导入提交态,会生成对应的待发布项。
配置HBase/CloudTable源端参数 作业中源连接为HBase连接或CloudTable连接时,即从MRS HBase、FusionInsight HBase、Apache HBase或者CloudTable导出数据时,源端作业参数如表1所示。 CloudTable或HB
开发Python脚本 数据开发支持对Python脚本进行在线开发、调试和执行,开发完成的脚本可以在作业中调度运行(请参见开发Pipeline作业)。 Python脚本开发的样例教程请参见开发一个Python脚本。 前提条件 已新增Python脚本,请参见新建脚本。 已新建主机连接
开发Shell脚本 数据开发支持对Shell脚本进行在线开发、调试和执行,开发完成的脚本可以在作业中调度运行(请参见开发Pipeline作业)。 前提条件 已新增Shell脚本,请参见新建脚本。 已新建主机连接,该Linux主机用于执行Shell脚本,请参见主机连接参数说明。 连