检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SASL_SSL,则数据加密传输,安全性更高,但性能会下降。 说明: 启用SSL认证后,Kafka会将Kafka Broker连接地址视做域名不断进行解析,导致性能消耗。建议修改CDM集群对应的ECS主机(通过集群IP查找对应的ECS主机)中的“/etc/hosts”文件,为其添加Broker连接地
移。 事务模式迁移 支持当CDM作业执行失败时,将数据回滚到作业开始之前的状态,自动清理目的表中的数据。 字段转换 支持去隐私、字符串操作、日期操作等常用字段的数据转换功能。 文件加密 在迁移文件到文件系统时,CDM支持对写入云端的文件进行加密。 MD5校验一致性 支持使用MD5
在本地数据中心或ECS上自建的MySQL。本教程为您介绍如何创建MySQL连接器。 前提条件 已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码,且该用户拥有MySQL数据库的读写权限。 本地MySQL数据库可通过公网访问。如果MySQL服务器是在本地数据中心或
DWS模型的表支持以下表类型: DWS_ROW:行存表。行存储是指将表按行存储到硬盘分区上。 DWS_COLUMN:列存表。列存储是指将表按列存储到硬盘分区上。 DWS_VIEW:视图存表。视图存储是指将表按视图存储到硬盘分区上。 MRS_HIVE模型支持HIVE_TABLE和HIVE_EXTERNAL_TABLE。
如何降低CDM使用成本? 如果是迁移公网的数据上云,可以使用NAT网关服务,实现CDM服务与子网中的其他弹性云服务器共享弹性IP,可以更经济、更方便的通过Internet迁移本地数据中心或第三方云上的数据。 具体操作如下: 假设已经创建好了CDM集群(无需为CDM集群绑定专用弹性
hits”,然后在作业第二步添加转换器,操作步骤如下: 单击添加字段,新增一个字段。 图2 添加字段 在添加的新字段后面,单击添加字段转换器。 图3 添加字段转换器 创建“表达式转换”的转换器,表达式输入“1.0”,然后保存。 图4 配置字段转换器 二进制格式 如果想要在文件系统
API管理”页面,进入API管理页面。 在API列表上方,选择“更多 > 导入”,进入导入API页面。 在导入页面中配置导入参数后,单击“选择Excel文件”,选择待导入的API文件后单击导入,导入结果中可以展示导入状态。 当前仅专享版支持按照导入文件定义自动新建审核人(须确保审核人已为当前工作空间成员)。
DRS任务切换到实时Migration作业配置 DRS(数据复制服务)任务迁移到Migration,完成作业切换和数据续传。 前提条件 已创建DRS实时同步任务,DRS相关操作请参见数据复制服务。 已按使用前自检概览准备好实时数据集成环境。 准备动作 Migration所需资源估算。
是否支持字段转换? 支持,CDM支持以下字段转换器: 脱敏 去前后空格 字符串反转 字符串替换 表达式转换 在创建表/文件迁移作业的字段映射界面,可新建字段转换器,如下图所示。 图1 新建字段转换器 脱敏 隐藏字符串中的关键信息,例如要将“12345678910”转换为“123****8910”,则配置如下:
Cassandra连接参数说明 2.9.3.300以上版本不支持Cassandra。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 Cassandra连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接
目前CDM支持连接的Hive数据源有以下几种: MRS Hive FusionInsight Hive Apache Hive 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 MRS Hive 用户具有MRS Hive连接的表的访问权限时,才能在字段映射时看到表。
实例规格变更 规格变更接口 父主题: 管理中心API
POSTGRESQL DWS DDM SAP HANA linkConfig.host 是 String 数据库服务器地址。 linkConfig.port 是 String 数据库服务器的端口号。 linkConfig.databaseconfig 否 枚举 创建Oracle连接时才有该参数,选择Oracle数据库连接类型:
选择是否开启HBase的预写日志机制(WAL,Write Ahead Log)。 是:开启后如果出现HBase服务器宕机,则可以从WAL中回放执行之前没有完成的操作。 否:关闭时能提升写入性能,但如果HBase服务器宕机可能会造成数据丢失。 toJobConfig.transType 否 Boolean
连接到文件服务器时出错。 连接到文件服务器时出错。 请联系客服或技术支持人员协助解决。 Cdm.0413 400 向文件服务器传输数据时出错。 向文件服务器传输数据时出错。 请联系客服或技术支持人员协助解决。 Cdm.0415 400 从文件服务器下载文件出错。 从文件服务器下载文件出错。
format(${timestamp()},"yyyy-MM-dd HH:mm:ss")表达式获取当前时间,更多表达式设置方式可以参考表达式转换。 父主题: 数据集成(CDM作业)
问云搜索服务集群。 CDM集群创建完成后,在集群管理界面选择“绑定弹性IP”,CDM通过EIP访问Oracle数据源。 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。 创建云搜索服务连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理
当前认证信息无法连接到数据库。 认证信息错误,请修改正确后再重试。 Cdm.0960 必须指定服务器列表。 请指定服务器列表后再重试。 Cdm.0961 服务器列表格式非法。 请修改正确的格式后再重试。 Cdm.0962 必须指定主机IP。 未指定主机IP,请指定主机IP后,再重试。 Cdm.0963 必须指定主机端口。
medium即可,满足大部分迁移场景。 CDM集群创建完成后,选择集群操作列的“绑定弹性IP”,CDM通过EIP访问MySQL。 图1 集群列表 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。 创建MySQL连接 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理
选择是否开启HBase的预写日志机制(WAL,Write Ahead Log)。 是:开启后如果出现HBase服务器宕机,则可以从WAL中回放执行之前没有完成的操作。 否:关闭时能提升写入性能,但如果HBase服务器宕机可能会造成数据丢失。 否 匹配数据类型 是:源端数据库中的Short、In