检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
fromJobConfig.isPermanency 是 Boolean 是否永久运行。 fromJobConfig.groupId 否 String 用户指定消费组ID。 如果是从DMS Kafka导出数据，专享版请任意输入，标准版请输入有效的消费组ID。 fromJobConfig.dataFormat
源端作业参数说明 源端为关系数据库 源端为对象存储 源端为HDFS 源端为Hive 源端为HBase/CloudTable 源端为FTP/SFTP 源端为HTTP/HTTPS 源端为MongoDB/DDS 源端为Redis 源端为DIS 源端为Kafka 源端为Elasticsearch/云搜索服务
增量迁移原理介绍 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 MongoDB/DDS增量迁移 父主题： 进阶实践
使用前必读 概述 终端节点 项目ID和账号ID 基本概念
源端为关系数据库 JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig
数据库模式或表空间。 toJobConfig.tablePreparation 是 枚举 只有当源端和目的端都为关系数据库时，才有该参数。表示写入表数据时，用户选择的操作： DO_NOTHING：不自动建表。 CREATE_WHEN_NOT_EXIST：当目的端的数据库没有“tableName”参数中指定的表时，CDM会自动创建该表。
toJobConfig.table 是 String 写入数据的表名。 toJobConfig.tablePreparation 是 枚举 写入表数据时，用户选择的操作： DO_NOTHING：不自动建表。 CREATE_WHEN_NOT_EXIST：当目的端的数据库没有“tableName”参数中指定的表时，CDM会自动创建该表。
源端为Elasticsearch/云搜索服务 JSON样例 "from-config-values": { "configs": [ { "inputs": [
createIndexStrategy 否 枚举 对于持续写入数据到Elasticsearch的流式作业，CDM支持在Elasticsearch中定时创建新索引并写入数据，方便用户后期删除过期的数据。支持按以下周期创建新索引： EveryHour：每小时整点创建新索引，新索引的命名格式为“索引名+年+月+日+小时”，
fromJobConfig.separator 否 String 字段分隔符。 fromJobConfig.appName 否 String 用户数据消费程序的唯一标识符。 父主题： 源端作业参数说明
源端为HTTP/HTTPS JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name":
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 故障恢复 更新管理 认证证书
支持的数据类型 配置字段映射时，数据源支持的数据类型请参见表1，以确保数据完整导入到目的端。 表1 支持的数据类型 数据连接类型 数据类型说明 MySQL 请参见MySQL数据库迁移时支持的数据类型。 SQL Server 请参见SQL Server数据库迁移时支持的数据类型。 Oracle
I等）的安全合规认证，用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求，具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书 另外，华为云还提供了以下销售许可证及软件著作权证书，供用户下载和参考。具体请查看合规资质证书。
户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统，虚拟防火墙、API网关和高级安全服务，各项云服务，租户数据，以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮
管理集群标签 操作场景 CDM集群已经创建成功后，支持新增、修改及删除CDM集群的标签。使用标签可以标识多种云资源，后续在TMS标签系统或者CDM集群管理列表中可筛选出同一标签的云资源。 一个CDM集群最多可新增10个标签。 前提条件 已创建CDM集群。 操作步骤 登录CDM管理
自动去字符串前后的空值，不需要配置参数。 字符串反转 自动反转字符串，例如将“ABC”转换为“CBA”，不需要配置参数。 字符串替换 替换字符串，需要用户配置被替换的对象，以及替换后的值。 去换行 将字段中的换行符（\n、\r、\r\n）删除。 表达式转换 使用JSP表达式语言（Expression
继续定位发现记录几乎都写入到了一个分片中。至此问题清楚。是因为产生了热点。 解决方案 用户在迁移时有选择主键，也就是用它来替代 _id。计算出来的shard属同一个。 1. 建议用户不选主键，让es自动生成_id, 这样获的hash值比较分散。 2. 如果用户的应用必须用自有主键替代_id，则只能建议用性能更好的ES集群。
KMS密钥需要先在数据加密服务创建，具体操作请参见《数据加密服务 用户指南》。 当启用KMS加密功能后，用户上传对象时，数据会加密成密文存储在OBS。用户从OBS下载加密对象时，存储的密文会先在OBS服务端解密为明文，再提供给用户。 如果选择使用KMS加密，则无法使用MD5校验一致性。 如果这里使用其它项目的KMS
使用CDM迁移Oracle数据至DWS，报错图1所示。 图1 报错现象 原因分析 数据迁移，整表查询且该表数据量大，那么查询时间较长。 查询过程中，其他用户频繁进行commit操作。 Oracel的RBS（rollbackspace 回滚时使用的表空间）较小，造成迁移任务没有完成，源库已更新，回滚超时。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
