检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 oracle_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 192.168.0.1 端口 配置为要连接的数据库的端口。 默认端口：1521 数据库连接类型 选择Oracle数据库连接类型： Service
名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 dws_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”，可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同，请根据具体情况配置。
基本概念 账号 用户注册时的账号，账号对其所拥有的资源及云服务具有完全的访问权限，可以重置用户密码、分配用户权限等。由于账号是付费主体，为了确保账号安全，建议您不要直接使用账号进行日常管理工作，而是创建IAM用户并使用他们进行日常管理工作。 IAM用户 由账号在IAM中创建的用户
据库的表迁移到文件系统的场景。 选择“是”时，如果源端数据表中的某一个字段内容包含字段分隔符或换行符，写入目的端时CDM会使用双引号（"）作为包围符将该字段内容括起来，作为一个整体存储，避免其中的字段分隔符误将一个字段分隔成两个，或者换行符误将字段换行。例如：数据库中某字段为hello
与其他云服务的关系 统一身份认证服务 您注册的云账号对其所拥有的资源及云服务具有完全的访问权限，如果您需要给企业中的员工设置不同的CDM访问权限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）进
query-string 查询参数，可选，查询参数前面需要带一个“？”，形式为“参数名=参数取值”，例如“limit=10”，表示查询不超过10条数据。 例如您需要获取“华北-北京一”区域的Token，则需使用“华北-北京一”区域的Endpoint（iam.cn-north-1.myhuaweicloud
立Hive分区方法减少每一次扫描的总数据量，这种做法可以显著地改善性能。 Hive的分区使用HDFS的子目录功能实现，每一个子目录包含了分区对应的列名和每一列的值。当分区很多时，会有很多HDFS子目录，如果不依赖工具，将外部数据加载到Hive表各分区不是一件容易的事情。云数据迁移
连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 mysql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”，可获取用户的MySQL数据库实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 3306 数据库名称
关键配置如下： CDM集群的规格，按待迁移的数据量选择，一般选择cdm.medium即可，满足大部分迁移场景。 CDM集群的VPC，选择和RDS的MySQL数据库实例所在的VPC一致，且推荐子网、安全组也与RDS上的MySQL一致。 如果安全控制原因不能使用相同子网和安全组，则可以修改安全组规则，允许CDM访问RDS。
立Hive分区方法减少每一次扫描的总数据量，这种做法可以显著地改善性能。 Hive的分区使用HDFS的子目录功能实现，每一个子目录包含了分区对应的列名和每一列的值。当分区很多时，会有很多HDFS子目录，如果不依赖工具，将外部数据加载到Hive表各分区不是一件容易的事情。云数据迁移
关键配置如下： CDM集群的规格，按待迁移的数据量选择，一般选择cdm.medium即可，满足大部分迁移场景。 CDM集群的VPC，选择和RDS的MySQL数据库实例所在的VPC一致，且推荐子网、安全组也与RDS上的MySQL一致。 如果安全控制原因不能使用相同子网和安全组，则可以修改安全组规则，允许CDM访问RDS。
项目ID表示租户的资源，账号ID对应当前账号，IAM用户ID对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面，查看账号名和账号ID、IAM用户名和IAM用户ID，在项目列表中查看项目和项目ID。
据库的表迁移到文件系统的场景。 选择“是”时，如果源端数据表中的某一个字段内容包含字段分隔符或换行符，写入目的端时CDM会使用双引号（"）作为包围符将该字段内容括起来，作为一个整体存储，避免其中的字段分隔符误将一个字段分隔成两个，或者换行符误将字段换行。例如：数据库中某字段为hello
cdm信息。 isAutoOff Boolean 自动关机。 publicEndpointDomainName String 集群绑定的EIP域名。 bakExpectedStartTime String 开始时间。 bakKeepDay Integer 保留时间。 maintainWindow
基本概念 CDM集群 CDM集群是指用户拥有的CDM实例，一个CDM集群由1个或多个虚拟机组成。一个用户可以创建多个CDM集群，例如为财务部门和采购部门各创建一个CDM实例，实现数据访问权限的隔离。 本地环境 本地环境是指用户自建或者租用的IDC中的数据存储系统，或者第三方云环境
“文件格式”选择“二进制格式”时，该参数才显示。 校验CDM抽取的文件，是否与源文件一致，详细请参见MD5校验文件一致性。 .md5 迁移文件或对象时支持文件级增量迁移（通过配置跳过重复文件实现），但不支持断点续传。 例如要迁移3个文件，第2个文件迁移到一半时由于网络原因失败，再次启动迁移任务时，会跳过第1个
在这种情况下，通过CDM进行数据集成时，需要针对每张表创建一个数据迁移作业。您可以参考本教程，通过数据开发模块的For Each节点和CDM节点，配合作业参数，实现批量创建分表迁移作业。 本教程中，源端MySQL数据库中存在三张分表，分别是mail01、mail02和mail03，且表结构一致，数据内容不同。目的端为MRS
创建完NAT网关后，回到NAT网关控制台列表，单击创建好的网关名称，然后选择“添加SNAT规则”。 图1 添加SNAT规则 选择子网和弹性IP，如果没有弹性IP，需要先申请一个。 完成之后，就可以到CDM控制台，通过Internet迁移公网的数据上云了。例如：迁移本地数据中心FTP服务器上的文件到OBS、迁移第三方云上关系型数据库到云服务RDS。
_exception。 故障分析 从cerebro界面看到索引只有一个分片。但新建一个索引设成3个分片也是一样会报es_rejected_execution_exception。 继续定位发现记录几乎都写入到了一个分片中。至此问题清楚。是因为产生了热点。 解决方案 用户在迁移时有选择主键，也就是用它来替代
入门实践 当您参考创建集群、创建连接等一系列操作后，可以根据自身的业务需求使用CDM提供的一系列常用实践。 表1 常用最佳实践 实践 描述 使用教程 创建MRS Hive连接器 MRS Hive连接适用于MapReduce服务，本最佳实践为您介绍如何创建MRS Hive连接器。 MySQL数据迁移到OBS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
