检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
虚拟私有云 存储 对象存储 文件存储 腾讯云 主机 数据库 - 存储 对象存储 文件存储 Azure 主机 容器 数据库 - 存储 对象存储 文件存储 中间件 Redis Kafka 网络 弹性公网IP 路由表 安全组 公网NAT网关 虚拟私有云 负载均衡（ELB） 七牛云 存储 对象存储
vpc:vpcs:list（查询虚拟私有云列表） vpc:subnets:get（查询子网列表或详情） vpc:publicIps:list（查询弹性公网IP） vpc:securityGroups:get（查询安全组列表或详情） eps:enterpriseProjects:list（查看企业项目列表）
evs:types:get（查询云硬盘类型） evs:volumes:list（查询云硬盘列表） cbr:vaults:get（查询指定存储） cbr:vaults:list（查询存储库列表） cbr:vaults:create（创建存储库） cbr:vaults:addResources（添加资源）
如果最后修改时间相同，比较文件大小；如果大小不同，则后一个对象覆盖前一个。 如果最后修改时间和文件大小都相同，则跳过，保留已迁移的对象。 父主题： 存储迁移
将HTTP/HTTPS数据源迁移到OBS时，如果存在URL不同但对象名称相同的情况，会如何处理？ 当从HTTP/HTTPS数据源迁移数据到对象存储服务（OBS）时，由于OBS不区分URL差异，只识别对象名称，因此同名对象会根据创建工作流时，迁移配置中所选的“同名覆盖方式”策略进行处理，目的端同一目录下不会出现同名对象。
权限要求：需要使用具有最高权限的账号进行数据库采集，以确保能够访问所有必要的数据。对于不同的数据库系统，应使用以下账号： MySQL：使用root账号。 PostgreSQL：使用postgres账号。 MongoDB： 使用admin权限账号。 Oracle：使用system权限账号。
"ecs:*:get*", "ecs:*:list*", "evs:*:get*", "evs:*:list*", "vpc:*:list*", "vpc:*:get*", "ims:*:get*", "ims:*:list*" ], "Effect": "Allow"
maxPartitionBytes 134217728 读取文件时要打包到单个分区中的最大字节数。 spark.sql.badRecordsPath - Bad Records的路径。 spark.sql.legacy.correlated.scalar.query.enabled false 该参数设置为true：
MgC通过以下方式确保采集数据的安全： 数据加密传输：采用加密技术来保护数据在传输过程中的安全 本地加密存储凭证：Edge上的凭证信息都会经过加密处理后保存在本地，不会通过网络传输到云端。 本地数据采集与存储：通过Edge线下采集的信息会被安全地保存在本地。在将本地采集的数据上传到云端之前，可人
大数据校验概述 迁移中心 MgC为多种大数据计算/存储引擎，如Hive、Hbase、Doris和MaxCompute等，提供了一致性校验方法。通过一致性校验，您可以更加放心地进行大数据迁移操作，确保数据的准确性和可靠性，从而避免了数据丢失或不一致的风险。 校验方式说明 全量校验：
e上添加源端资源凭证。连接迁移中心后，资源凭证会同步至迁移中心。在Edge上添加的凭证都会加密存储在您本地，同步时密码、密钥等凭证信息并不会上传至迁移中心。 在Edge添加的资源凭证存储有效期为60天，超过60天后，凭证会过期，需要重新添加。 前提条件 已在源端安装Edge，并与迁移中心连接成功。
各地域Endpoint信息请参考Endpoint对照表。 表11 阿里云云数据库ClickHouse连接参数配置说明 参数 配置说明 所属源 仅需在源端创建元数据连接。 连接名称 默认创建名称为“阿里云云数据库ClickHouse-4位随机数（字母和数字）”，也可以自定义名称。 迁移工具
及前期需要做的准备工作，让您对迁移中心的功能和操作有个初步认识。 迁移中心目前还支持跨可用区迁移和存储迁移，创建迁移工作流的操作步骤请参考华为云主机跨可用区迁移、迁移其他云平台存储数据至华为云。 操作流程图 使用迁移中心创建主机迁移工作流的操作流程，如图1所示。 图1 创建主机迁移工作流操作流程图
创建集群 迁移集群是专为存储工作流提供协作中的核心组件，通过集群可以创建和管理迁移节点、列举节点，部署和升级迁移插件，确保存储工作流顺利运行。 使用须知 单个账号在每个区域（Region）最多只能创建2个集群。 为了保证迁移的稳定性和数据安全，创建的迁移集群不支持用户自行登录。如
dli.spark.jars：填写在完成准备工作时存放fastjson-1.2.54.jar和datasource.jar包的OBS路径，以数组形式传入，路径带双引号，以英文逗号隔开。例如：["obs://mgc-test/data/datasource.jar","obs://m
migration.dli.spark.jars 填写存放fastjson-1.2.54.jar和datasource.jar包的OBS路径，以数组形式传入，路径带双引号，以英文逗号隔开。例如：["obs://mgc-test/data/datasource.jar","obs://m
dli.spark.jars：填写在完成准备工作时存放fastjson-1.2.54.jar和datasource.jar包的OBS路径，以数组形式传入，路径带双引号，以英文逗号隔开。例如：["obs://mgc-test/data/datasource.jar","obs://m
插件，会导致新下发的主机生成随机密码，从而与源端密码不一致，因此迁移前需要将 Cloudbase-Init 插件卸载。 账号余额 由于AZ迁移需要进行创建存储库、服务器云备份、整机镜像、按需创建目的端等操作，因此迁移时需要确保账号余额充足。 父主题： 可用区迁移
"dli:database:explain", "dli:table:insertIntoTable", "dli:database:createDatabase",
源端主机的IP或端口异常。 如果源端为Windows主机，可能未开启WinRM服务。 您可以通过查看Edge的深度采集日志文件确认具体的报错原因，深度采集日志文件的存储路径为：C:\Edge\tools\plugins\collectors\rda-collector-server\logs\rda-collector-server\run
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
