检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
连接类型选择“数据湖探索 (DLI)”,单击“下一步”,进入详细配置页面。 根据DLI服务参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 DLI服务参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默认创建名称为“DLI-4位随机数(字母和数字)”,也可以自定义名称。
登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的应用迁移项目。 单击左侧导航栏的“源端发现>资源采集”,进入资源采集页面。 在“内网采集”页签,根据实际情况,选择源端主机资源所部署的环境。 图1 选择主机部署的环境 选择IDC采集时,参考表1,进行配置。 表1 IDC采集参数配置说明 参数
登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的应用迁移项目。 单击左侧导航栏的“源端发现>资源采集”,进入资源采集页面。 在“内网采集”页签,根据实际情况,选择源端主机资源所部署的环境。 图1 选择主机部署的环境 选择IDC采集时,参考表1,进行配置。 表1 IDC采集参数配置说明 参数
如果您已有目的端桶,则无需重新创建。 为每个待迁移的源端桶,创建一个对应的前缀列表文件(即一个桶对应一个前缀列表文件),前缀列表文件要求如下: 文件格式为.txt,大小不超过2 MB。 每行只能包含一个前缀,每个前缀的长度不超过1024个字符。 前缀总数(即行数)不超过1000。
01006 对象列表文件太大 请修改列表文件,使其小于300 MB。 OMS.01007 对象列表文件元数据未找到 请检查列表文件的元数据。 OMS.01008 URL解码失败 请检查列表文件中的url是否正确编码。 OMS.01009 资源路径无效 请检查列表文件路径是否正确。
请查看SMN计费说明。 数据筛选 非分区表处理策略 选择对于非分区表的校验处理策略。 全部校验:全量处理所有非分区表,不做筛选。 全部忽略:忽略所有非分区表,不做校验。 按更新时间过滤:只处理更新时间在校验范围内的非分区表。注意:非分区表非insert写入业务,元数据更新时间存在
如何获取这些凭证信息。 获取订阅ID 登录Azure控制台,进入主页。 在搜索框中输入“订阅”,选择“订阅”服务,进入订阅页面。 在订阅列表的第二列可以获取订阅ID。复制订阅ID到添加凭证的对应参数框。 获取租户ID、客户端(应用)ID和密钥 登录Azure控制台,进入主页。 在
群页面。 如果是首次创建迁移集群,需要您同意华为云账号进行相关的委托授权。委托权限所包含的细粒度权限请前往委托权限说明查看。 根据表1,配置参数。 表1 集群参数配置说明 区域 参数 配置说明 限制说明 基础配置 集群名称 自定义名称。 同一账户下集群名称不可重名。 区域 选择创建集群的区域。
下拉列表中选择创建的应用迁移项目。 在左侧导航栏选择“资源准备>迁移集群”,进入迁移集群页面。 单击页面右上角的“创建集群”按钮,进入创建集群页面。 如果是首次创建迁移集群,需要您同意华为云账号进行相关的委托授权。委托权限所包含的细粒度权限请前往委托权限说明查看。 根据表1,配置参数。
配置路由 登录虚拟私有云管理控制台。 在左侧导航栏,选择“虚拟私有云 > 路由表”,进入路由表列表页面。 在路由表列表中,找到创建跨源连接时对应的路由表(即ECS所在VPC的路由表),单击路由表名称,进入路由表详情页面。 单击“添加路由”,弹出添加路由窗口。 按照提示配置参数。需要添
DLI校验任务时,支持的自定义参数及说明参见表1。 表1 DLI校验任务支持的自定义参数说明 参数名称 默认值 描述 mgc.mc2dli.table.partition.enable true DLI表分区为空或者分区不存在时需要通过查询DLI的元数据去判断分区存不存在。 true:查询DLI表的分区,空分区校验状态为成功,分区不存在状态为失败。
部分表迁移失败,报错:CRC Check failed 问题描述 进行大数据数据迁移时,部分表迁移失败,报错:CRC Check failed 解决方法 通过修改DLI作业中迁移sql,将源端timestamp字段类型转成String类型,进行数据迁移。 父主题: 大数据数据迁移
击“确认”。创建项目成功,可在项目管理列表查看。 修改项目 单击操作列的“修改”按钮,弹出“修改项目”窗口。 可以修改项目名称、输入项目描述、设置项目的开始时间和结束时间,单击“确认”,完成修改。 归档项目 归档后的项目将在当前项目下拉列表中隐藏,无法选择。单击操作列的“归档”按
输入Linux本机网卡的IP地址作为后续访问MgC Agent页面的地址。如果输入的地址不在本机拥有的IP列表中,会提示是否开放本机所拥有的任何公网IP作为访问地址。 当出现如下图所示提示时,表示Linux版的MgC Agent已安装完成。其中提示的端口号请以实际情况为准(通常为27080)。
全部数据。 列表迁移:通过列表文件过滤迁移,只迁移列表文件中的对象。 - 列表路径 迁移方式选择列表迁移时,填写列表文件所在路径。迁移方式选择全量迁移时,无需填写。 列表文件需要满足如下要求: 列表文件大小不能超过30 MB。 列表文件类型必须为.txt类型。 列表文件必须是UTF-8无BOM格式编码格式。
数据站点类型为微软云BLOB时配置。 列表路径 输入存放列表文件的路径。列表文件存放地址必须与目的端桶处于同一区域。 将源端待迁移的文件URL和对象名称写入列表文件(每行只能写一个URL和对象名称),列表文件需要提前创建。 列表文件约束与限制: 列表文件类型必须为.txt,其他文件类型
MB。 列表文件存放目录下的列表文件个数不能超过10000个。 列表文件必须是UTF-8无BOM格式编码格式。 列表文件中每行长度不要超过65535,否则会导致迁移失败。 列表文件的元数据中不能设置“ContentEncoding”,否则会导致迁移失败。 列表文件中每行使用制表符(键
全部数据。 列表迁移:通过列表文件过滤迁移,只迁移列表文件中的对象。 - 列表路径 迁移方式选择列表迁移时,填写列表文件所在路径。迁移方式选择全量迁移时,无需填写。 列表文件需要满足如下要求: 列表文件大小不能超过30 MB。 列表文件类型必须为.txt类型。 列表文件必须是UTF-8无BOM格式编码格式。
数据站点类型为微软云BLOB时配置。 列表路径 输入存放列表文件的路径。列表文件存放地址必须与目的端桶处于同一区域。 将源端待迁移的文件URL和对象名称写入列表文件(每行只能写一个URL和对象名称),列表文件需要提前创建。 列表文件约束与限制: 列表文件类型必须为.txt,其他文件类型
Agent上添加源端主机凭证。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择迁移项目。 单击左侧导航栏的“源端发现>应用管理”,进入应用管理页面。 在应用列表,单击应用名称,进入应用详情页面。 在主机资源列表,为需要进行性能采集的主机绑定MgC Agent和凭证。 如果性能采集