检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录迁移中心管理控制台。 在左侧导航栏选择“调研>大数据血缘”,进入大数据血缘页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在血缘采集区域,单击“查看血缘图”,进入血缘图页面。 通过数据库名、表名筛选需要查看的血缘图。如果进行了大数据校验,还可以通过校验批次进行筛选。 父主题: 血缘采集
创建源端连接 创建源端云服务连接 创建源端组件连接 父主题: 大数据校验
选择的OBS目录获取导出结果。 导出阿里云DataWorks作业 登录阿里云DataWorks控制台,单击左侧导航栏的“数据建模与开发 > 数据开发”,在下拉框中选择对应工作空间后单击“进入数据开发”。 单击左上方的图标,选择全部产品 > 更多 > 迁移助手,进入迁移助手首页。 参考创建和查看Da
选择的OBS目录获取导出结果。 导出阿里云DataWorks作业 登录阿里云DataWorks控制台,单击左侧导航栏的“数据建模与开发 > 数据开发”,在下拉框中选择对应工作空间后单击“进入数据开发”。 单击左上方的图标,选择全部产品 > 更多 > 迁移助手,进入迁移助手首页。 参考创建和查看Da
创建目的端连接 创建执行机连接 创建目的端云服务连接 创建目的端组件连接 父主题: 大数据校验
登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。 在左侧导航栏选择“调研>大数据血缘”,进入大数据血缘页面。 在血缘采集区域,单击“查看血缘图”,进入血缘图页面。 通过数据库名、表名筛选需要查看的血缘图。如果进行了大数据校验,还可以通过校验批次进行筛选。 父主题: 血缘采集
主机迁移过程中主要涉及的流量分为两部分:控制流和数据流。 控制流:控制流是指源端主机与云服务管理面之间的通信。为确保迁移过程的顺利进行,需要检查源端主机出方向是否有限制,并确保源端主机能够访问迁移过程中依赖的云服务,包括SMS、IAM、ECS、EVS、VPC、IMS等服务的域名。 数据流:数据流涉及从源端到目的
Agent(原Edge)日志报错信息如下: 问题分析 出现该问题可能是因为请求已达到接口流控上限。 解决方法 请联系技术支持,提高接口流控的阈值。 父主题: 大数据校验
用是执行数据采集和数据迁移。在特定的迁移场景中,这些操作需要在客户自己的云网络环境中执行,MgC Agent扮演着连接MgC和客户网络的桥梁角色,确保数据迁移过程的顺畅和安全。 MgC Agent在大数据迁移、大数据校验使用场景下的逻辑架构图,如图1所示。 图1 大数据使用场景逻辑架构图
ReadOnlyAccess 网络 ELB elb:ListListeners elb:ListLoadbalancers elb:ListPools elb:ListL7policies elb:ListL7rules elb:ListMembers elb:ListFlavors vpc:ListSubnets
迁移中心为了确保采集数据的安全性,采集数据时只会读取源端数据,不会对源端数据进行修改。并提供了“导入本地文件”与“在线采集”两种采集方式。 数据传输 迁移中心为了确保数据传输安全,采用加密通道(HTTPS、SSH)进行数据传输。 凭证加密 在线采集时,采集凭证会加密存储在MgC服务端。用户也可以通过在源端部署MgC
如何查看采集失败原因? 如果任务状态为“失败”,单击操作列的“查看”,可以查看采集失败的数据源,将鼠标放到数据源的采集状态上,可以查看失败原因。采集失败的数据源,处理完失败原因后,需要删除后通过新增数据源重新采集。 父主题: 资源采集
覆盖目的端文件夹; 说明: 对于空文件夹,覆盖策略与文件相同。 迁移元数据 - 选择是否迁移元数据。 勾选,则迁移源端对象元数据。 不勾选,仅迁移Content-Type、Content-Encoding元数据。 (可选)根据表5,配置高级选项。 表5 高级选项参数说明 参数 说明
配置OBS桶 设置用于存放大数据校验任务日志文件和内容校验结果的OBS桶(以下称为日志桶),实现对日志和内容校验结果的有效管理和分析。设置了日志桶后,会默认使用大数据校验中的日志上传功能,将日志数据和内容校验结果上传到指定的OBS桶中。 权限要求 请确保添加的目的端凭证最少拥有日志桶的如下操作权限:
覆盖目的端文件夹; 说明: 对于空文件夹,覆盖策略与文件相同。 迁移元数据 - 选择是否迁移元数据。 勾选,则迁移源端对象元数据。 不勾选,仅迁移Content-Type、Content-Encoding元数据。 (可选)根据表2,配置高级选项。 表2 高级选项参数说明 参数 说明
迁移方式说明 迁移方式 说明 全量迁移 迁移源端桶/文件夹内的全部数据。 列表迁移 通过列表文件过滤迁移,只迁移列表文件中的对象。列表文件需要存放在目的端桶中。 前缀迁移 通过对象名称或者名称前缀过滤迁移,只迁移与对象名称或名称前缀一致的对象。 在待迁移桶列表中,单击操作列的“修改”,弹出修改迁移设置窗口。
、最低存储时间、最低存储单元、数据可靠性、数据可用性等。根据以上依据,华为云OBS提供了以下四种存储类型: 标准存储 访问时延低和吞吐量高,因而适用于有大量热点文件(平均一个月多次)或小文件(小于1MB),且需要频繁访问数据的业务场景,例如:大数据、移动应用、热点视频、社交图片等场景。
迁移方式说明 迁移方式 说明 全量迁移 迁移源端桶/文件夹内的全部数据。 列表迁移 通过列表文件过滤迁移,只迁移列表文件中的对象。列表文件需要存放在目的端桶中。 前缀迁移 通过对象名称或者名称前缀过滤迁移,只迁移与对象名称或名称前缀一致的对象。 在待迁移桶列表中,单击操作列的“修改”,弹出修改迁移设置窗口。
覆盖目的端文件夹; 说明: 对于空文件夹,覆盖策略与文件相同。 迁移元数据 - 选择是否迁移元数据。 勾选,则迁移源端对象元数据。 不勾选,仅迁移Content-Type、Content-Encoding元数据。 清理集群 - 选择工作流是否创建清理集群步骤。 勾选,迁移工作流将
覆盖目的端文件夹; 说明: 对于空文件夹,覆盖策略与文件相同。 迁移元数据 - 选择是否迁移元数据。 勾选,则迁移源端对象元数据。 不勾选,仅迁移Content-Type、Content-Encoding元数据。 (可选)根据表2,配置高级选项。 表2 高级选项参数说明 参数 说明