检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备工作 在使用大数据校验功能前,请务必先完成以下必要的准备工作。 创建项目 通过创建独立的项目,可以将不同的操作场景进行区分和隔离,从而实现更好的组织管理和资源分配。创建方法请参考项目管理。 准备迁移工具Edge 在启用大数据校验功能前,需要先在源端环境中安装用于配合大数据校验的迁移工具
创建目的端连接 创建执行机连接 创建目的端云服务连接 创建目的端组件连接 父主题: 大数据校验
部署迁移工具Edge 使用迁移中心的大数据血缘功能前,需要先在可以访问源端元数据来源的环境中部署迁移工具Edge。 迁移工具Edge不具备自动重启功能,严禁在任务执行期间重启Edge,以避免任务失败。 操作步骤 安装Edge的方法请参考下载并安装Edge。 安装成功后,将Edge与迁移中心进行连接
cd /opt/cloud/Edge/scripts/ 执行如下命令,启动MgC Agent卸载脚本。 ./uninstall.sh 当出现如下图所示提示时,表示Linux版的MgC Agent需要更新环境变量。 执行如下命令,更新环境变量。
高性能CPU比例 如数据库、流媒体、消息服务器、推理等(C3),华为云对应规格:C7等,默认值为20%。 说明: 持续高性能、成本和性能平衡、成本优先的比例相加为100%。
DLI校验任务出现大量失败表 问题描述 创建并执行DLI校验任务时,出现大量失败表,查看MgC Agent(原Edge)日志报错信息如下: 问题分析 出现该问题可能是因为请求已达到接口流控上限。 解决方法 请联系技术支持,提高接口流控的阈值。 父主题: 大数据校验
权限管理 创建用户并授权使用MgC 自定义策略 配置管理 项目管理 凭证管理 调研工具 下载并安装MgC Agent 设备管理 应用发现 资源发现与采集 手动添加资源 关联应用 迁移实施 规格评估 创建迁移工作流 05 实践 弹性云服务器(Elastic Cloud Server)
创建目的端连接 创建执行机连接 创建目的端云服务连接 创建目的端组件连接 父主题: 大数据校验
cd /opt/cloud/Edge/scripts/ 执行如下命令,启动MgC Agent。 ./start.sh 当出现如下图所示提示时,表示MgC Agent已经启动。 执行如下命令,查看MgC Agent进程。
cd /opt/cloud/Edge/scripts/ 执行如下命令,启动MgC Agent。 ./start.sh 当出现如下图所示提示时,表示MgC Agent已经启动。 执行如下命令,查看MgC Agent进程。
如何查看采集失败原因? 如果任务状态为“失败”,单击操作列的“查看”,可以查看采集失败的数据源,将鼠标放到数据源的采集状态上,可以查看失败原因。采集失败的数据源,处理完失败原因后,需要删除后通过新增数据源重新采集。 父主题: 资源采集
查看并导出校验结果 当源端与目的端的统计任务都执行完成后,在校验结果页面可以查看并导出任务的执行结果。校验结果将按照任务开始执行的日期进行分批,如果单日多次执行校验任务,系统只会保留最后一次的校验结果,之前的执行结果会被后续的执行所覆盖。 前提条件 已创建统计任务并执行校验。 使用须知
查看并导出校验结果 当源端与目的端的统计任务都执行完成后,在校验结果页面可以查看并导出任务的执行结果。校验结果将按照任务开始执行的日期进行分批,如果单日多次执行校验任务,系统只会保留最后一次的校验结果,之前的执行结果会被后续的执行所覆盖。 前提条件 已创建统计任务并执行校验。 使用须知
存储工作流执行失败,列表提示“COMPARISON_ATTRIBUTE_NOT_SAME”,如何处理? 问题现象 迁移到目的端时,迁移列表报错提示“COMPARISON_ATTRIBUTE_NOT_SAME”。 解决方法 根本原因是元数据校验失败。具体分为两种场景: 场景一: 由于元数据中的
Hive校验的sum统计结果显示未达标 问题描述 对Hive进行大数据校验,Hive中的double字段保存的值为 1.7976931348623157E308 和 -1.7976931348623157E308 时 sum 统计结果显示未达标。 问题分析 使用spark-sql
主机迁移网络要求和配置 背景说明 主机迁移过程中主要涉及的流量分为两部分:控制流和数据流。 控制流:控制流是指源端主机与云服务管理面之间的通信。为确保迁移过程的顺利进行,需要检查源端主机出方向是否有限制,并确保源端主机能够访问迁移过程中依赖的云服务,包括SMS、IAM、ECS、EVS
启动脚本位置 在MgC Agent安装目录下(默认为/opt/cloud/Edge) ./scripts/start.sh,启动脚本。 配置JVM参数 MgC Agent安装目录下(默认为/opt/cloud/Edge),编辑.
可用区(AZ)迁移有哪些注意事项? 密码一致性 如果源端Windows主机安装了 Cloudbase-Init 插件,会导致新下发的主机生成随机密码,从而与源端密码不一致,因此迁移前需要将 Cloudbase-Init 插件卸载。 账号余额 由于AZ迁移需要进行创建存储库、服务器云备份
调研采集过程是否会对源端业务产生影响? MgC采用高效的数据采集算法,确保数据采集可以在较短的时间内完成,有效避免了长时间的资源占用,最大限度减少了对源端业务的影响。 父主题: 产品咨询
血缘采集概述 通过血缘采集,可以建立起数据元素之间的关系和依赖关系,从而形成一个清晰的数据血缘图。 目前支持血缘采集的文件类型以及采集须知,参见下表。 文件类型 采集须知 DataArts作业 需要提前导出DataArts作业到华为云OBS桶,并将桶的读写权限委托给迁移中心。 SQL