检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
部分表迁移失败,报错:CRC Check failed 问题描述 进行大数据数据迁移时,部分表迁移失败,报错:CRC Check failed 解决方法 通过修改DLI作业中迁移sql,将源端timestamp字段类型转成String类型,进行数据迁移。 父主题: 大数据数据迁移
maxPartitionBytes 134217728 读取文件时要打包到单个分区中的最大字节数。 spark.sql.badRecordsPath - Bad Records的路径。 spark.sql.legacy.correlated.scalar.query.enabled false 该参数设置为true:
Hive校验的sum统计结果显示未达标 问题描述 对Hive进行大数据校验,Hive中的double字段保存的值为 1.7976931348623157E308 和 -1.7976931348623157E308 时 sum 统计结果显示未达标。 问题分析 使用spark-sql
创建目的端连接 创建目的端连接是为了将源端数据写入到华为云DLI。 使用须知 元数据迁移:只需要配置一条连接到DLI SQL队列的连接。 数据迁移:需要配置两条连接,分别为连接到DLI SQL队列的连接和连接到DLI通用队列的连接。 前提条件 已完成准备工作。 操作步骤 登录迁移中心控制台。
Edge安装完成后,无法启动 问题描述 Edge安装完成后,无法启动进入注册页面。 问题分析 出现该问题通常是因为安装Edge的主机后台进程过多或可用CPU太小,导致Edge在安装时,进程无法自动启动。 解决方法 请按照以下步骤,手动启动Edge进程: 打开Edge所在主机的“任务管理器”。
首次登录,需注册用户名、密码。请妥善保存用户名和密码,避免丢失。 在用户注册页面,分别输入用户名、密码,确认密码无误后,单击《隐私政策声明》。 仔细阅读《隐私政策声明》内容后,勾选“我已阅读并同意《隐私政策声明》”并单击“注册”按钮。注册成功后,即可连接迁移中心。 父主题: 下载并安装Edge
进入用户注册页面。 注册用户 首次登录,需注册用户名、密码。请妥善保存用户名和密码,避免丢失。 在用户注册页面,分别输入用户名、密码,确认密码无误后,单击《隐私政策声明》。 仔细阅读《隐私政策声明》内容后,勾选“我已阅读并同意《隐私政策声明》”并单击“注册”按钮。注册成功后,即可连接迁移中心。
进入用户注册页面。 注册用户 首次登录,需注册用户名、密码。请妥善保存用户名和密码,避免丢失。 在用户注册页面,分别输入用户名、密码,确认密码无误后,单击《隐私政策声明》。 仔细阅读《隐私政策声明》内容后,勾选“我已阅读并同意《隐私政策声明》”并单击“注册”按钮。注册成功后,即可连接迁移中心。
添加凭证的对应参数框。 获取租户ID、客户端(应用)ID和密钥 登录Azure控制台,进入主页。 在搜索框中输入“应用注册”,选择“应用注册”服务,进入应用注册页面。 选择所有应用程序页签,单击应用程序名称,进入该应用的概述页面。在概要区域可以获取客户端(应用)ID和租户ID。
AK/SK验证失败,如何处理? 问题描述 安装Edge并注册成功后,连接迁移中心时,输入AK/SK查询项目,提示AK/SK错误。 问题分析 出现该问题可能的原因有: AK,SK输入错误。 AK,SK被删除或停用。 AK,SK所属账号没有开通编程访问方式。 处理方法 AK,SK输入错误
Edge与MgC控制台之间一直连接,无断开。 离线 Edge运行程序退出与MgC控制台之间的连接断开1分钟后,置为“离线”状态。 未激活 已在Edge完成注册但设备还未接入平台。 异常 无此状态,如出现该状态,请联系华为云技术支持。 冻结 无此状态,如出现该状态,请联系华为云技术支持。 删除设备
将Edge与云端MgC控制台建立连接,协助MgC控制台进行资源采集和执行迁移工作流任务。 前提条件 已下载并安装Edge,并完成用户注册。 操作步骤 使用注册的用户名、密码登录Edge控制台,在左侧导航树选择“连接迁移中心”,进入连接迁移中心页面。 在第一步:输入云凭证区域,输入华为云
离线升级:用于更新已安装的采集器。 手动升级:用于新增采集器或修改采集器配置文件后的更新。 前提条件 已下载并安装Edge,并完成用户注册。 离线升级 使用注册的用户名、密码登录Edge控制台,在左侧导航树选择“采集工具管理”,进入应用关联采集器页面。 可以查看已安装的采集器类型、版本以及安装路径等信息。
file path: Records detailed information about the script's execution. RUN_LOG="$LOG_DIR/run.log" # Error log file path: Records any errors that
” + 集群id VPCEP-Service 否 是 1个 regionName + “oms-cluster” + serviceId 允许OMS云服务与迁移集群的Master节点通信,实现迁移任务的管理。 配置详情请查看VPCEP-Service配置。 安全组 否 是 2个
迁移任务量大时,这可能会对源端的业务运行造成影响。 端口占用:Edge会占用源端主机上的一些端口,也可能会对源端业务产生影响。 安装完成并注册用户后,将Edge与迁移中心进行连接,方法请参考连接迁移中心。 连接成功后,需要在Edge上添加源端待迁移主机凭证,凭证的添加方法请参考添
com之前的内容,例如:域名为test.com,则输入test。 根据表4,进行迁移配置。 表4 迁移配置参数说明 参数 子参数 说明 迁移任务类型 全量迁移 迁移源端桶/文件夹内的全部数据。 列表迁移 通过列表文件过滤迁移,只迁移列表文件中的对象。 在“列表路径”输入存放在目的端桶的对象列
根据表1,填写相应参数后,单击“确认”,系统会自动检查凭证绑定状态和进行主机采集。 表1 添加主机参数说明 参数 说明 名称 用户自定义 采集设备 选择源端注册的Edge设备。 类型 主机实际系统类型 IP 填写主机IP。 如果采集的主机与安装Edge的主机处于同一VPC内,可以填写私有IP,否则需要填写公网IP。
com之前的内容,例如:域名为test.com,则输入test。 根据表4,进行迁移配置。 表4 迁移配置参数说明 参数 子参数 说明 迁移任务类型 全量迁移 迁移源端桶/文件夹内的全部数据。 列表迁移 通过对象列表文件过滤迁移,只迁移对象列表文件中的对象。 在“列表路径”输入存放在目的端桶
简单批次最多同时迁移30台。 手动创建大批量迁移,单个项目最多同时迁移100台。 同时进行迁移的源端主机越多,迁移速度越慢。 源端服务器数据量 不支持迁移系统盘超过1T的服务器。 不建议迁移容量超过4T的服务器 源端服务器状态 不支持迁移处于“保留期”且为冻结状态的服务器。 目的端服务器