检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
LI)。 前提条件 已创建源端连接。 已创建目的端连接。 最少完成一次元数据全量迁移。 准备工作 开通spark 3.3.1白名单 使用该功能前,请联系技术支持人员,将您添加到spark 3.3.1版本的白名单中。 配置DLI作业桶 需要购买一个OBS桶或并行文件系统并设置为DL
ClickHouse”。 统计方式仅支持“全量校验”。 创建MRS ClickHouse统计任务并执行,方法请参考创建统计任务并执行校验。需要注意任务配置中的表组,选择步骤16.创建的表组。 任务类型请选择大数据组件中的“ClickHouse”。 统计方式仅支持“全量校验”。 当阿里云云数据库
导入RVTools资源 约束与限制 版本要求 支持导入RVTools以下版本的导出结果: 4.4.1 4.4.2 4.4.3 4.4.4 4.4.5 4.5.0 4.5.1 4.6.1 文件格式要求 导出结果的文件格式必须为Excel (.xlsx)。 文件大小、压缩比要求 导入的文件大小不能超过100
MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具Edge并注册用户,方法请参见安装Linux版本的Edge工具。 操作步骤 登录迁移中心管理控制台。在总览页面,单击“创建迁移项目”。 在弹出的窗口中,自定义项目名称,仔细查看并了解项目
统计方式仅支持“全量校验”。 创建CloudTable(ClickHouse)统计任务并执行,方法请参考创建统计任务并执行校验。需要注意任务配置中的表组,选择步骤16.创建的表组。 任务类型请选择大数据组件中的“CloudTable(ClickHouse)”。 统计方式仅支持“全量校验”。
MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具Edge并注册用户,方法请参见安装Linux版本的Edge工具。 操作步骤 登录迁移中心管理控制台。在总览页面,单击“创建迁移项目”。 在弹出的窗口中,自定义项目名称,仔细查看并了解项目
MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具Edge并注册用户,方法请参见安装Linux版本的Edge工具。 操作步骤 登录迁移中心管理控制台。在总览页面,单击“创建迁移项目”。 在弹出的窗口中,自定义项目名称,仔细查看并了解项目
参数值:spark.sql.catalogImplementation=hive 如果源端是阿里云 EMR Delta 2.2版本并且是通过Delta 2.3版本依赖访问时,请添加如下参数: 参数名:master 参数值:local 在元数据采集区域,单击“采集任务”,进入元数据采集页面。
导入RVTools资源 约束与限制 版本要求 支持导入RVTools以下版本的导出结果: 4.4.1 4.4.2 4.4.3 4.4.4 4.4.5 4.5.0 4.5.1 4.6.1 文件格式要求 导出结果的文件格式必须为Excel (.xlsx)。 文件大小、压缩比要求 导入的文件大小不能超过100
Kafka采集器(app-discovery-kafka) 通过连接到Kafka节点,获取Kafka节点IP、版本、消费者信息等。参数配置说明参见表1。 表1 Kafka采集器参数配置说明 参数 必选 配置说明 output_path 否 自定义采集结果(app-discovery-kafka-xxx
如何迁移XEN规格的主机? 由于华为云使用的XEN虚拟化平台所有版本都停售,因此需要您在迁移前将主机规格从XEN规格变更为KVM规格。XEN规格停售详细介绍请参见XEN实例停止服务说明及常见问题。 迁移准备 检查主机是否为XEN规格 可以在主机的基本信息页面,通过主机规格名称来判
Redis采集器(app-discovery-redis) 通过连接到Redis节点,获取Redis节点IP、版本、连接客户端IP信息。参数配置说明参见表1。 表1 Redis采集器参数配置说明 参数 必选 配置说明 output_path 否 自定义采集结果(app-discovery-redis-xxx
在应用关联采集器页面,查看已安装的采集器版本信息更新为最新版本时,代表采集器已升级完成。 如果安装包中包含多个采集器,会一次性全部升级。 手动升级 使用注册的用户名、密码登录Edge控制台,在左侧导航树选择“采集工具管理”,进入应用关联采集器页面。 可以查看已安装的采集器类型、版本以及安装路径等信息。
安装Edge的主机有哪些要求? 安装Windows版本的主机要求如下: 可以连接外网(公网),并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名列表。 PowerShell 版本在3.0及以上。 推荐规格不小于4U8G。 安全组的出方向规则中,需要包含8883端口。
192.168.255.255 Linux 填写Linux系统类型主机需要扫描的端口。若不需要扫描Linux类型主机,可将端口设为0。 Windows 填写Windows系统类型主机需要扫描的端口。若不需要扫描Windows类型主机,可将端口设为0。 参数配置完成后,单击“确认”,Edge开始主机资源发现。
RabbitMQ采集器(app-discovery-rabbitmq) 通过连接到RabbitMQ管理插件,获取RabbitMQ节点列表、版本、队列以及队列中的消费者endpoint等信息。参数配置说明参见表1。 表1 RabbitMQ采集器参数配置信息 参数 必选 配置说明 output_path
MemoryPerShellMB 1024 如果原本的配置参数值不小于1024 MB,请继续执行步骤2。 处理老旧系统版本的内存限制问题。 如果源端主机系统版本较旧(如Windows Server 2008或Windows Server 2012),WinRM服务可能不使用自定义
x与Hive 3.x版本间数据校验时,由于Hive 2.x版本在查询固定长度字符串类型char(N)数据时,如果实际数据长度不满足N长度,Hive会以空格补齐至N长度。而Hive 3.x版本在查询时不会进行这种补齐操作。这可能导致在不同版本间比较结果时出现差异。为了避免因版本差异导致的数
下要求: 可以连接外网(公网),并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名列表。 PowerShell 版本在3.0及以上。 推荐规格不小于4U8G。 安全组的出方向规则中,需要包含8883端口。 关闭该主机上的杀毒、防护类软件,该类软件会拦截Edge的执行,导致迁移工作流执行失败。
如何启用 PowerShell 远程管理模块 通常Windows Server 2012及更高版本已默认启用PowerShell远程处理。如果更改了设置,可以通过以下方法重新启用PowerShell远程管理。 以管理员权限启动PowerShell。 执行如下命令,即可启用PowerShell远程管理。