检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
根据实际情况选择大数据组件,单击“下一步”,进入详细配置页面。 根据对应的参数配置说明,配置组件连接参数。 Doris组件参数配置说明 HBase组件参数配置说明 ClickHouse组件参数配置说明 Hive Metastore连接参数配置说明 表1 Doris组件参数配置说明 参数 配置说明 所属源 选择目的端。
regionId 区域ID 用于规格评估 instanceId 集群实例ID 用于规格评估 status 集群状态 用于规格评估 billingMode 付费模式 用于规格评估 creationTime 集群创建时间 用于规格评估 clusterType 集群类型 用于规格评估 clusterSpecs
准备工作 需要先在源端内网环境中安装用于配合数据校验的工具Edge并注册用户,方法请参见安装Linux版本的Edge工具。 需要将源端和目的端所有节点的主机名和IP地址映射添加到安装Edge主机的/etc/hosts文件中,配置连接才能连接成功。 在安装Edge工具的主机上,打开/etc/hosts文件进行编辑。
单击操作列的“运行任务”,即可触发一次任务执行。每执行一次任务,会生成一条任务实例。 单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务的运行记录,以及每条任务实例的状态和采集结果。当数据湖元数据同步任务的实例状态为“已完成”且采集结果有数值时,在库表清单页签可以查看采集到的元数据列表。 数据
单击页面右上角的“新增连接”,右侧弹出新增连接窗口。连接类型选择“ClickHouse”,单击“下一步”,进入详细配置页面。 根据ClickHouse组件参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表4 ClickHouse组件参数配置说明 参数 配置说明 所属源 选择目的端。
在任务管理页签,可以查看已创建的元数据同步任务列表以及参数配置信息。单击操作列的“运行任务”,即可触发一次任务执行。每执行一次任务,会生成一条任务实例。 单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务的运行记录,以及每条任务实例的状态和采集结果。当元数据同步任务的实例状态为“已完成”且采集结果有
数。该配置项会替换“sc_type”中对应的默认参数。 numExecutors 1-100 Spark应用Executor的个数。该配置项会替换“sc_type”中对应的默认参数。 executorMemory 1-16 G Spark应用的Executor内存,参数配置例如:2G
出创建连接窗口。 连接类型选择“Hive Metastore”,单击“下一步”。 根据Hive Metastore连接参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 Hive Metastore连接参数配置说明 参数 配置说明 所属源 选择源端。
连接窗口。连接类型选择“CloudTable(ClickHouse)”,单击“下一步”,进入详细配置页面。 根据ClickHouse组件参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表4 ClickHouse组件参数配置说明 参数 配置说明 所属源 选择目的端。
单击页面右上角的“新增连接”,右侧弹出新增连接窗口。连接类型选择“ClickHouse”,单击“下一步”,进入详细配置页面。 根据ClickHouse组件参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表4 ClickHouse组件参数配置说明 参数 配置说明 所属源 选择目的端。
单击页面右上角的“新增连接”,右侧弹出新增连接窗口。连接类型选择“ClickHouse”,单击“下一步”,进入详细配置页面。 根据ClickHouse组件参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表4 ClickHouse组件参数配置说明 参数 配置说明 所属源 选择目的端。
在任务管理页签,可以查看已创建的元数据同步任务列表以及参数配置信息。单击操作列的“运行任务”,即可触发一次任务执行。每执行一次任务,会生成一条任务实例。 单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务的运行记录,以及每条任务实例的状态和采集结果。当元数据同步任务的实例状态为“已完成”且采集结果有
失败有关详细信息,请参阅 about_Remote_Troubleshooting 帮助主题”。 问题分析 出现该报错是因为:远程服务器的WinRM服务未启动或者配置不正确。 解决方法 验证执行机能否 ping 通远程服务器。如果可以ping通,请执行步骤2。 确认远程服务器的 WinRM 服务5985
的主要制约因素。 建议:升级带宽或选择低峰时段进行迁移。 迁移集群规格:如果迁移集群的规格小于推荐规格(8U16G)可能会因处理能力不足,成为迁移速度的制约因素。 建议:提升集群规格配置或增加计算资源(如ECS实例)。 系统性能管理:在迁移期间,系统的性能资源(如CPU、内存)可
在任务管理页签,可以查看已创建的元数据同步任务列表以及参数配置信息。单击操作列的“运行任务”,即可触发一次任务执行。每执行一次任务,会生成一条任务实例。 单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务的运行记录,以及每条任务实例的状态和采集结果。当元数据同步任务的实例状态为“已完成”且采集结果有
主机评估失败,没有匹配合适的规格,如何处理? 问题分析 出现该问题,可能的原因有: 目的端区域没有与源端匹配的规格。 创建评估时,配置了自定义评估策略,没有匹配到符合策略的主机规格。 解决方法 在迁移方案设计页面的应用列表,单击操作列的“查看资源配置”,进入目的端配置表页面。 在资源配置明细区域,
源端组件选择“MaxCompute”,目的端组件选择“数据湖探索 DLI”,任务类型选择“增量数据迁移”,单击“下一步”,进入详细配置页面。 根据表1,配置增量数据迁移任务参数。 表1 增量数据迁移参数配置说明 区域 参数 配置说明 基本信息 任务名称 默认创建名称为“MaxCompute到D
源端组件选择“MaxCompute”,目的端组件选择“数据湖探索 DLI”,任务类型选择“元数据增量感知”,单击“下一步”,进入详细配置页面。 根据表1,配置元数据增量感知任务参数。 表1 元数据增量感知参数配置说明 区域 参数 配置说明 基本信息 任务名称 默认创建名称为“MaxCompute到
主机一站式跨可用区迁移 华为云主机跨可用区迁移 将主机迁移至Flexus云服务器X实例(原云耀云服务器X实例) 迁移后主机私有IP保持不变 批量修改与还原源端Linux主机的Host配置 批量修改与还原源端Windows主机的Host配置
添加文件”按钮,将填写后的模板文件上传。 上传成功后,单击“确认”按钮,系统开始导入,并且会在任务实例管理页签中的任务实例列表中,新增一条导入数据表的任务实例记录。您可以通过任务实例查看导入状态。 父主题: 采集元数据