检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
所选的资源必须都来源于基础配置所选的源端平台。 最多添加 100 个桶。 表2 迁移方式说明 迁移方式 说明 全量迁移 迁移源端桶/文件夹内的全部数据。 列表迁移 通过列表文件过滤迁移,只迁移列表文件中的对象。列表文件需要存放在目的端桶中。
Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” 问题描述 对Hive进行大数据校验,校验任务执行成功,查看校验结果,发现部分字段的“源端数据”和“目的端数据”显示为“0”或“-1”。 问题分析 出现该问题可能是因为数值超出了Hive支持的数值范围。
增加线程并发数,可以提高同步效率,但会占用更多源端连接和迁移工具(Edge)所安装主机的计算资源。 在元数据采集区域,单击“采集任务”,进入元数据采集页面。 在任务管理页签,可以查看已创建的元数据同步任务列表以及参数配置信息。单击操作列的“运行任务”,即可触发一次任务执行。
不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和迁移工具(Edge)所安装主机的计算资源。 在元数据采集区域,单击“采集任务”,进入元数据采集页面。
凭证的添加方法请参考添加资源凭证中的大数据-执行机。 执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口,默认为22端口。 安装目录 填写MRS/CDH客户端的安装目录路径。即安装客户端时,“./install.sh” 所填写的地址。
查看主机性能数据 在资源配置明细的主机列表中,可以查看每台主机最后采集日期7天/30天内的CPU负载和内存负载平均值。单击“性能分析”,可以查看所有主机的性能分布统计。 更改目的端规格 在资源配置明细区域,单击主机资源操作列的“更改目的端规格”,右侧弹出资源详情窗口。
增加线程并发数,可以提高同步效率,但会占用更多源端连接和迁移工具(Edge)所安装主机的计算资源。 在元数据采集区域,单击“采集任务”,进入元数据采集页面。 在任务管理页签,可以查看已创建的元数据同步任务列表以及参数配置信息。单击操作列的“运行任务”,即可触发一次任务执行。
连接成功后,需要在Edge上分别添加源端阿里云 ClickHouse凭证和目的端MRS ClickHouse凭证,类型选择“大数据-ClickHouse”,认证方式选择“用户名/密码”。凭证的添加方法请参考添加资源凭证。
如果还未进行资源采集或暂不需要关联资源,单击“暂不关联资源”按钮,完成应用创建。后续在资源列表中也可以进行关联操作。
输入自定义的应用名称和描述;选择业务场景和使用场景;目的端区域选择目的端所在区域,单击“创建应用”按钮,应用创建成功,进入关联资源页面。 如果已经进行过资源采集,并且需要将采集到的资源关联到创建的应用,请勾选需要关联到应用的资源,单击“关联到应用”按钮,完成应用创建和资源关联。
测试DLI队列与数据源的连通性 登录DLI管理控制台,在左侧导航栏单击“资源管理 > 队列管理”,可进入队列管理页面。 找到为弹性资源池添加的DLI队列,单击操作列的“更多 > 测试地址连通性”,弹出测试地址连通性窗口。
创建表组并添加数据表 将源端数据表加入表组中,为后续对数作业做准备。 每次最多支持导入10,000张表。 待导入的表必须属于同一个元数据来源。 导入数据表时,系统不会校验数据表加入的分组数量和对数标准。
关键行为和资源显示: 对于修改密码或凭证等关键行为,资源字段会显示账号名称或凭证ID等内容。 对于MgC下发指令给Edge或Edge上报数据到MgC等关键行为,资源字段会显示存储这些内容的文件所在路径,您可以根据以下路径自行查找。
涉及的资源类型和凭证信息包括:主机凭证、数据库凭证、容器凭证、VMware平台凭证、租户AKSK。 通信矩阵 通信矩阵列出了使用迁移工具Edge需要开放的端口,以及端口使用的传输层协议、认证方式、加密方式、用途等信息。
不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和迁移工具(Edge)所安装主机的计算资源。 在元数据采集区域,单击“采集任务”,进入元数据采集页面。
大数据-Hive Metastore凭证文件获取方法 参考访问FusionInsight Manager登录Manager,进入系统页面。 在左侧导航栏,选择“权限>用户”,进入用户页面。
支持规格评估的数据库类型 目前支持规格评估的数据库类型包括:MySQL、PostgreSQL、MongoDB、Oracle和SQL Server。 父主题: 规格评估
大数据采集器 bigdata-migration。 配置JVM参数。 Edge安装目录下(默认为/opt/cloud/Edge),编辑. /tools/plugins/collectors/rda-collector-server。
创建项目 通过创建迁移项目,可以实现不同迁移资源间的隔离。例如:您可以为迁移阿里云资源、AWS资源分别创建项目,通过项目将不同来源的资源进行隔离。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“配置管理”,进入配置管理页面。选择“项目管理”页签,单击“创建项目”。
解决方案 请参考添加资源凭证和采集主机资源,在Edge设备上绑定源端主机凭证,并完成主机资源采集。 父主题: 主机迁移工作流