检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。 在左侧导航栏选择“调研>迁移准备”,进入迁移准备页面。 选择元数据管理,在大数据血缘分析页签,单击“查看血缘”,进入血缘图页面。 图1 查看血缘 通过数据库名、表名筛选需要查看的血缘图。
支持区域: 全部 创建主机迁移工作流 线下主机迁移上云 主机一站式跨可用区迁移 创建存储迁移工作流 大数据数据迁移 支持多种大数据组件的元数据迁移,元数据增量感知,数据全量及增量迁移。
新版 权限管理 配置管理 调研评估 资源采集 应用管理 迁移准备 迁移方案设计 迁移方案配置 迁移集群 迁移工作流 大数据数据迁移(MaxCompute迁移到DLI) 大数据校验
数据库采集 权限要求:需要使用具有最高权限的账号进行数据库采集,以确保能够访问所有必要的数据。对于不同的数据库系统,应使用以下账号: MySQL:使用root账号。 PostgreSQL:使用postgres账号。 MongoDB: 使用admin权限账号。
存储迁移相关最佳实践 迁移其他云平台存储数据至华为云 OBS多前缀批量迁移 归档存储(冷存储)数据迁移 SFS1.0迁移至SFS 3.0 NAS到NAS迁移和割接方案 文件存储批量迁移 通过HTTP迁移MinIO存储数据到华为云OBS 通过HTTP迁移Ceph存储数据到华为云OBS
归档数据 归档类型的对象存储要实现迁移,必须预先解冻,待解冻完成后再创建迁移工作流,解冻时请注意如下事项: 请务必在解冻完成后再创建迁移工作流。 请根据待迁移的数据总量评估并设置解冻有效期,以防迁移期间数据再次变成归档状态。
说明: 出于安全考虑,若您的源端同时支持HTTP和HTTPS协议,建议迁移时使用HTTPS协议;若使用HTTP协议,会存在数据可能会被监听窃取、数据被篡改、中间人重放攻击等风险。 数据站点类型选择HTTP/HTTPS数据源时填写。
导出阿里云DataWorks作业 登录阿里云DataWorks控制台,单击左侧导航栏的“数据建模与开发 > 数据开发”,在下拉框中选择对应工作空间后单击“进入数据开发”。 单击左上方的图标,选择全部产品 > 更多 > 迁移助手,进入迁移助手首页。
新增数据源失败。 请联系技术支持人员或提交工单。 数据源不存在。 刷新采集项列表查看数据源是否存在。 重新采集数据源失败。 刷新采集项列表查看该数据源是否存在,或联系技术支持人员。 删除数据源失败。 刷新采集项列表查看该数据源是否已删除,或联系技术支持人员。
大数据-Hive Metastore凭证文件获取方法 MgC Agent(原Edge)安装端口被占用,导致无法安装,如何处理? AK/SK验证失败,如何处理? Windows服务器WinRM服务配置与故障排查 新增大数据校验数据连接时,凭证列表数据缺失
如果源端与目的端对象元数据中不存在CRC64值,则默认使用大小/最后修改时间校验策略。 说明: 目前仅支持华为云、阿里云、腾讯云。 目的端OBS桶需开启CRC64特性白名单。 迁移元数据 - 选择是否迁移元数据。 勾选,则迁移源端对象元数据。
不同类型的日志文件名和说明参加下表: 日志文件名 说明 debug.log 大数据插件运行时调试日志。 error.log 大数据插件运行时报错日志。 run.log 大数据插件运行时全部日志。 warn.log 大数据插件运行时告警日志。
数据加密服务(Data Encryption Workshop,DEW) 将迁移到华为云OBS桶中的文件进行KMS加密。 对象存储服务(Object Storage Service,OBS) 接收源端对象存储数据。
数据站点类型选择HTTP/HTTPS数据源时填写。
该端口的具体用途如下: Linux主机:用于数据传输和控制端口,建立传输通道和文件数据传输。 Windows主机:用于传输链路初始化端口,建立数据传输通道。 数据传输控制端口 Windows主机用于传输任务控制信号的端口,默认值8899,不支持修改。
通常MySQL证书存放在以下位置: MySQL 5.6及以下版本:/etc/mysql/ MySQL 5.7及以上版本:/var/lib/mysql/ 如果是云数据库,请参考各云厂商数据库的说明文档: 华为云 云数据库RDS 阿里云 云数据库RDS exclude_ip 否 填写不需要采集的客户端
选择“按性能负载调整”,需要先完成源端主机性能采集,获取源端主机性能负载数据,再通过设置数据处理规则,推荐满足条件的CPU核数、内存大小。 须知: 采集的性能数据越多,推荐的规格越准确,建议主机性能采集时长不少于7天。
软链接不支持元数据的迁移。
该端口的具体用途如下: Linux主机:用于数据传输和控制端口,建立传输通道和文件数据传输。 Windows主机:用于传输链路初始化端口,建立数据传输通道。 数据传输控制端口 Windows主机用于传输任务控制信号的端口,默认值8899,不支持修改。
连接地址 用于迁移前评估 dbType 数据库类型 用于迁移前评估 dbName 数据库名称 用于迁移前评估 dbVersion 数据库版本 用于迁移前评估 useSsl 是否使用SSL 用于迁移前评估 credentialId 凭证ID 用于迁移前评估 instanceId 实例