检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
采集元数据 创建元数据连接 创建并运行元数据同步任务 创建并运行数据湖元数据同步任务 查看元数据 父主题: 大数据血缘
模板中单元格不允许存在公式且必须是文本格式,否则会导致解析失败。 元数据连接为Delta(有元数据)或Hudi(有元数据)连接时,模板中的source_path参数为必填项。 元数据连接为Delta(无元数据)或Hudi(无元数据)连接时,模板中的source_path和target_path参数为必填项。
选择存储迁移标准模板,单击“开始配置”按钮,进行工作流配置。 根据表1,配置基础信息参数。 表1 基础信息参数说明 参数 说明 名称 用户自定义。 区域 下拉菜单中选择目的端所在区域。 描述 用户自定义。 集群 选择创建的集群作为迁移集群。 根据表2、表3,配置源端、目的端信息。 表2 源端信息参数说明 参数
使用迁移中心进行迁移前,需要做哪些准备工作? 注册华为账号开通华为云,并实名认证。 如果使用IAM用户登录MgC进行操作,需要为IAM用户配置迁移中心权限。 获取账号/IAM用户的AK/SK。 父主题: 产品咨询
驱动力调研 操作场景 对上云迁移驱动力的系统评估,有助于帮助您针对性地制定上云策略和迁移方案。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏“调研>上云调研”,进入“上云调研”页面。在页面左上角的当前项目下拉列表中选择迁移项目。 单击驱动力调研框中的“开始调研”按钮,进入“驱动力评估”页面。
对上云迁移准备度的系统评估,以评估报告的形式从业务目标、上云策略、IT流程和安全合规等维度详细评估,有助于您制定总体迁移规划和项目计划。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏“调研>上云调研”,进入“上云调研”页面。在页面左上角的当前项目下拉列表中选择迁移项目。 单击准备度调
目标数据库(TargetDataset) 目标表(TargetTable) 目标连接名称(TargetConnectionName) 目标组件类型(TargetComponentType) 上游数据库(SourceDataset) 上游表(SourceTable) 上游连接名称(SourceConnectionName)
要写入单个文件的最大记录数。如果该值为零或为负,则没有限制。 spark.sql.autoBroadcastJoinThreshold 209715200 配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE
查看血缘关系 前提条件 已创建血缘采集任务,且状态为“已完成”。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“调研>大数据血缘”,进入大数据血缘页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在血缘采集区域,单击“查看血缘图”,进入血缘图页面。 通过数据库名、表名
的精度限制,可能会导致实际存在的差异因为超出了Double类型能表示的有效位数而无法被感知到,从而使得差异率计算结果为0。 查看校验结果 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在功能入口
OSS到NAS_NFS的迁移,如果源端存在软链接,请启用“迁移元数据”功能。否则,迁移后软链接会变成普通文件,从而失去链接功能。 须知: 如果迁移对象中包含软链接,在迁移过程中,可能会因为软链接指向的对象尚未完全迁移到目的端导致校验失败,进而使任务失败。对于这种情况,请等待软链接指向的对象完全迁移到目的端后重试任务。
设置每次采集时间间隔,单位为s(秒),1≤取值范围≤60。 password 是 填写登录用户名对应密码。 user 是 填写拥有ClusterMonitor、ReadAnyDatabase权限的登录用户名。 endpoint 是 填写MongoDB服务的连接端点,例如:127.0.0.1:27017 父主题: 采集器参数配置说明
auth参数值为“3”时,填写SSL ca_file文件绝对路径。 password 否 填写登录用户名对应的密码。 username 否 auth参数值为“2”或“3”时,填写Kafka登录用户名。 auth 是 Kafka认证方式。 0表示无认证 1表示PLAINTEXT认证 2表示SASL_PLAINTEXT认证
主机迁移相关最佳实践 线下主机迁移上云 阿里云主机迁移至华为云 主机一站式跨可用区迁移 华为云主机跨可用区迁移 将主机迁移至Flexus云服务器X实例(原云耀云服务器X实例) 迁移后主机私有IP保持不变 批量修改与还原源端Linux主机的Host配置 批量修改与还原源端Windows主机的Host配置
常见问题 如何启用 PowerShell 远程管理模块 如何启用 WinRM 服务 执行脚本后报错:连接到远程服务器失败,且登录凭证信息正确 父主题: 批量修改与还原源端Windows主机的Host配置
填写不需要采集的客户端IP地址,多个IP地址之间用逗号分隔。例如:127.0.0.1,192.168.1.1 password 是 填写登录用户名对应的密码。 user 是 填写拥有process权限的登录用户名。 查看mysql账号权限方法: 在数据库执行如下命令,找到process权限,确定其是否为 “Y”。
置,以确保SFS 1.0、SFS 3.0和集群之间的网络连通。 SFS 1.0网络打通 SFS 1.0通过创建对等连接来打通网络,方法请参考创建相同账户下的对等连接。 SFS 3.0网络打通 SFS 3.0通过配置VPC终端节点并添加与迁移集群相同的VPC来实现网络打通。 参考配
是 填写登录用户名对应的密码。 username 是 填写RabbitMQ管理插件登录用户名。 server_port 是 填写RabbitMQ服务端口。例如:5672 plugin_port 是 填写RabbitMQ管理插件端口。例如:15672 host 是 填写连接RabbitMQ的IP地址。例如:127
OSS到NAS_NFS的迁移,如果源端存在软链接,请启用“迁移元数据”功能。否则,迁移后软链接会变成普通文件,从而失去链接功能。 须知: 如果迁移对象中包含软链接,在迁移过程中,可能会因为软链接指向的对象尚未完全迁移到目的端导致校验失败,进而使任务失败。对于这种情况,请等待软链接指向的对象完全迁移到目的端后重试任务。
亚太-新加坡 内网迁移 支持在同一Region内通过内网进行迁移。 软连接处理 MgC不支持源端路径为软链接的迁移。如果源端包含软链接,请进行如下处理: 填写实际的文件路径。 迁移完成后,手动在目的端创建相应的软链接。 父主题: SFS1.0迁移至SFS 3.0