检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
血缘采集概述 通过血缘采集,可以建立起数据元素之间的关系和依赖关系,从而形成一个清晰的数据血缘图。 目前支持血缘采集的文件类型以及采集须知,参见下表。 文件类型 采集须知 DataArts作业 需要提前导出DataArts作业到华为云OBS桶,并将桶的读写权限委托给迁移中心。 SQL作业
数据会被覆盖。 增量同步后启用/修改一致性校验策略 当工作流执行完“增量同步”步骤后,可以启用/修改一致性校验策略。 将鼠标移动到进度条,在弹窗中单击一致性校验策略后的“修改”,右侧弹出一致性校验策略窗口。 图3 修改一致性策略 勾选“数据一致性校验”功能,根据参数说明并结合实际需求配置校验策略。
保留CSV文件中的第一行不变,从第二行开始,每行填写一个表的迁移信息,格式为“{MC项目名},{表名}”,其中MC项目名代表MaxCompute项目名称,表名代表具体的表名称。 须知: 每行的“MC项目名”和“表名”之间使用英文逗号隔开,不要使用空格或其他分隔符。 每添加完一个表的信息后,使用回车键换行。
能进行一致性校验的方法。 操作步骤 参考创建元数据连接,创建第一个Delta元数据连接。 使用步骤1.创建的第一个元数据连接,创建元数据同步任务,将源端的元数据同步至迁移中心。 创建N个Delta元数据连接,除了执行机IP和端口不同以外,其余参数配置需要与步骤1.中的第一个元数据连接保持一致。
选择“显示”,即可显示访问密钥和连接字符串,单击复制图标即可复制密钥和字符串。 可以使用这key1和key2两个密钥中的任何一个来访问 Azure 存储,但通常情况下,最好使用第一个密钥,并保留第二个密钥在轮换密钥时使用。 获取共享访问签名 在 Azure 门户中单击“存储账户”,选择待迁移的存储账户。
本节介绍如何使用主机迁移标准模板创建主机迁移工作流。 注意事项 建议单个工作流中包含的主机数量不超过100台。 同一用户同时进行迁移的主机数量上限为1000台,超出此数量的主机会在工作流第一步暂停并处于等待状态,直至有资源释放或主机完成迁移,等待中的主机将按照创建时间顺序依次自动执行工作流后续步骤。
保留CSV文件中的第一行不变,从第二行开始,每行填写一个表的迁移信息,格式为“{MC项目名},{表名}”,其中MC项目名代表MaxCompute项目名称,表名代表具体的表名称。 须知: 每行的“MC项目名”和“表名”之间使用英文逗号隔开,不要使用空格或其他分隔符。 每添加完一个表的信息后,使用回车键换行。
保留CSV文件中的第一行不变,从第二行开始,每行填写一个表的迁移信息,格式为“{MC项目名},{表名}”,其中MC项目名代表MaxCompute项目名称,表名代表具体的表名称。 须知: 每行的“MC项目名”和“表名”之间使用英文逗号隔开,不要使用空格或其他分隔符。 每添加完一个表的信息后,使用回车键换行。
条件覆盖:对于后续迁移的同名(即使大小写不同)对象,根据以下条件决定是否覆盖。 如果最后修改时间较新,则覆盖前一个同名对象。 如果最后修改时间相同,比较文件大小;如果大小不同,则后一个对象覆盖前一个。 如果最后修改时间和文件大小都相同,则跳过,保留已迁移的对象。 父主题: 存储迁移
通过工作流创建SMS迁移任务 创建主机迁移工作流完成后,在主机迁移工作流详情页面,当资源的迁移进度完成“启动迁移Agent”这一步后,会自动在SMS控制台的迁移服务器列表创建一条迁移任务,状态为“已就绪”,如图1、图2所示。 图1 启动迁移Agent 图2 SMS迁移服务器列表 查看迁移实时状态
以源端业务场景为基础,结合华为云最佳实践进行资源规格推荐。 系统将基于源端业务场景自动选择一系列性能要求相匹配的规格类型,并将这些类型根据“优先级设置”选项(价格优先或性能优先)进行排序,依次检索各类型下所有虚拟机规格,选出第一个CPU和内存均不小于源端,且在阈值内的在售规格。如检索完所有规格类型仍未匹配到合适的规格,则会报错提示。
Enable-PSRemoting 验证配置。在PowerShell中输入如下命令: New-PSSession 如果配置成功,则该命令会在本地计算机上创建会话,并返回一个会话对象。返回示例: Id Name ComputerName State ConfigurationName --
创建目的端组件连接 对大数据组件数据进行一致性校验时,需要与大数据组件建立连接,用于数据查询。 目前支持创建连接的大数据组件包括: Doris HBase ClickHouse Hive Metastore 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。
创建目的端组件连接 对大数据组件数据进行一致性校验时,需要与大数据组件建立连接,用于数据查询。 目前支持创建连接的大数据组件包括: Doris HBase ClickHouse Hive Metastore 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”
password 是 Orcale数据库实例账号对应的密码。 sid 否 Orcale数据库实例唯一标识符,与ServiceName有一个即可。 serviceName 否 Orcale数据库实例服务名与sid有一个即可。 采集结果数据说明 采集字段和字段说明参数表1、表2、表3、表4。 表1 总采集字段说明表
Agent注册到MgC以及迁移过程中的接口调用鉴权。 步骤一:创建用户组 登录华为云IAM管理控制台。 在统一身份认证服务,左侧导航栏,选择“用户组”,单击右上方的“创建用户组”。 图1 创建用户组 步骤二:创建权限策略 在统一身份认证服务,左侧导航栏,选择“权限管理>权限”,单击右上方的“创建自定义策略”。
可用区(AZ)迁移有哪些注意事项? 密码一致性 如果源端Windows主机安装了 Cloudbase-Init 插件,会导致新下发的主机生成随机密码,从而与源端密码不一致,因此迁移前需要将 Cloudbase-Init 插件卸载。 账号余额 由于AZ迁移需要进行创建存储库、服务器
创建源端云服务连接 对大数据云服务数据进行一致性校验时,需要分别与源端和目的端云服务建立连接,用于数据查询和计算。 目前支持创建源端连接的大数据云服务包括: MaxCompute 阿里云云数据库ClickHouse 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数
创建源端组件连接 对大数据组件数据进行一致性校验时,需要与大数据组件建立连接,用于数据查询。 目前支持创建源端连接的大数据组件包括: Doris HBase ClickHouse Hive Metastore Delta Lake(有元数据) Delta Lake(无元数据) Hudi(有元数据)
置信息。单击操作列的“更多>修改”,可以修改任务参数配置。 图5 元数据同步任务管理 单击操作列的“运行任务”,即可触发一次任务执行。每执行一次任务,会生成一条任务实例。 单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务的运行记录,以及每条任务实例的状态和采集结果。