检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对应参数填写到模板内。 每个模板最多支持导入10,000张表。 同一表组内的表必须属于同一个元数据来源。 模板中单元格不允许存在公式且必须是文本格式,否则会导致解析失败。 元数据连接为Delta(有元数据)或Hudi(有元数据)连接时,模板中的source_path参数为必填项。
对应参数填写到模板内。 每个模板最多支持导入10,000张表。 同一表组内的表必须属于同一个元数据来源。 模板中单元格不允许存在公式且必须是文本格式,否则会导致解析失败。 元数据连接为Delta(有元数据)或Hudi(有元数据)连接时,模板中的source_path参数为必填项。
MRS ClickHouse迁移至MRS ClickHouse数据校验 本文主要介绍MRS ClickHouse版本间数据迁移后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册
切勿选择DLI SQL队列。 自定义参数(可选) 根据实际需求进行配置,支持的自定义参数详情请参考conf参数说明和自定义参数说明。 如果是公网迁移,需要填写以下4个参数: spark.dli.metaAccess.enable:填写true。 spark.dli.job.agency
切勿选择DLI SQL队列。 自定义参数(可选) 根据实际需求进行配置,支持的自定义参数详情请参考conf参数说明和自定义参数说明。 如果是公网迁移,需要填写以下4个参数: spark.dli.metaAccess.enable:填写true。 spark.dli.job.agency
委托对象 自定义策略名称 细粒度最小使用权限 配置主机购买模板 MgC MgC PurchaseTemplateAgencyPolicy iam:projects:listProjects(查询租户项目) eps:enterpriseProjects:list(查看企业项目列表)
的实际使用量,进行缩容,即小于源端磁盘容量。更改磁盘规格后,系统会自动判断是否进行了磁盘缩容,在主机资源配置明细列表中的“磁盘缩容”列,“是”代表已缩容;“否”代表未缩容。 系统盘容量取值范围为:40 G~1024 G 数据盘容量取值范围为:10 G~32768 G 当前仅支持L
每次最大采集量,取值范围≥1,取整数,不设置默认为1000条。 period 否 采集间隔时间,单位为m(分钟),1m≤取值范围≤30m,取整数,不设置默认为1m。 time 是 采集持续时间,超过设置的时长即停止采集,单位为m(分钟)/h(小时)/d(天),取值范围≥1m,取整数。 nodes_path 否 填写采
使用注册的用户名、密码登录MgC Agent控制台,在左侧导航树选择“采集工具管理”,进入应用关联采集器页面。 可以查看已安装的采集器类型、版本以及安装路径等信息。 如果是新增采集器,在迁移中心管理控制台的迁移中心Agent页面,下载采集器安装包并手动解压至采集器安装路径下(如C:\Edge\tools\plu
创建集群 迁移集群是专为存储工作流提供协作中的核心组件,通过集群可以创建和管理迁移节点、列举节点,部署和升级迁移插件,确保存储工作流顺利运行。 使用须知 单个账号在每个区域(Region)最多只能创建2个集群。 为了保证迁移的稳定性和数据安全,创建的迁移集群不支持用户自行登录。如
置”,进入目的端配置表页面。 在资源配置明细区域,可以查看应用内各类型资源的评估推荐结果,其中目的端规格配置是根据源端规格配置和评估策略推荐的华为云对应规格配置,成本预估是华为云推荐规格所需费用。 查看主机性能数据 在资源配置明细的主机列表中,可以查看每台主机最后采集日期7天/3
创建集群 迁移集群是专为存储工作流提供协作中的核心组件,通过集群可以创建和管理迁移节点、列举节点,部署和升级迁移插件,确保存储工作流顺利运行。 使用须知 单个账号在每个区域(Region)最多只能创建2个集群。 为了保证迁移的稳定性和数据安全,创建的迁移集群不支持用户自行登录。如
置”,进入目的端配置表页面。 在资源配置明细区域,可以查看应用内各类型资源的评估推荐结果,其中目的端规格配置是根据源端规格配置和评估策略推荐的华为云对应规格配置,成本预估是华为云推荐规格所需费用。 查看主机性能数据 在资源配置明细的主机列表中,可以查看每台主机最后采集日期7天/3
对象存储数据的高效迁移。 约束与限制 关于存储迁移的约束与限制请查看存储迁移的约束与限制有哪些? 源端为阿里云OSS:当源端对象的存储类型是深度冷归档存储时,无法使用MgC提供的解冻归档数据功能直接迁移,需要在源端先手动解冻后再迁移。 风险提示 在创建工作流时,对于源端和目的端的
创建元数据连接 创建元数据来源类型的连接,获取源端大数据库表清单。 目前支持的连接类型,参见表1。 表1 支持的元数据连接类型 类别 连接类型 大数据组件 Hive Metastore Doris HBase ClickHouse Delta Lake(有元数据) Delta Lake(无元数据)
本地发现与采集 MgC Agent(原Edge)提供了本地发现和采集功能,允许在未连接迁移中心的情况下,直接在本地进行主机资源的发现与采集。 使用须知 需要进行本地采集,应避免连接迁移中心。MgC Agent与迁移中心(MgC)连接后,本地采集功能将不再可用,MgC Agent的
创建执行机连接 执行机是获取数据的任务执行单元,需要分别与源端和目的端的执行机建立连接,然后执行数据统计,统计结果将用于数据校验。 以下大数据组件需要通过创建执行机连接来进行数据校验: Hive Metastore Delta Lake(有元数据) Delta Lake(无元数据)
创建执行机连接 执行机是获取数据的任务执行单元,需要分别与源端和目的端的执行机建立连接,然后执行数据统计,统计结果将用于数据校验。 以下大数据组件需要通过创建执行机连接来进行数据校验: Hive Metastore Delta Lake(有元数据) Delta Lake(无元数据)
不勾选,仅迁移Content-Type、Content-Encoding元数据。 (可选)根据表2,配置高级选项。 表2 高级选项参数说明 参数 说明 割接前是否增量同步 选择是,会在迁移阶段的业务验证步骤后增加自动执行的“增量迁移”步骤。 选择否,在迁移阶段的业务验证步骤执行完后,直接进入业务割接阶段。 过滤配置
不勾选,仅迁移Content-Type、Content-Encoding元数据。 (可选)根据表2,配置高级选项。 表2 高级选项参数说明 参数 说明 割接前是否增量同步 选择是,会在迁移阶段的业务验证步骤后增加自动执行的“增量迁移”步骤。 选择否,在迁移阶段的业务验证步骤执行完后,直接进入业务割接阶段。 过滤配置