检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在元数据采集区域,单击“创建任务 > 数据湖元数据同步”按钮,右侧弹出创建任务-数据湖元数据同步窗口。 根据表2,配置数据湖元数据同步任务参数后,单击“确认”按钮,创建数据湖元数据同步任务。 表2 元数据同步任务参数配置说明 参数 配置说明 任务名称 默认创建名称为“数据湖元数
DeltaLake(无元数据)迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 DeltaLake不存在元数据,无法通过数据湖元数据同步方式进行数据采集,需要通过导入数据的方式获取元数据信息。
将编辑并保存好的CSV文件上传至MgC。 目的端配置 覆盖策略 对已有表的处理策略 跳过:如果目的端已经存在同名的数据表,将忽略该表,不会对其进行任何操作。 重建:如果目的端已经存在同名的数据表,该表及其数据将被完全删除,并根据源端的定义重新创建。 目的端连接 选择创建的目的端DLI SQL队列连接。
在元数据采集区域,单击“创建任务 > 元数据同步”按钮,右侧弹出创建任务-元数据同步窗口。 根据元数据同步任务参数配置说明,配置元数据同步任务参数后,单击“确认”按钮,创建元数据同步任务。 表2 元数据同步任务参数配置说明 参数 配置说明 任务名称 默认创建名称为“元数据同步任
MgC利用部署在源端网络中的Edge设备完成数据采集。 数据采集架构图,如图1所示。 图1 Edge远程在线采集架构图 通过调用API在线采集云平台资源 适用于公有云部署场景,针对不同云服务提供商(友商)的云资源进行数据采集。使用API接口与其它云服务提供商的系统进行交互,实现数据的在线采集。不需要在源端网络中安装Edge设备。
Secret。获取方法请参考创建AccessKey。 获取华为云访问密钥(AK/SK) 添加华为云凭证时,需要填写源端资源所在华为云账号或IAM用户的访问密钥(AK/SK,Access Key ID/Secret Access Key)。获取方法请参考新增访问密钥。 获取AWS访问密钥(Access keys)
在资源配置明细区域,单击主机资源操作列的“更改目的端规格”,右侧弹出资源详情窗口。 单击主机规格后的“更改规格”,可以修改目的端主机规格和镜像。 单击磁盘对应的目的端规格处的“更改规格”,可以修改目的端磁盘的存储类型和资源总用量(磁盘容量)。Linux主机的磁盘容量可以根据源端主机磁盘的实际
根据实际需求,选择已创建的元数据连接类型。 数据库名 用户自定义。 数据表名 用户自定义。 源表路径(可选) 元数据连接为Delta时,为必填项。 输入源端数据表在数据库中的存放路径。 目标表路径(可选) 元数据连接为Delta(无元数据)时,为必填项。 输入目的端数据表在数据库中的存放路径。
的“查看”,可以查看采集失败的数据源,将鼠标放到数据源的采集状态上,可以查看失败原因。 在应用发现页面,选择“资源列表”页签,单击主机资源类型或数量,进入资源列表页面的主机页签,可以查看采集的主机资源列表和资源详情。 父主题: 阿里云主机迁移至华为云
在MgC控制台为本次迁移创建独立的项目,方法请参考项目管理。 创建目的端OBS桶 在华为云创建一个用于接收源端数据的OBS桶,区域选择您希望迁移到的目的端区域。创建方法请参考创建桶。 权限配置 确保源端账号和目的端账号拥有迁移需要的权限,详细介绍请参见如何获取源端桶和目的端桶权限?。 创建集群 通过集群可以创
ReadOnlyAccess)。 创建迁移项目 在MgC控制台为本次迁移创建独立的项目,方法请参见项目管理。 父主题: 阿里云主机迁移至华为云
在元数据采集区域,单击“创建任务 > 元数据同步”按钮,右侧弹出创建任务-元数据同步窗口。 根据元数据同步任务参数配置说明,配置元数据同步任务参数后,单击“确认”按钮,创建元数据同步任务。 表2 元数据同步任务参数配置说明 参数 配置说明 任务名称 默认创建名称为“元数据同步任
优先级设置 性能优先 推荐的目的端规格要求性能最佳。 价格优先 推荐的目的端规格在满足要求的前提下尽量节约成本。 偏好设置 虚拟机规格偏好 选择期望的目的端主机规格类型,支持多选。 系统盘规格偏好 选择期望的目的端系统盘规格类型。 数据盘规格偏好 选择期望的目的端数据盘规格类型。 虚拟机规格调整
将HTTP/HTTPS数据源迁移到OBS时,如果存在URL不同但对象名称相同的情况,会如何处理? 当从HTTP/HTTPS数据源迁移数据到对象存储服务(OBS)时,由于OBS不区分URL差异,只识别对象名称,因此同名对象会根据创建工作流时,迁移配置中所选的“同名覆盖方式”策略进行
全量校验:全量对比所有数据,适用与需要对比历史数据的场景。 日级增量校验:依靠元数据中的创建或更新时间,获取数据变化(增量)分区,再进行校验。支持单日或连续多日增量数据的统计,是最常用的校验方式。 小时级增量校验:依靠元数据中的创建或更新时间,获取数据变化(增量)分区,再进行校验。在24小
证,凭证的添加方法请参考添加资源凭证。资源类型请根据实际情况选择“Windows主机”或“Linux主机”。 父主题: 阿里云主机迁移至华为云
如何启用 WinRM 服务 以管理员权限启动PowerShell。 执行如下命令,即可自动启动 WinRM 服务并配置其远程访问设置。 Enable-PSRemoting -Force 父主题: 常见问题
设置参数。其余参数请根据需求配置。 表1 设置参数 参数 设置 允许的服务 选择至少包含:Blob。 允许的资源类型 选择至少包含:容器和对象。 允许的权限 选择至少包含:读取和列表,如果要迁移归档类对象权限则需要再勾选:写入。 开始和到期日期/时间 需要确保在迁移任务过程中,连接字符串不会失效。 单击“生成S
创建大数据组件连接 对大数据组件数据进行一致性校验时,需要与大数据组件建立连接,用于数据查询。 目前支持创建连接的大数据组件包括: Doris HBase ClickHouse 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。在页面左上角的当前项目下拉列表中选择迁移项目。
在元数据采集区域,单击“创建任务 > 元数据同步”按钮,右侧弹出创建任务-元数据同步窗口。 根据元数据同步任务参数配置说明,配置元数据同步任务参数后,单击“确认”按钮,创建元数据同步任务。 表2 元数据同步任务参数配置说明 参数 配置说明 任务名称 默认创建名称为“元数据同步任