检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
完成所有表信息的添加后,保存CSV文件的更改。 将编辑并保存好的CSV文件上传至MgC。 目的端配置 覆盖策略 对已有表的处理策略 跳过:如果目的端已经存在同名的数据表,将忽略该表,不会对其进行任何操作。 重建:如果目的端已经存在同名的数据表,该表及其数据将被完全删除,并根据源端的定义重新创建。
任务参数配置。 单击操作列的“运行任务”,即可触发一次任务执行。每执行一次任务,会生成一条任务实例。 单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务的运行记录,以及每条任务实例的状态和采集结果。当数据湖元数据同步任务的实例状态为“已完成”且采集结果有数值时,在库表清单页签可以查看采集到的元数据列表。
常”。 问题分析 网络连接超时:出现该提示是因为源端资源所在的地域(Region)不在MgC服务支持的资源采集范围内。 其他异常:出现该提示是因为连接源端资源时发生了未知的异常情况。可能由多种因素引起,需要您自行排查和处理。 父主题: 资源采集
保留CSV文件中的第一行不变,从第二行开始,每行填写一个表的迁移信息,格式为“{MC项目名},{表名}”,其中MC项目名代表MaxCompute项目名称,表名代表具体的表名称。 须知: 每行的“MC项目名”和“表名”之间使用英文逗号隔开,不要使用空格或其他分隔符。 每添加完一个表的信息后,使用回车键换行。
集群所包含的状态以及状态说明参见表1。 表1 集群状态说明 状态 说明 创建中 正在创建集群资源 创建失败 创建集群资源失败 连接中 等待master节点上线,并开始创建和安装其他节点 健康 所有节点均处于在线状态 亚健康 部分迁移节点和列举节点在线,并且至少存在一个迁移节点和一个列举节点在线
用于访问MgC的IAM用户,注册华为账号以及创建IAM用户的方法请参考准备工作。 创建项目 在MgC控制台为本次采集创建独立的项目(建议创建简单项目),方法请参考项目管理。 Azure认证信息准备 提前获取AKS所在应用客户端的密码、购买AKS的订阅ID,对应应用的租户ID、客户
数据源采集失败,如何重新采集? 采集失败的数据源,处理完失败原因后,需要删除后通过新增数据源重新采集。 在任务列表页面,单击采集任务操作列的“查看”,进入任务详情页面。 单击采集项操作列的“新增数据源”,弹出新增数据源窗口。 选择区域和资源类型,单击“确认”按钮。新增数据源成功,系统开始对新增的数据源进行采集。
参数配置。 单击操作列的“运行任务”,即可触发一次任务执行。每执行一次任务,会生成一条任务实例。 单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务的运行记录,以及每条任务实例的状态和采集结果。当元数据同步任务的实例状态为“已完成”且采集结果有数值时,在库表清单页签可以查看采集到的元数据列表。
在左侧导航栏,选择“权限>用户”,进入用户页面。 在用户列表,选择要在Edge添加凭证的用户,单击操作列“更多>下载认证凭据”,可以下载凭证文件中的krb5.conf和user.keytab文件。 在Edge添加凭证时,填写的用户名要与此处下载的凭证对应。 在页面上方菜单栏选择“集群>Hive”,进入Hi
授权信息列表文件(csv文件)需要您自行创建,在csv文件的第一行(即表头),请按照以下顺序和参数名称填写,并在表头下方的行中,填写每个需要采集的Windows主机的具体参数值。其中IP、USER和PASSWORD为必填参数。 IP(REQUIRED) PORT(REQUIRED) USER(REQUIRED)
产品咨询 迁移中心使用权限配置 MgC支持的区域 使用迁移中心进行迁移前,需要做哪些准备工作? 提示“请检查当前用户是否具有IAM权限”,如何处理? 无法签署隐私声明和使用迁移中心 如何防止采集数据泄露? 调研采集过程是否会对源端业务产生影响?
当您启用特定功能时,需要您确认并同意授予必要的权限给MgC,以便我们能够为您提供完整的服务。本节为您介绍需要进行权限委托的场景以及自定义策略详情。 委托授权策略说明: 创建自定义策略:如果您尚未设定任何自定义的权限委托策略,系统会自动为您创建一个标准的自定义策略。 更新自定义策略:对于已经存在的自定义策略,系
移项目。 单击任务框中的“导入 > RVTools”,弹出创建RVTools导入任务窗口。 首次使用该功能时需要授权委托,单击RVTools导入委托窗口的“同意授权”即可。 在文件的下拉列表中,找到步骤二存放RVTools导出资源文件的OBS桶,并选择导出的资源文件,单击“确认”按钮,上传至迁移中心。
准备工作 为了确保迁移过程的顺利进行,需要完成以下必要的准备工作。 华为账号准备 使用MgC之前,您需要拥有一个华为账号或一个可用于访问MgC的IAM用户,并获取账号/IAM用户的访问密钥(AK/SK)。获取方法请参考准备工作。 阿里云访问密钥(AK/SK)准备 检查阿里云迁移账
MgC在统一身份认证服务(IAM)能力基础上,为用户提供细粒度的权限管理功能,帮助用户灵活便捷地对账号下的IAM用户设置不同的MgC资源权限,结合权限策略实现权限隔离。 以下是使用MgC不同功能时,IAM用户需要配置的权限。为IAM用户配置权限的方法请参考创建自定义策略。 功能 权限Action
移项目。 单击任务框中的“导入 > RVTools”,弹出创建RVTools导入任务窗口。 首次使用该功能时需要授权委托,单击RVTools导入委托窗口的“同意授权”即可。 在文件的下拉列表中,找到步骤二存放RVTools导出资源文件的OBS桶,并选择导出的资源文件,单击“确认”按钮,上传至迁移中心。
E”。 解决方法 根本原因是元数据校验失败。具体分为两种场景: 场景一: 由于元数据中的mtime(修改时间)属性引起的校验失败。当启用元数据保留迁移,且目的端存储为PFS桶时,如果源端对象的元数据包含mtime(修改时间),由于PFS桶中mtime代表最后修改时间,那么当源端对
通过执行日期,筛选出要查看的执行批次。 在校验结果列表中,可以进行如下操作: 查看校验详情:单击分区达标详情列的“查看”按钮,展开该数据表的作业详情。单击操作列的“查看详情”,进入校验详情页面,查看该数据表的校验详细信息。 查看执行历史及状态:单击操作列的“查看历史”,可以查看该表的所有执行批次和达标状态。
作业ID(JobId) 须知: 模板中目标组件类型和上游组件类型支持的类型包括HiveSQL、MaxCompute。 模板中单元格不允许存在公式,否则会导致解析失败。 模板参数填写完成并保存后,单击窗口的“添加文件”,将填写后的模板文件上传至迁移中心。 注意: 文件大小不能超过100
配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql