检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
字段所在的表元数据迁移失败。 在数据迁移时,如果重复迁移分区数据时提示错误信息:"Do not support update partition SerDeInfo for DLI table",需要您手动删除DLI中的分区数据,然后再进行迁移。 在进行指定分区数据迁移的场景下,
通过采集注册中心、配置中心、CMDB等平台,获取微服务间调用关系。配置更多采集项,可以更准确的分析出应用与应用间、应用与数据间调用的拓扑关系,提高迁移分组实施效率。 提供架构图和依赖图来展示应用间的关联关系和应用的组织架构,帮助用户进行迁移分析和方案设计。 支持批量导入/导出资源。 评估推荐
Agent(原Edge)访问和读取源端阿里云 MaxCompute中存储的数据。 前提条件 已完成准备工作。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择在完成准备工作时创建的大数据迁移项目。 在左侧导航栏选择“实施>大数据数据迁移”,进入大数据数据迁移页面。 单击页面右上角的“连接管理”按钮,进入迁移准备页面。
迁移实施 元数据全量迁移 元数据增量感知 全量数据迁移 增量数据迁移 父主题: 大数据数据迁移
开通DLI服务Spark 3.3和jar程序访问元数据白名单 数据迁移需要使用DLI服务的Spark 3.3特性和jar程序访问DLI元数据特性,请联系DLI服务的技术支持人员申请开通。 (可选)开通DLI服务Spark生命周期白名单 如果待迁移的元数据有生命周期表(即DDL带有LIFECY
操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的应用迁移项目。 单击左侧导航栏的“设计>迁移方案设计”,进入迁移方案设计页面。 在迁移方案设计页面,可以查看当前项目下的资源总数、资源的目的端规格配置情况以及当前项目下所创建的应用列表。 单击目的端规格配置框
在源端详情区域,根据实际情况,选择源端平台和源端类型,并输入源端文件个数、总文件大小。 在目的端详情区域,选择目的端区域和目的端类型。 在高级特性选择网络模式、偏好设置,并输入期望迁移时间。 配置完以上参数后,单击“创建评估”按钮。系统会根据配置参数,并给出不同的迁移方案。 父主题: 上云调研
在源端详情区域,根据实际情况,选择源端平台和源端类型,并输入源端文件个数、总文件大小。 在目的端详情区域,选择目的端区域和目的端类型。 在高级特性选择网络模式、偏好设置,并输入期望迁移时间。 配置完以上参数后,单击“创建评估”按钮。系统会根据配置参数,并给出不同的迁移方案。 父主题: 调研评估
dictionary”是一种系统权限,它允许用户查询数据库中的所有数据字典。 数据字典是存储有关数据库结构信息的中央存储库,包括表、列、数据类型、约束等详细信息。 目前只支持在线采集,无离线采集器。 准备工作 提前获取源端Oracle的IP,PORT,服务名称/SID,数据库账号和密码。服务名称默认是:
选择期望的目的端系统盘规格类型。 数据盘规格偏好(可选 ) 选择期望的目的端数据盘规格类型。 虚拟机规格调整 选择主机性能规格的推荐策略。 详细的推荐逻辑说明参见主机评估策略推荐逻辑说明。 配置完成后,单击“创建评估”,主机规格评估创建成功。规格评估完成后,可以查看评估推荐结果和主机性能数据,其中目的端规格配置即为该资源的迁移目的端。
Check failed 问题描述 进行大数据数据迁移时,部分表迁移失败,报错:CRC Check failed 解决方法 通过修改DLI作业中迁移sql,将源端timestamp字段类型转成String类型,进行数据迁移。 父主题: 大数据数据迁移
务执行结果进行过滤,如有过滤,则只导出过滤后的数据。 图1 导出执行结果 单击“导出管理”按钮,右侧弹出导出管理窗口。 当导出进度为导出成功后,单击操作列的“下载”,可以将导出结果下载到本地。 图2 下载导出结果 父主题: 大数据数据迁移
Spark应用的Driver内存,参数配置例如:2G, 2048M。该配置项会替换“sc_type”中对应的默认参数,使用时必须带单位,否则会启动失败。 父主题: 大数据数据迁移
vector %s 问题描述 进行大数据数据迁移时,部分表迁移失败,报错:no more field nodes for for field %s and vector %s 解决方法 基于源端表创建临时表,使用临时表进行数据迁移。 父主题: 大数据数据迁移
创建迁移任务 元数据全量迁移 元数据增量感知 全量数据迁移 增量数据迁移 父主题: 大数据数据迁移(MaxCompute迁移到DLI)
说明,配置采集器参数信息,其中带参数为必填参数。 配置完成后,单击“确认”按钮,采集任务创建完成。在任务列表中可以查看任务的数据源采集状态。 数据源采集成功后,可以通过如下方式获取采集结果: 单击任务操作列的“下载json”,将采集结果保存为json文件,用于将采集结果导入MgC
务执行结果进行过滤,如有过滤,则只导出过滤后的数据。 图1 导出执行结果 单击“导出管理”按钮,右侧弹出导出管理窗口。 当导出进度为导出成功后,单击操作列的“下载”,可以将导出结果下载到本地。 图2 下载导出结果 父主题: 大数据数据迁移(MaxCompute迁移到DLI)
资源采集 资源采集常见问题和处理方法 如何查看采集失败原因? 公网采集失败,提示:“网络连接超时”或“其他异常” 数据源采集失败,如何重新采集? 如何获取云平台凭证(AK/SK)? 如何获取添加Azure凭证所需的信息? 如何获取Azure对象存储深度采集所需凭证? 如何配置采集Azure容器资源所需权限?
partition.mode strict nonstric 选择使用“自定义过滤”迁移策略迁移动态分区数据时,请添加该参数并配置参数值为nonstric。 否 父主题: 大数据数据迁移(MaxCompute迁移到DLI)
MySQL节点IP:输入MySQL数据库服务器的IP地址。 MySQL服务端口:输入MySQL数据库服务的端口号。 数据库名:输入存储Hive表元数据的数据库名称。 说明: 请确保填写的MySQL凭证、节点IP、服务端口和数据库名与Hive实际使用的MySQL数据库相匹配,否则会导致数据校验失败。 表5