检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行机凭证 选择执行机的登录凭证。凭证的添加方法请参考添加资源凭证中的大数据-执行机。 执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口。 Spark客户端目录 填写Spark客户端的安装目录路径。 环境变量地址 填写环境变量文件(配置文件)的绝对路径,例如:
部分表迁移失败,报错:CRC Check failed 问题描述 进行大数据数据迁移时,部分表迁移失败,报错:CRC Check failed 解决方法 通过修改DLI作业中迁移sql,将源端timestamp字段类型转成String类型,进行数据迁移。 父主题: 大数据数据迁移
数据源采集失败,如何重新采集? 采集失败的数据源,处理完失败原因后,需要删除后通过新增数据源重新采集。 在任务列表页面,单击采集任务操作列的“查看”,进入任务详情页面。 单击采集项操作列的“新增数据源”,弹出新增数据源窗口。 选择区域和资源类型,单击“确认”按钮。新增数据源成功,系统开始对新增的数据源进行采集。
创建并执行DLI校验任务时,出现大量失败表,查看Edge日志报错信息如下: 问题分析 出现该问题可能是因为请求已达到接口流控上限。 解决方法 请联系技术支持,提高接口流控的阈值。 父主题: 大数据校验
选择源端阿里云账号的凭证。凭证的添加方式请参考添加资源凭证,类型选择“大数据-MaxCompute”。 项目名称 输入需要采集的MaxCompute项目名称。项目名称可在MaxCompute侧控制台获取。 Endpoint 输入MaxCompute服务所在地域的Endpoint信息。
选择执行机的登录凭证。凭证的添加方法请参考添加资源凭证中的大数据-执行机。 执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口,默认为22端口。 安装目录 填写MRS/CDH客户端的安装目录路径。即安装客户端时,“./install.sh” 所填写的地址。 SQL文件地址
部分表迁移失败,报错:no more field nodes for for field %s and vector %s 问题描述 进行大数据数据迁移时,部分表迁移失败,报错:no more field nodes for for field %s and vector %s 解决方法
选择在Edge添加的目的端ClickHouse凭证。凭证的添加方法请参考添加资源凭证中的大数据-ClickHouse。 安全集群 选择是否部署在安全集群下。 ClickHouse Server IP 填写连接到目的端ClickHouse服务器的IP地址。通常是运行ClickHouse的主机IP地址。
HTTP/HTTPS数据源 约束与限制 关于存储迁移的约束与限制请查看存储迁移的约束与限制有哪些? 源端为阿里云OSS:当源端对象的存储类型是深度冷归档存储时,无法使用MgC提供的解冻归档数据功能直接迁移,需要在源端先手动解冻后再迁移。 逻辑架构图 通过迁移中心进行存储数据迁移的逻辑架构图如图1所示。
DLI凭证 选择DLI云服务的凭证。凭证的添加方法请参考添加资源凭证中的大数据-DLI。如果所选凭证与登录迁移中心账号凭证相同,请勾选“所选凭证与登录迁移中心凭证相同”,系统将根据所选的区域,自动查询账号在该区域下的项目。 区域/项目 选择需要校验的数据所在区域/项目。 队列名称
如下图所示,磁盘0处于“联机”状态,磁盘1处于“脱机”状态。 执行select disk 1选择脱机状态的磁盘(根据实际情况,选择对应的脱机磁盘)。 执行online disk联机所选择的脱机磁盘。 如果磁盘联机后显示只读,请执行attribute disk clear readonly。
根据MgC的要求,编辑URL列表文件内容,使其包含文件的共享下载链接和文件名,格式为: <SHARED-URL> <FILE-NAME> 共享下载链接和文件名之间用制表符隔开,子文件夹的文件名需要包含子文件夹名称。关于URL列表文件的更多要求和限制,请查看存储迁移的约束与限制有哪些?。
通过迁移中心提供的TCO对比功能,可以自动完成源端云厂商消费账单分析以及和华为云的成本分析和比较,从而为您云间迁移提供参考。 应用关联分析 通过采集注册中心、配置中心、CMDB等平台,获取微服务间调用关系。配置更多采集项,可以更准确的分析出应用与应用间、应用与数据间调用的拓扑关系,提高迁移分组实施效率。
保存文件列表的本地文件名(例如:s3url.txt)。 打开生成的列表文件(在本文示例中为s3url.txt),您将看到桶内所有文件的共享s3地址列表。将“s3://及其之前的所有参数”替换为“http://<DOMAIN>:<PORT>/”,以生成可通过浏览器访问的URL(即文
储数据的高效迁移。 约束与限制 关于存储迁移的约束与限制请查看存储迁移的约束与限制有哪些? 源端为阿里云OSS:当源端对象的存储类型是深度冷归档存储时,无法使用MgC提供的解冻归档数据功能直接迁移,需要在源端先手动解冻后再迁移。 风险提示 在创建工作流时,对于源端和目的端的同名对
本节介绍如何使用文件存储批量迁移模板,批量创建文件存储数据迁移任务,实现文件存储数据的高效迁移。 约束与限制 关于文件存储迁移的约束与限制请查看存储迁移的约束与限制有哪些? 风险提示 在创建工作流时,对于源端和目的端的同名对象,我们提供了三种覆盖策略:不覆盖、直接覆盖和条件覆盖。选择“不覆盖
如果是进行主机迁移,输入的AK/SK需要具备SMS服务的相关权限。需要的权限和配置方法请参考SMS自定义策略。 您可以选择是否将输入的AK/SK保存为目的端凭证(推荐您选择“是”)。 选择“否”,与迁移中心连接成功后,输入的AK/SK会被删除。 选择“是”,与迁移中心连接成功后,输入的AK/SK
实例资源清单上传后,单击云盘资源清单后的“添加文件”,将导出的阿里云ECS云盘资源清单上传。 Redis 单击资源清单后的“添加文件”,将导出的阿里云Redis实例资源清单上传。 对象存储 单击资源清单后的“添加文件”,将导出的阿里云OSS桶资源清单上传。 数据库 单击资源清单后的“添加文件”,将导出的阿里云RDS
实例资源清单上传后,单击云盘资源清单后的“添加文件”,将导出的阿里云ECS云盘资源清单上传。 Redis 单击资源清单后的“添加文件”,将导出的阿里云Redis实例资源清单上传。 对象存储 单击资源清单后的“添加文件”,将导出的阿里云OSS桶资源清单上传。 数据库 单击资源清单后的“添加文件”,将导出的阿里云RDS
您可以在MgC控制台监控和管理当前项目下,与MgC建立连接的Edge。 前提条件 已在源端安装Edge,并与迁移中心连接成功。 查看设备 登录迁移中心管理控制台。 单击左侧导航栏的“迁移工具”,在页面左上角的当前项目下拉列表中选择迁移项目,即可查看当前项目下的所有Edge设备以及设备状态。 设备状态说明参见下表。