检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
vector %s 问题描述 进行大数据数据迁移时,部分表迁移失败,报错:no more field nodes for for field %s and vector %s 解决方法 基于源端表创建临时表,使用临时表进行数据迁移。 父主题: 大数据数据迁移
如何查询Edge当前版本? 查询Windows版本 进入Edge的安装目录(默认为C:\Edge)。 双击version.txt文件,查看当前Edge版本信息。 查询Linux版本 执行如下命令,进入Edge安装目录。 cd /opt/cloud/Edge 执行如下命令,可查看Edge的版本信息。
配置OBS桶 设置用于存放大数据校验任务日志文件和内容校验结果的OBS桶(以下称为日志桶),实现对日志和内容校验结果的有效管理和分析。设置了日志桶后,会默认使用大数据校验中的日志上传功能,将日志数据和内容校验结果上传到指定的OBS桶中。 权限要求 请确保添加的目的端凭证最少拥有日志桶的如下操作权限:
Edge安装完成后,无法启动 如何升级Edge至最新版本? 如何卸载Edge? 如何重启Edge? 如何查询Edge当前版本? 采集失败,提示:The collector is not installed如何处理? 大数据-Hive Metastore凭证文件获取方法 Edge安装端口被占用,导致无法安装,如何处理?
移工作流,根据采集的源端主机性能数据,推荐最合适的华为云主机规格。 创建大数据迁移任务:进行大数据迁移,支持将阿里云 MaxCompute数据迁移至华为云 数据湖探索(DLI)。 创建大数据校验任务:对大数据进行一致性校验。 前提条件 已下载并安装Edge,并完成用户注册。 操作步骤
可以连接外网,并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名。 安全组的出方向规则中,需要包含8883端口。 操作系统为:CentOS 8.x 推荐规格不小于4U8G。如果使用大数据相关功能,推荐规格不小于8U16G。 不建议将Edge安装在源端待迁移的主机上,主要原因包括:
果。 Linux主机: 输入如下命令,查询占用端口的应用ID。 netstat -tlnp | grep 27080 例如,查询到的应用ID为11083。 输入如下命令,根据获得的应用ID查询应用进程。此处的应用ID仅为举例,请根据实际查询结果进行替换。 ps -ef | grep
keytab五个文件。获取方式参见大数据-Hive Metastore凭证文件获取方法。 大数据-数据湖搜索(DLI) AK/SK 输入华为云账号的AK/SK。获取方法请参考如何获取AK/SK。 大数据-MaxCompute AK/SK 输入源端阿里云账号的AK/SK。获取方法请参考查看RAM用户的AccessKey信息。
线下主机迁移上云 主机一站式跨可用区迁移 创建存储迁移工作流 大数据数据迁移 支持多种大数据组件的元数据迁移,元数据增量感知,数据全量及增量迁移。 支持区域: 全部 创建源端连接 创建目的端连接 迁移实施 大数据校验 迁移中心 MgC为多种大数据计算/存储引擎,如Hive、Hbase、Dori
输入以下命令,查看采集器插件对应的pid。 ps -ef|grep java 输入以下命令后回车,停止采集器插件程序。 Kill -9 PID 输入以下命令,运行新建的启动脚本start.sh。 sh start.sh 查询正在运行的采集器插件的JVM参数。 输入以下命令,查看采集器插件的JVM参数。
单击资源名称,可以查看该资源的基本信息。 查看任务状态和详情 在资源采集页面,单击任务总数后的“查看”,进入任务列表页面。 图4 查看任务列表 单击采集任务操作列的“查看”,进入任务详情页面,可以查看到该任务包含的采集项。 单击采集项前的按钮,可以查看该采集项包含的采集数据源以及各资源类型的采集结果。
主机迁移工作流错误码处理方法汇总 使用主机迁移工作流时,当出现SMS-Workflow.xxxx类型的报错时,可通过错误码描述和处理方法查询报错原因以及处理方法。 父主题: 主机迁移工作流
可用区迁移错误码处理方法汇总 使用可用区迁移工作流时,当出现AZworkflow.xxxx类型的报错时,可通过错误码描述和处理方法查询报错原因以及处理方法。 父主题: 可用区迁移
单击资源名称,可以查看该资源的基本信息。 查看任务状态和详情 在资源采集页面,单击任务总数后的“查看”,进入任务列表页面。 图4 查看任务列表 单击采集任务操作列的“查看”,进入任务详情页面,可以查看到该任务包含的采集项。 单击采集项前的按钮,可以查看该采集项包含的采集数据源以及各资源类型的采集结果。
iam:projects:listProjects(查询租户项目) eps:enterpriseProjects:list(查看企业项目列表) vpc:subnets:get(查询子网列表或详情) vpc:securityGroups:get(查询安全组列表或详情) vpc:vpcs:get(查询虚拟私有云详情) 迁移方案配置
on,各Region域名可查看终端节点。 例如,目的端为华南-广州,则域名为:https://ecs.cn-south-1.myhuaweicloud.com:443 IMS服务 源端需要访问的域名取决于实际的目的端Region,各Region域名可查看终端节点。 例如,目的端为
vpc:vpcs:list(查询虚拟私有云列表) vpc:subnets:get(查询子网列表或详情) vpc:publicIps:list(查询弹性公网IP) vpc:securityGroups:get(查询安全组列表或详情) eps:enterpriseProjects:list(查看企业项目列表)
securityGroupList 安全组 用于迁移前评估 clusterId 大数据集群ID 用于迁移前评估 chargeMode 付费模式 用于迁移前评估 assessStatus 主机TCO评估状态 用于迁移前评估 nodeType 大数据节点类型 用于迁移前评估 数据库(含深度采集) 采集项 说明
您可以在任务列表页面,查看任务状态。 如果任务状态为“失败”,单击操作列的“查看”,可以查看采集失败的数据源,将鼠标放到数据源的采集状态上,可以查看失败原因。处理完失败原因后,需要删除该采集任务,重新导入文件进行采集。 当任务状态为“成功”时,您可以前往应用管理页面,查看应用关联分析结果。
迁移对源端和目的端有什么要求? 迁移会占用源端和目的端大量的QPS(每秒查询率)和带宽。因此,建议在迁移前先进行测试,以评估实际迁移过程中源端和目的端的QPS和带宽占用情况。如果占用率过高,请调整源端和目的端QPS和带宽限制,以确保对现有业务的影响最小化。 父主题: 存储迁移