检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
sh 无 功能类 getNetCards.sh /Edge/tools/plugins/collectors/rda-collector-server/shell 是 查询网卡信息 sh getNetCards.sh 无 功能类 getNetcardsInfo.sh /Edge/to
DLI表分区为空或者分区不存在时需要通过查询DLI的元数据去判断分区存不存在。 true:查询DLI表的分区,空分区效验状态为成功,分区不存在状态为失败。 false:不查询DLI表的分区,空分区或者分区不存在效验状态都为成功 spark.sql.files.maxRecordsPerFile
执行脚本后报错:连接到远程服务器失败,且登录凭证信息正确 问题现象 执行脚本后报错,错误信息为“[ERROR] Failed to update hosts on xxx.xxx.x.xx: [xxx.xxx.x.xx] 连接到远程服务器 xxx.xxx.x.xx 失败有关详细信息,请参阅
大数据节点类型 用于迁移前评估 数据库(含深度采集) 采集项 说明 作用 id ID 用于迁移前评估 name 数据库名称 用于迁移前评估 connectAddress 连接地址 用于迁移前评估 dbType 数据库类型 用于迁移前评估 dbName 数据库名称 用于迁移前评估 dbVersion
一个可用于访问MgC的IAM用户,并获取账号/IAM用户的访问密钥(AK/SK)。获取方法请参考准备工作。 创建迁移项目: 在MgC控制台为本次迁移创建独立的项目,方法请参见项目管理。 操作步骤 下载并安装迁移工具Edge。 在源端内网环境中准备一台Windows主机,用于安装迁
端规格配置是根据源端规格配置和评估策略推荐的华为云对应规格配置,成本预估是华为云推荐规格所需费用;单击主机资源操作列的“更多>更改目的端规格”,可以修改目的端主机规格、磁盘存储类型和资源总用量。 步骤四:创建可用区迁移工作流 完成已上步骤一~步骤三的操作后,即可创建跨可用区迁移工作流。
PID 为 之前获取到的Edge程序pid,在命令提示符返回的内容中,可查看生效的JVM参数。 图2 命令提示符 Linux系统 以下步骤以centos8,采集器rda-collector-server为例。 启动脚本位置。 Edge安装目录(默认为/opt/cloud/Edge),进入目录
您的账号ECS配额不足,当前工作流所需新建的ECS配额为x,账号剩余配额为y。 请释放不需要的ECS配额或者提工单向ECS服务申请增加账号配额。 SMS-Workflow.0309 您的账号CPU配额不足,当前工作流所需新增的CPU配额为x,账号剩余配额为y。 请释放不需要的资源或者提工单向ECS服务申请增加账号配额。
场景一: 由于元数据中的mtime(修改时间)属性引起的校验失败。当启用元数据保留迁移,且目的端存储为PFS桶时,如果源端对象的元数据包含mtime(修改时间),由于PFS桶中mtime代表最后修改时间,那么当源端对象迁移到目的端后实际修改时间晚于mtime,在这种情况下,系统
接口域名。这通常涉及到在每台源端主机上编辑hosts文件。如果迁移的主机数量众多,手动编辑将非常耗时。为了简化这一过程,我们提供了一个批量修改的脚本示例。您可以利用这个脚本,快速地将域名解析IP批量推送到所有源端主机的hosts文件中。 脚本说明 脚本是基于Shell语言开发,仅
接口域名。这通常涉及到在每台源端主机上编辑hosts文件。如果迁移的主机数量众多,手动编辑将非常耗时。为了简化这一过程,我们提供了一个批量修改的脚本示例。您可以利用这个脚本,快速地将域名解析IP批量追加写入到所有源端主机的hosts文件中。 脚本说明 脚本是基于Powershel
(字母和数字)”,也可以自定义名称。 元数据连接 选择步骤8.创建的元数据连接。 数据库(可选) 填写需要进行元数据同步的数据库名称,如果有多个数据库,库名之间用逗号隔开。不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可
凭据,该凭证必须为json格式文件,且大小不能超过4KB。 ID/密钥适用于添加Azure平台凭证。添加凭证所需的信息获取方法请参见如何获取添加Azure凭证所需的信息。 私有云 用户名/密码 输入源端私有云的登录用户名、密码。 数据库 用户名/密码 输入数据库的登录用户名、密码。
各地域Endpoint信息请参考Endpoint对照表。 表11 阿里云云数据库ClickHouse连接参数配置说明 参数 配置说明 所属源 仅需在源端创建元数据连接。 连接名称 默认创建名称为“阿里云云数据库ClickHouse-4位随机数(字母和数字)”,也可以自定义名称。 迁移工具
的端桶所在区域为华北-北京四,则输入“obs.cn-north-4.myhuaweicloud.com”。 说明: 可在OBS桶的基本信息查看。 指定前缀 将对象迁移到指定前缀,例如:源端对象路径为/A/B/C.txt,目的端前缀配置为/D,迁移后目的端对象路径为/D/A/B/C
C内,可以填写私有IP,否则需要填写公网IP。 端口 主机开放端口。 Windows主机默认为5985端口,无法修改。 Linux主机默认22端口,可根据实际情况修改。 凭证 选择源端主机凭证,如未提前在Edge上添加源端主机凭证,请前往Edge控制台添加,并同步至迁移中心。 添
对于源端和目的端存在的同名文件,源端文件直接覆盖目的端文件。 条件覆盖 对于文件迁移:源端和目的端存在的同名文件,保留最后修改时间较新的文件;如果最后修改时间相同,比较文件大小,大小不同则源端覆盖目的端文件;如果最后修改时间和大小都相同,则跳过; 对于文件夹迁移:当文件迁移完成后再比对文件夹大写、时间和权限,如
持人员。 修改数据源名称失败。 刷新采集项列表查看该数据源是否存在,或联系技术支持人员。 重新采集失败。 刷新采集项列表查看该采集项是否存在,或联系技术支持人员。 数据源配置错误。 检查数据源配置是否正确。 重新采集数据源失败。 请检查采集方式是否为API采集,且状态为已完成。 删除数据源失败。
大数据校验概述 迁移中心 MgC为多种大数据计算/存储引擎,如Hive、Hbase、Doris和MaxCompute等,提供了一致性校验方法。通过一致性校验,您可以更加放心地进行大数据迁移操作,确保数据的准确性和可靠性,从而避免了数据丢失或不一致的风险。 校验方式说明 全量校验:
c01”,填写的文件夹为“/test”,则日志文件存放路径为:obs://mgc01/test/bigdata/task/日期/任务实例ID/日志文件;内容校验结果存放路径为:obs://mgc01/test/bigdata/task/任务实例ID/数据库名/表名/内容校验结果文件