检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当集群超过30天未使用时会被回收(不会删除您的资源,但是集群将变为“已废弃”状态,且不支持恢复)。 迁移集群所包含的资源类型以及所有节点的安全组配置详细信息请查看资源类型和安全组配置说明。 费用说明 在创建迁移集群时,会产生以下费用: 创建Master节点、迁移节点和列举节点会产生ECS服务费用。具体计费详
根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 将MgC资源委托给更专业、高效的其他华为云账号或者云服务,这些账号或者云服务可以根据权限进行代运维。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用MgC服务的其它功能。
用于迁移前评估 容器(含深度采集) 采集项 说明 作用 id 编号 用于规格评估 name 名称 用于规格评估 credentialId 绑定的凭证ID 用于规格评估 collectInfo 采集器返回的原始信息 用于规格评估 collectError 采集出错时的错误信息 用于规格评估
分数据未完全迁移,而任务显示成功的现象,影响数据的完整性。为规避这一风险,请谨慎使用“不覆盖”策略。 直接覆盖 对于源端和目的端存在的同名文件,源端文件直接覆盖目的端文件。 条件覆盖 对于文件迁移:源端和目的端存在的同名文件,保留最后修改时间较新的文件;如果最后修改时间相同,比较
创建源端云服务连接 对大数据云服务数据进行一致性校验时,需要分别与源端和目的端云服务建立连接,用于数据查询和计算。 目前支持创建源端连接的大数据云服务包括: MaxCompute 阿里云云数据库ClickHouse 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数
输入源端云账号的访问密钥和私有密钥。请确保输入的AK、SK正确,并拥有源端桶的相应权限。 数据站点类型选择云平台时填写。 桶 输入源端需要迁移的桶名。 对象存储终端地址 输入源端桶所在区域的终端节点(Endpoint)信息。 桶类型 根据桶的实际类型选择。桶类型可以通过查看桶的基本信息获取。
Spark应用每个Executor的CPU核数。该配置项会替换“sc_type”中对应的默认参数。 numExecutors 1-100 Spark应用Executor的个数。该配置项会替换“sc_type”中对应的默认参数。 executorMemory 1-16 G Spark应用的Executor内存,参数配置例如:2G
输入的IP:步骤8.提示的端口号”,即可访问Edge的用户注册页面。例如:步骤7输入的IP为192.168.x.x,步骤8提示的端口号为27080,则Edge的访问地址为:https://192.168.x.x:27080。 如果遇到访问问题,请检查IP地址的准确性以及安装Edge的Linux主机安全组入网规则配置。
Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” 问题描述 对Hive进行大数据校验,校验任务执行成功,查看校验结果,发现部分字段的“源端数据”和“目的端数据”显示为“0”或“-1”。 问题分析 出现该问题可能是因为数值超出了Hive支持的数值范围。 在数据处理中,
关于OBS、NAS和SMB存储系统之间进行异构迁移的对象长度限制说明 在OBS、NAS和SMB存储系统之间进行异构迁移时,不同系统对文件夹和路径长度的限制存在不同。了解并遵守每个系统的对象长度限制是成功执行异构迁移的关键。根据具体的迁移方向,确保对象的路径长度符合目的端系统的要求,以避免迁移失败或数据不一致的问题。
安装Edge的主机有哪些要求? 安装Windows版本的主机要求如下: 可以连接外网(公网),并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名列表。 PowerShell 版本在3.0及以上。 推荐规格不小于4U8G。 安全组的出方向规则中,需要包含8883端口。
建议在源端内网环境中准备一台用于安装Edge的Windows主机,并确保该Windows主机满足以下要求: 可以连接外网(公网),并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名列表。 PowerShell 版本在3.0及以上。 推荐规格不小于4U8G。 安全组的出方向规则中,需要包含8883端口。
建议在源端内网环境中准备一台用于安装Edge的Windows主机,并确保该Windows主机满足以下要求: 可以连接外网(公网),并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名列表。 PowerShell 版本在3.0及以上。 推荐规格不小于4U8G。 安全组的出方向规则中,需要包含8883端口。
系统兼容性列表 支持迁移的操作系统列表,请参见兼容性列表。 主机迁移重要声明 了解迁移过程中的重要信息和免责声明,详情请参见主机迁移服务重要声明有哪些? 约束与限制 确保迁移过程符合服务条款和限制条件,详情请参见主机迁移约束与限制。 计费说明 了解迁移过程中可能产生的费用,详情请参见计费说明。
在待迁移桶列表中,单击每一行操作列的“导入前缀”,弹出导入前缀窗口。将该桶对应的前缀列表文件上传后,单击“确认”按钮。 完成所有待迁移桶的凭证绑定和前缀列表导入后,单击“下一步”,进行目的端配置。 单击每一行操作列的“修改”,选择目的端凭证和目的端桶,输入目的端前缀(可选),单击“保存”。 所有资源的目的端
导入阿里云主机资源清单仅支持上传UTF-8编码且为中文表头的CSV文件,本节介绍将CSV文件的编码格式修改UTF-8编码的方法。 方法一(适用于Windows操作系统) 选择csv文件,鼠标右键,打开方式选择“记事本”。 在记事本窗口左上角选择“文件 > 另存为”,在弹出的“另存为”窗口中,找到编码下拉菜单,选择“UTF-8”,然后保存即可。
行脚本的主机通过SSH协议进行连接。 SSH访问权限设置 SSH服务配置:确保所有源端主机上的SSH服务已启用并运行正常。大多数Linux服务器发行版默认启用SSH服务。 SSH密码认证:确保所有源端主机的SSH服务已配置为接受密码认证,以便脚本可以使用CSV文件中提供的密码进行自动登录。
localhost Opened Microsoft.PowerShell 如果配置失败,请参考 PowerShell 帮助文档中的 about_Remote_Troubleshooting 获取解决方案。 父主题: 常见问题
选择在完成准备工作时与迁移中心连接成功的Edge。 阿里云凭证 选择完成准备工作时,在Edge侧添加的阿里云(AK/SK)凭证。 项目名称 输入待迁移数据所在的MaxCompute项目名称。项目名称可在MaxCompute控制台的项目管理中获取。 Endpoint 输入MaxCompute服务所在地域的VPC网络Endpoint信息。
保留CSV文件中的第一行不变,从第二行开始,每行填写一个表的迁移信息,格式为“{MC项目名},{表名}”,其中MC项目名代表MaxCompute项目名称,表名代表具体的表名称。 须知: 每行的“MC项目名”和“表名”之间使用英文逗号隔开,不要使用空格或其他分隔符。 每添加完一个表的信息后,使用回车键换行。