检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
适的华为云主机规格,帮助用户一站式大批量发起迁移任务。 主机跨可用区迁移 迁移中心支持AZ间迁移场景,并提供AZ迁移工作流模板,帮助您高效、可视化的完成AZ间的资源迁移和业务切换。 存储迁移 通过独立专享迁移集群以及配置迁移专线,简单、快捷实现对象存储、文件存储一站式上云,提升上云效率。
Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” Hive校验的sum统计结果显示未达标 DLI校验任务出现大量失败表 Delta 数据量较大时,如何优化校验任务? 创建HBase目的端连接安全集群下的换包操作指南 MRS 3.1.0版本普通集群使用YARN模式的换包操作指南
元数据迁移与库的数量 在进行元数据迁移时,MgC会根据识别到的源端数据库的数量,在DLI中自动创建相应的库。如果是整库迁移,通常只会创建一个库;而表迁移可能需要创建多个库。通常,DLI的库数量上限为10。如果DLI空间不足,可能会导致元数据迁移失败,因此在元数据迁移前,需要评估
dynamicPartitionOverwrite.enabled false 当前配置设置为“false”时,DLI在覆盖写之前,会删除所有符合条件的分区。例如,分区表中有一个“2021-01”的分区,当使用INSERT OVERWRITE语句向表中写入“2021-02”这个分区的数据时,会把“2021-01”的分区数据也覆盖掉。
dynamicPartitionOverwrite.enabled false 当前配置设置为“false”时,DLI在覆盖写之前,会删除所有符合条件的分区。例如,分区表中有一个“2021-01”的分区,当使用INSERT OVERWRITE语句向表中写入“2021-02”这个分区的数据时,会把“2021-01”的分区数据也覆盖掉。
主机。 当前仅支持Linux主机磁盘缩容,需确保缩容后容量大于源端实际使用量。 跨可用区迁移场景仅支持扩容,即使配置缩容,系统也会自动创建一个与源端磁盘容量相同的目的端磁盘。 单击“确认”。目的端绑定成功后,该主机资源绑定目的端列的状态会变为“已绑定”,单击“详情”可以查看绑定的
主机。 当前仅支持Linux主机磁盘缩容,需确保缩容后容量大于源端实际使用量。 跨可用区迁移场景仅支持扩容,即使配置缩容,系统也会自动创建一个与源端磁盘容量相同的目的端磁盘。 单击“确认”。目的端绑定成功后,该主机资源绑定目的端列的状态会变为“已绑定”,单击“详情”可以查看绑定的
/test/bigdata/task/任务实例ID/数据库名/表名/内容校验结果文件 如果不指定文件夹(不填写),系统将在日志桶内自动创建一个名为“bigdata”的默认文件夹。 日志文件存放路径为:obs://桶名/bigdata/task/日期/任务实例ID/日志文件。 内容
在完成MRS到MRS集群数据迁移后,如果源端和目的端都使用YARN模式进行校验,需要分开执行校验任务,确保一个任务执行完成后才能执行另一个任务。 在进行对数任务时,不支持使用 MRS 3.3.0 及以上版本集群节点的ECS作为执行机,会导致对数任务执行失败。 约束与限制 创建EMR Delta Lake到MRS
配置rollback_hosts_win.ps1脚本 根据提供的脚本示例,结合实际情况,修改示例中的相关配置。 前提条件 已完成准备工作。 操作步骤 在执行脚本的主机上创建一个名为“rollback_hosts_win.ps1”的文件,然后将以下脚本示例的内容复制到文件中。 # Configuration # Path
配置update_hosts_win.ps1脚本 根据提供的脚本示例,结合实际情况,修改示例中的相关配置。 前提条件 已完成准备工作。 操作步骤 在执行脚本的主机上创建一个名为“update_hosts_lwin.ps1”的文件,然后将以下脚本示例的内容复制到文件中。 # Configuration # Path
转换CSV文件编码为UTF-8 导入阿里云主机资源清单仅支持上传UTF-8编码且为中文表头的CSV文件,本节介绍将CSV文件的编码格式修改UTF-8编码的方法。 方法一(适用于Windows操作系统) 选择csv文件,鼠标右键,打开方式选择“记事本”。 在记事本窗口左上角选择“文件
8.15.7,目的端华为云的ClickHouse版本为23.3.2.37,由于这两个版本在处理IPv4和IPv6字段类型以及相关函数计算结果上存在差异,因此无法进行字段校验。 在执行Hive数据的日级别增量、小时级增量以及指定日期的校验时,如果分区字段为date类型,且分区值的格式
因此,在迁移过程中目的端主机只挂载了满足迁移条件的磁盘,而未使用或文件系统不兼容的磁盘则会被剥离,处于“未挂载”状态。 解决方案 参考为ECS挂载磁盘,手动将未挂载的磁盘,挂载回目的端主机。 父主题: 主机迁移工作流
迁移集群规格:如果迁移集群的规格小于推荐规格(8U16G)可能会因处理能力不足,成为迁移速度的制约因素。 建议:提升集群规格配置或增加计算资源(如ECS实例)。 系统性能管理:在迁移期间,系统的性能资源(如CPU、内存)可能会被被其他任务占用,从而影响迁移速度。 建议:在迁移期间,对占用系
cn-south-1.myhuaweicloud.com:443 ECS服务 源端需要访问的域名取决于实际的目的端Region,各Region域名可查看终端节点。 例如,目的端为华南-广州,则域名为:https://ecs.cn-south-1.myhuaweicloud.com:443
应资源规格,支持导出评估结果。 迁移工作流模板 迁移中心 MgC内置了由最佳实践总结而来的迁移工作流模板,包含主机大批量迁移模板、AZ间ECS迁移模板以及存储数据迁移模板,用户可以根据不同迁移场景,选择合适的迁移模板构建迁移工作流,还可以插入自定义迁移阶段和步骤,支持一键式运行和实时监控迁移进展。
创建用户并授权使用MgC 如果您需要对您所拥有的MgC进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),通过IAM,您可以: 根据企业的业务组织,在您的华为云账号中,给企业中不同职能部门的员工创建IAM用户
创建用户并授权使用MgC 如果您需要对您所拥有的MgC进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),通过IAM,您可以: 根据企业的业务组织,在您的华为云账号中,给企业中不同职能部门的员工创建IAM用户
在集群列表中,单击操作列的“管理”,右侧弹出集群详细信息页面。 在节点信息区域,单击“新增节点>迁移节点”,弹出添加节点页面。 根据实际需求,选择节点的ECS规格,并输入需要增加的节点数量,节点数量需要同时满足如下要求: 迁移节点数+列举节点数+1 ≤100 迁移节点数+列举节点数+1 ≤子网可用IP数