检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
景: 场景一: 由于元数据中的mtime属性引起的校验失败。在对象存储数据迁移过程中,如果启用了元数据保留迁移,且目的端存储为PFS桶,可能会因为源端对象的元数据中包含mtime属性而导致校验失败。这是因为对象存储中的mtime属性(自定义)与PFS桶中的mtime属性(最后修改
Spark应用每个Executor的CPU核数。该配置项会替换“sc_type”中对应的默认参数。 numExecutors 1-100 Spark应用Executor的个数。该配置项会替换“sc_type”中对应的默认参数。 executorMemory 1-16 G Spark应用
K8S静态采集器(app-discovery-k8s) 用于采集k8s集群中的ingress,service,configMap等信息。参数配置说明参见表1。 表1 k8s静态采集器参数配置说明 参数 必填 配置说明 output_path 否 自定义采集结果(app-discovery-k8s-xxx
owerShell。步骤5.~7.均在安装MgC Agent的主机上执行。 配置信任主机。 在PowerShell中执行如下命令,将源端服务器加入到信任的host中。 winrm set winrm/config/client '@{TrustedHosts="*"}' 出于安全
sh脚本 根据提供的脚本示例,结合实际情况,修改示例中的相关配置。 前提条件 已完成准备工作。 操作步骤 在执行脚本的主机上创建一个名为“update_hosts_linux.sh”的文件,然后将以下脚本示例的内容复制到文件中。如果您已经通过SSH连接到源端Linux主机,可以直
Spark应用每个Executor的CPU核数。该配置项会替换“sc_type”中对应的默认参数。 numExecutors 1-100 Spark应用Executor的个数。该配置项会替换“sc_type”中对应的默认参数。 executorMemory 1-16 G Spark应用
sh脚本 根据提供的脚本示例,结合实际情况,修改示例中的相关配置。 前提条件 已完成准备工作。 操作步骤 在执行脚本的主机上创建一个名为“rollback_hosts_linux.sh”的文件,然后将以下脚本示例的内容复制到文件中。如果您已经通过SSH连接到源端Linux主机,可以
Identity and Access Management,简称IAM),通过IAM,您可以: 根据企业的业务组织,在您的华为云账号中,给企业中不同职能部门的员工创建IAM用户,让员工拥有唯一安全凭证,并使用MgC资源。 根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。
Identity and Access Management,简称IAM),通过IAM,您可以: 根据企业的业务组织,在您的华为云账号中,给企业中不同职能部门的员工创建IAM用户,让员工拥有唯一安全凭证,并使用MgC资源。 根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。
逻辑架构 MgC Agent作为MgC部署在客户云环境网络边缘的工具,其主要作用是执行数据采集和数据迁移。在特定的迁移场景中,这些操作需要在客户自己的云网络环境中执行,MgC Agent扮演着连接MgC和客户网络的桥梁角色,确保数据迁移过程的顺畅和安全。 MgC Agent在大数据
IAM是华为云提供权限管理的基础服务,无需付费即可使用,您只需要为您账号中的资源进行付费。关于IAM的详细介绍,请参见《IAM产品介绍》。 MgC权限 默认情况下,新建的IAM用户没有任何权限,您需要将其加入用户组,并给用户组授予策略或角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。授权后,
Check failed 问题描述 进行大数据数据迁移时,部分表迁移失败,报错:CRC Check failed 解决方法 通过修改DLI作业中迁移sql,将源端timestamp字段类型转成String类型,进行数据迁移。 父主题: 大数据数据迁移
RabbitMQ采集器(app-discovery-rabbitmq) 通过连接到RabbitMQ管理插件,获取RabbitMQ节点列表、版本、队列以及队列中的消费者endpoint等信息。参数配置说明参见表1。 表1 RabbitMQ采集器参数配置信息 参数 必选 配置说明 output_path
主机迁移网络要求和配置 背景说明 主机迁移过程中主要涉及的流量分为两部分:控制流和数据流。 控制流:控制流是指源端主机与云服务管理面之间的通信。为确保迁移过程的顺利进行,需要检查源端主机出方向是否有限制,并确保源端主机能够访问迁移过程中依赖的云服务,包括SMS、IAM、ECS、EVS、VPC、IMS等服务的域名。
迁移中心当前免费使用,但在进行工作流迁移时,会产生其他相关服务的费用。 主机迁移计费说明 在进行主机迁移过程中,会产生少量其他服务费用,详情请参见SMS计费说明。 对象存储迁移计费说明 在进行对象存储迁移过程中,会产生华为云OBS、源端云厂商API请求费用,详情请参考OMS计费说明。 创建迁移集群计费说明
迁移完成后,目的端主机有磁盘处于未挂载状态。 问题分析 MgC主机迁移工作流在迁移过程中,首先系统会采集源端主机的磁盘挂载信息,并根据源端的磁盘挂载情况在目的端创建相应的磁盘配置。但在实际迁移时,只会迁移源端已挂载、已使用且文件系统兼容的磁盘。因此,在迁移过程中目的端主机只挂载了满足迁移条件的磁盘,而未使用或文件
大小写是否相同。 不覆盖:一旦目的端文件系统中已存在同名对象,即使源端有大小写差异的同名对象,这些对象也会被跳过,不再迁移。 直接覆盖:后续同名(即使大小写不同)的对象将覆盖目的端文件系统中之前迁移的同名对象。最终,在目的端文件系统中只保留最后迁移的同名对象。 条件覆盖:对于后续
出现该问题,是因为选择的目的端规格仅支持Linux镜像。 解决方法 重新选择支持Windows镜像的目的端规格。选择目的端规格后,可以在镜像下拉列表中,查看是否有符合的镜像类型。 父主题: 规格评估
迁移对源端和目的端有什么要求? 迁移会占用源端和目的端大量的QPS(每秒查询率)和带宽。因此,建议在迁移前先进行测试,以评估实际迁移过程中源端和目的端的QPS和带宽占用情况。如果占用率过高,请调整源端和目的端QPS和带宽限制,以确保对现有业务的影响最小化。 父主题: 存储迁移
Hive校验的sum统计结果显示未达标 问题描述 对Hive进行大数据校验,Hive中的double字段保存的值为 1.7976931348623157E308 和 -1.7976931348623157E308 时 sum 统计结果显示未达标。 问题分析 使用spark-sql