检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive校验的sum统计结果显示未达标 问题描述 对Hive进行大数据校验,Hive中的double字段保存的值为 1.7976931348623157E308 和 -1.7976931348623157E308 时 sum 统计结果显示未达标。 问题分析 使用spark-sql
单击“确认”,公网发现任务创建完成,系统开始自动发现步骤4任务配置所选区域内的主机资源。 您可以在资源采集页面的“资源列表”,单击主机资源的资源数量,进入资源列表页面的主机页签。 在资源采集页面,单击任务总数后的“查看”,进入任务列表页面,查看任务状态。如果任务状态为“失败”,单击操作
collectors\app-discovery-process-netstat\config\rules.properties 须知: 建议使用采集器提供的默认规则文件进行采集,如果需要自定义采集规则,请在默认规则文件基础上进行修改。 interval 否 采集间隔时间,单位为
步骤二:创建增量迁移工作流 在全量迁移完成后,再创建增量迁移工作流,进行多次增量数据迁移,以减少数据差异。 步骤三:灰度切流(可选) 在条件允许的情况下,建议进行灰度切流,即部分业务切换到目的端,以验证业务的连续性和数据一致性。 步骤四:业务割接 在多次增量迁移后,确定一个可接受的最后一次增量迁移时间窗,用于最终的业务割接。
maxPartitionBytes 134217728 读取文件时要打包到单个分区中的最大字节数。 spark.sql.badRecordsPath - Bad Records的路径。 spark.sql.legacy.correlated.scalar.query.enabled false 该参数设置为true:
资源类型和安全组配置说明 本文介绍创建迁移集群所包含的资源类型以及所有节点的安全组配置。 迁移集群包含的资源类型和介绍 资源类型 创建时可配置 是否必须 规格数量 名称 描述 ECS 是 是 Master节点:1台 迁移节点:根据创建集群时的参数配置创建 列举节点:根据创建集群时的参数配置创建 “oms_cluster_ecs_”
勾选高级配置后的“现在配置”,打开高级配置项。 单击“是否调整分区”配置项后面的“调整磁盘分区”按钮,弹出磁盘分区调整窗口。 根据工作流配置的目的端规格,调整目的端磁盘大小、数量以及分区大小,确保调整后与工作流配置的目的端规格一致。 图1 Linux磁盘分区调整 Linux支持LVM调整,可以选择物理卷和逻辑卷是否迁移以及调整大小。
推荐规格不小于4U8G。 安全组的出方向规则中,需要包含8883端口。 关闭该主机上的杀毒、防护类软件,该类软件会拦截Edge的执行,导致迁移工作流执行失败。 不建议将Edge安装在源端待迁移的主机上,主要原因包括: 资源消耗:Edge在采集和迁移运行过程中会消耗CPU和内存资源。在迁移任务量大时,这可能会对源端的业务运行造成影响。
一个可用于访问MgC的IAM用户,注册华为账号以及创建IAM用户的方法请参考准备工作。 创建项目 在MgC控制台为本次采集创建独立的项目(建议创建简单项目),方法请参考项目管理。 AWS账号凭证准备 提前获取待采集资源所属AWS账号的AK/SK,方法请参考获取AWS访问密钥(Access
大小等性能规格。 本文介绍在应用详情内,对应用中的主机资源进行性能采集的操作方法。 使用须知 开始采集后,默认每5分钟进行一次数据采集。 建议采集时长≥1小时,若采集时长不足,将无法获取7天和30天最大值以及平均值数据。 采集周期默认为7天,7天后会自动停止采集;采集周期内可以进
lectors\app-discovery-application-config\config\rules.properties 须知: 建议使用采集器提供的默认规则文件进行采集,如果需要自定义采集规则,请在默认规则文件基础上进行修改。 path 是 填写应用配置文件(yaml文件)的存储路径。
discovery-collectors\app-discovery-nacos\config\rules.properties 须知: 建议使用采集器提供的默认规则文件进行采集,如果需要自定义采集规则,请在默认规则文件基础上进行修改。 password 是 填写登录用户名对应的密码。
pp-discovery-mongodb-xxx.csv。 ssl_ca_file 否 使用SSL连接,填写CA证书文件(.pem)路径。建议使用一组特定的CA证书,而不是由知名机构颁发签署的服务器证书。 ssl_client_private_key_password 否 如果证
采集任务状态为成功后,需要进行源端迁移准备度检查,确定源端主机是否满足迁移条件。 在源端内网环境中安装Edge工具并完成注册。 在资源采集页面的资源列表,单击主机或主机的资源数量,进入资源列表页面的主机页签。 勾选待迁移的主机,单击列表上方的关联到应用,选择创建的应用,单击确定。 在列表上方选择“目标场景>主机迁移
中国大陆,按量优惠取最贵收费,若存在冗余存储而官方存储类型未区分取非冗余储存价格,单位:元。 下表中不存在的云厂商存储类型可能会迁移失败,建议手动解冻后再迁移至OBS。 表1 各云厂商的存储类型和华为云的存储类型转换关系 源端云厂商 OBS标准存储(0.099|0.01|0.01)
以下使用须知内容。 项目 须知 源端下载带宽 用于源端服务器下载迁移Agent。 推荐带宽:每台机器不低于30 Mbits/s。 共用带宽建议:若多台机器共用,平均不低于50 Mbit/s。 迁移带宽 重要性:影响数据传输速度和迁移时间。 推荐值与预估时长:详情请参见迁移需要多长时间?
节点创建 Master节点ECS规格 用于管理迁移节点和列举节点。 节点数量为1,无法修改。 迁移节点ECS规格 迁移节点用于执行迁移和对比的动作,推荐规格8U16G。 规格选定后,后续无法更改。 设置的节点数量需要同时满足如下要求: 迁移节点数+列举节点数+1 ≤100 迁移节点数+列举节点数+1
MaxCompute参数 非必填参数,一般为空。如有需要,可参考MaxCompute参数文档进行配置。 数据范围 按库筛选 即按项目筛选,在数据库参数框中输入项目名即可。如果数据库中有不需要迁移的表,可以下载CSV格式的“排除表”模板,参考b.~e.在模板中添加不需要迁移的表信息,然后上传至MgC。
集,获取源端主机性能负载数据,再通过设置数据处理规则,推荐满足条件的CPU核数、内存大小。 须知: 采集的性能数据越多,推荐的规格越准确,建议主机性能采集时长不少于7天。 容器资源可以设置“集群类型”、“集群版本”、“容器网络模型”等规格配置,推荐满足规格配置的集群资源。 配置完
优先级设置 价格优先 推荐的目的端规格在满足要求的前提下尽量节约成本。 偏好设置(必选) 针对迁移到Flexus云服务器X实例的场景,建议选择“按性能负责调整”的规格调整。 虚拟机类型偏好(可选) 选择“通用计算型”。详细的推荐逻辑说明参见主机评估策略推荐逻辑说明。 虚拟机规格族偏好(可选)