检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
而是将它们显示为 “Infinity”(表示无限大)或 “-Infinity”(表示无限小)。这些值并不是有效的数字,因此在进行数值转换或计算时,可能会引发异常。 在校验过程中,Hive和Spark对这些无法表示的数值有默认的处理方式: 当数值为 Infinity 或 -Infinity
”,则填写“http://dt.cn-hongkong.maxcompute.aliyun-inc.com” sc_type A、B、C 计算资源类型,目前指定参数A, B, C。如果不指定,则按最小类型创建。 A:(8核32G内存,driverCores:2,executorC
理沟通,针对每种类别产品分别调整价格计算比例(优惠折扣)进一步优化华为云的使用成本。 在上云成本分析(凭证)任务列表,单击任务名称。 单击操作列的“产品对比”按钮,进入“产品对比”页面。 查看成本对比结果和产品价格对比,根据实际情况调整价格计算比例(优惠折扣)优化华为云的使用成本。
迁移工作流步骤执行失败,提示“server require to bind credenlial first ...”,如何处理? 问题分析 出现该提示是因为源端主机未在Edge设备上绑定凭证。 解决方案 请参考添加资源凭证和采集主机资源,在Edge设备上绑定源端主机凭证,并完成主机资源采集。
30天最大值以及平均值数据。 采集周期默认为7天,7天后会自动停止采集;采集周期内可以进行停止采集和重启采集操作;重启采集后,采集周期重新计算。 采集到的性能数据将保留180天,超期后会自动删除。 迁移工具Edge建议安装在独立主机上,避免与业务主机共用,以确保采集的稳定性和效率。
30天最大值以及平均值数据。 采集周期默认为7天,7天后会自动停止采集;采集周期内可以进行停止采集和重启采集操作;重启采集后,采集周期重新计算。 采集到的性能数据将保留180天,超期后会自动删除。 迁移工具Edge建议安装在独立主机上,避免与业务主机共用,以确保采集的稳定性和效率。
处理非常大的数值时,由于浮点数的精度限制,可能会导致实际存在的差异因为超出了Double类型能表示的有效位数而无法被感知到,从而使得差异率计算结果为0。 查看校验结果 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。在页面左上角的当前项目下拉列表中选择迁移项目。
”按钮,弹出选择迁移工具窗口。在下拉列表中,选择步骤3.与迁移中心连接成功的Edge。 在进行大数据校验时,请确保迁移工具Edge一直处于在线并启用状态。 在功能入口区域,单击“表管理”,进入表管理页面的表组页签。 单击“新增表组”,弹出新增表组窗口。根据新增表组参数说明,配置参数后,单击“确认”按钮,创建表组。
说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql.shuffle.partitions 200 为连接或聚合过滤数据时使用的默认分区数。
大数据数据迁移 数据迁移失败,提示超过DLI网管流控上限 部分表迁移失败,报错:CRC Check failed 部分表迁移失败,报错:no more field nodes for for field %s and vector %s
设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和迁移工具(Edge)所安装主机的计算资源。 参数配置完成后,单击“确认”按钮,创建元数据同步任务完成。 单击“采集任务”,进入元数据采集页面。在任务管理页签,可以查看已创建的
支持多种大数据组件的元数据迁移,元数据增量感知,数据全量及增量迁移。 支持区域: 全部 创建源端连接 创建目的端连接 迁移实施 大数据校验 迁移中心 MgC为多种大数据计算/存储引擎,如Hive、Hbase、Doris和MaxCompute等,提供了一致性校验方法。通过一致性校验,您可以更加放心地进行大数据迁
设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和迁移工具(Edge)所安装主机的计算资源。 自定义参数 可以通过自定义参数设置同步的特定表或分区、过滤条件等。 如果需要同步的是阿里云 EMR环境中的元数据,请添加如下参数:
获取方法:需要您根据需求自行获取并编译,方法请参考Spark Connector。 购买弹性资源池并添加队列 弹性资源池为DLI作业运行提供所需的计算资源(CPU和内存)。购买方法请参考创建弹性资源池。 创建完弹性资源池后,需要为弹性资源池分别添加一条通用队列和一条SQL队列,用于后续作业的运行。添加方法请参考添加队列。
如何配置采集Azure容器资源所需权限? 本节为您介绍使用MgC采集Azure容器资源时所需的必要权限配置方法。在采集Azure容器资源前,需要确保采集凭证所属的应用,在购买AKS资源的资源组和订阅里拥有如下权限: Microsoft.ClassicCompute/virtualMachines/read
请稍后重试,如果依然无法解决问题,请联系技术支持人员或提交工单。 MgC.00010024 向设备发送消息失败 请检查设备状态是否正常,确保设备为在线状态。 MgC.00020101 连接 huaweicloud api 失败,请检查网络 请检查网络连接是否正常,确保网络稳定后重试。 MgC
安装Linux版本 准备工作 建议在源端内网环境中准备一台用于安装Edge的Linux主机,并确保该Linux主机满足以下要求: 可以连接外网,并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名。 安全组的出方向规则中,需要包含8883端口。 操作系统为:CentOS
偏好设置(必选) 针对迁移到Flexus云服务器X实例的场景,建议选择“按性能负责调整”的规格调整。 虚拟机类型偏好(可选) 选择“通用计算型”。详细的推荐逻辑说明参见主机评估策略推荐逻辑说明。 虚拟机规格族偏好(可选) 选择期望的目的端主机规格族。 系统盘规格偏好(可选) 选择期望的目的端系统盘规格类型。
配置update_hosts_win.ps1脚本 根据提供的脚本示例,结合实际情况,修改示例中的相关配置。 前提条件 已完成准备工作。 操作步骤 在执行脚本的主机上创建一个名为“update_hosts_lwin.ps1”的文件,然后将以下脚本示例的内容复制到文件中。 # Configuration
配置rollback_hosts_win.ps1脚本 根据提供的脚本示例,结合实际情况,修改示例中的相关配置。 前提条件 已完成准备工作。 操作步骤 在执行脚本的主机上创建一个名为“rollback_hosts_win.ps1”的文件,然后将以下脚本示例的内容复制到文件中。 # Configuration