检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
根据对应的参数配置说明,配置所选的统计方式参数。 各组件之间配置参数略有区别,请以实际页面为准。 全量对数作业参数配置说明 日级增量对数参数配置说明 小时级增量对数参数配置说明 指定日期校验参数配置说明 指定时间校验参数配置说明 表1 全量校验参数配置说明 区域 参数 配置说明 基础信息
费用和华为云使用费用,为您云间迁移提供参考。 支持区域: 全部 创建分析任务 资源发现与采集 支持多种类的资源采集,包括:云平台、主机、数据库、容器、大数据、中间件等。通过对采集到的信息进行调研评估,为用户上云提供配置推荐和方案设计。 支持区域: 全部 资源发现与采集 手动添加资源
($newContent[-1] -eq '') { $newContent = $newContent[0..($newContent.Count - 2)] } # Write the new content back to the file $newContent
分别调整价格计算比例(优惠折扣)进一步优化华为云的使用成本。 在上云成本分析(凭证)任务列表,单击任务名称。 单击操作列的“产品对比”按钮,进入“产品对比”页面。 查看成本对比结果和产品价格对比,根据实际情况调整价格计算比例(优惠折扣)优化华为云的使用成本。 单击页面右上角“导出
风险项数量,右侧弹出资源详情窗口,在迁移风险页签,可以查看评估包含的所有项目以及各项目的参数说明和风险程度。 对于存在风险的项目,可以根据优化建议进行处理,处理完成后,在评估列表中,单击操作列的“评估”,可再次对该主机进行风险评估。 父主题: 迁移方案设计
timeout 否 单次采集持续时间,单位为s(秒),1<取值范围<period值,取整数,不设置默认为period值的一半。 max_count 否 每次最大采集量,取值范围≥1,取整数,不设置默认为1000条。 period 否 采集间隔时间,单位为m(分钟),1m≤取值范围≤30m,取整数,不设置默认为1m。
部分表迁移失败,报错:CRC Check failed 问题描述 进行大数据数据迁移时,部分表迁移失败,报错:CRC Check failed 解决方法 通过修改DLI作业中迁移sql,将源端timestamp字段类型转成String类型,进行数据迁移。 父主题: 大数据数据迁移
Hive校验的sum统计结果显示未达标 问题描述 对Hive进行大数据校验,Hive中的double字段保存的值为 1.7976931348623157E308 和 -1.7976931348623157E308 时 sum 统计结果显示未达标。 问题分析 使用spark-sql
创建目的端连接 创建目的端连接是为了将源端数据写入到华为云DLI。 使用须知 元数据迁移:只需要配置一条连接到DLI SQL队列的连接。 数据迁移:需要配置两条连接,分别为连接到DLI SQL队列的连接和连接到DLI通用队列的连接。 前提条件 已完成准备工作。 操作步骤 登录迁移中心控制台。
maxPartitionBytes 134217728 读取文件时要打包到单个分区中的最大字节数。 spark.sql.badRecordsPath - Bad Records的路径。 spark.sql.legacy.correlated.scalar.query.enabled false 该参数设置为true:
"Effect": "Allow" } ] } 图3 创建SMS-全局云服务策略 创建SMS-项目级云服务策略。输入自定义“策略名称”,策略配置方式选择“JSON视图”,将以下内容复制粘贴到策略内容中。 { "Version": "1.1"
查看评估推荐的服务器参数(镜像,磁盘)是否有遗漏,或联系MgC 技术支持人员,查看工作流数据库参数***是否为空。 SMS-Workflow.0102 配置参数 *** 有特殊字符 请联系MgC 技术支持人员,查看工作流数据库参数***是否有特殊字符。 SMS-Workflow.0103 PowerShell
DeltaLake(无元数据)迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 DeltaLake不存在元数据,无法通过数据湖元数据同步方式进
GetInstanceList调试,并根据返回的错误码定位问题原因,或联系阿里云技术支持人员。 调用阿里云RDS SDK失败。 请检查所用凭证和所选区域是否正确,或检查凭证所属账号是否开通阿里云RDS服务。 调用阿里云RDS schema SDK失败。 请参考阿里云资源管理产品文档进行API Descri
创建执行机连接 执行机是获取数据的任务执行单元,需要分别与源端和目的端的执行机建立连接,然后执行数据统计,统计结果将用于数据校验。 以下大数据组件需要通过创建执行机连接来进行数据校验: Hive Metastore Delta Lake(有元数据) Delta Lake(无元数据)
自定义参数说明 在目的端配置中,支持配置的自定义参数及说明请参见表1和conf参数说明。 表1 支持的自定义参数说明 参数名称 取值范围 说明 是否必填 spark.dli.metaAccess.enable - 填写true。 是 spark.dli.job.agency.name
创建表组并添加数据表 将源端数据表加入表组中,为后续对数作业做准备。 每次最多支持导入10,000张表。 待导入的表必须属于同一个元数据来源。 导入数据表时,系统不会校验数据表加入的分组数量和对数标准。为保持对数的准确性,建议同一数据表加入的分组不超过3个,并避免加入对数标准相同的分组。
存储类型介绍 各云厂商的对象存储服务针对用户业务对存储性能、成本的不同诉求,将对象的存储级别进行了区分,区分的普遍依据是对象的访问频度、访问时延、最低存储时间、最低存储单元、数据可靠性、数据可用性等。根据以上依据,华为云OBS提供了以下四种存储类型: 标准存储 访问时延低和吞吐量
exe”、“rda-collector-platform.exe”、“rda-collector-kubernetes.exe”、“rda-collector-database.exe” 的程序,分别选中后再单击结束任务。 图5 结束任务 通过运行脚本结束单个采集器插件程序(以停止采集插件 rda-storage-collector
委托权限说明 概述 当您启用特定功能时,需要您确认并同意授予必要的权限给MgC,以便我们能够为您提供完整的服务。本节为您介绍需要进行权限委托的场景以及自定义策略详情。 委托授权策略说明: 创建自定义策略:如果您尚未设定任何自定义的权限委托策略,系统会自动为您创建一个标准的自定义策略。