检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SON格式的策略内容。 具体创建步骤请参见:创建自定义策略。本章为您介绍常用的MgC自定义策略样例。 MgC自定义策略样例 平台采集、资源管理 { "Version": "1.1", "Statement": [ {
在校验过程中,Hive和Spark对这些无法表示的数值有默认的处理方式: 当数值为 Infinity 或 -Infinity 时,会被默认处理并显示为 -1。 当数值为 NaN(Not a Number,非数字)时,会被默认处理并显示为 0。 父主题: 大数据校验
单文件SQL条数:每个需要校验的表会产生一条SQL用以获取数据摘要,每批提交给集群处理的数据文件中所包含的SQL条数。默认为10,推荐取值范围:1~50。 超时时间:每个SQL语句在大数据集群上执行时的最大允许时长,单位为秒(s)。默认为600,推荐取值范围:600~ 7200。 发送SMN通知:选择是否使用SMN消
SON格式的策略内容。 具体创建步骤请参见:创建自定义策略。本章为您介绍常用的MgC自定义策略样例。 MgC自定义策略样例 平台采集、资源管理 { "Version": "1.1", "Statement": [ {
已导入应用关联文件或导入工具采集结果。 查看技术架构图 在应用管理页面,单击应用框中的“技术架构图”,可以查看所有服务、微服务、资源的矩阵图。 选择服务,单击鼠标右键,可以查看该服务的技术架构图、服务依赖图和包含的微服务列表。 查看应用列表 在应用管理页面的应用列表,可以查看项目下的所有应用。通过
Spark应用每个Executor的CPU核数。该配置项会替换“sc_type”中对应的默认参数。 numExecutors 1-100 Spark应用Executor的个数。该配置项会替换“sc_type”中对应的默认参数。 executorMemory 1-16 G Spark应用的Executor内存,参数配置例如:2G
app-discovery-k8s\config\rules.properties 须知: 建议使用采集器提供的默认规则文件进行采集,如果需要自定义采集规则,请在默认规则文件基础上进行修改。 config_path 是 填写配置文件(yaml文件)的存储路径。 注意: 配置文件所
Excel编辑并保存的模板文件无法被MgC识别。 DLI队列连接选择 元数据迁移和数据迁移需要使用不同的DLI队列连接,元数据迁移需要使用DLI SQL队列连接,数据迁移需要使用DLI 通用队列连接。配置错误的队列连接类型会导致迁移任务失败,因此在配置任务时,必须仔细检查并确保任务类型与队列类型相匹配。
Spark应用每个Executor的CPU核数。该配置项会替换“sc_type”中对应的默认参数。 numExecutors 1-100 Spark应用Executor的个数。该配置项会替换“sc_type”中对应的默认参数。 executorMemory 1-16 G Spark应用的Executor内存,参数配置例如:2G
overy-k8s-pod-net\config\rules.properties 须知: 建议使用采集器提供的默认规则文件进行采集,如果需要自定义采集规则,请在默认规则文件基础上进行修改。 period 是 采集间隔时间,单位为s(秒)/m(分钟),1s<取值范围≤30m,取整数。
业务架构调研:通过业务架构调研问卷,全面掌握业务需求与挑战,精准定位业务痛点,评估迁移风险,科学制定迁移计划,确保迁移项目的高成功率 运维架构调研 登录迁移中心管理控制台。 单击左侧导航栏“调研 > 上云调研”,进入“上云调研”页面。在页面左上角的当前项目下拉列表中选择迁移项目。 选中问卷调研框,单击“运
创建用户组并授权中创建的用户组。 当IAM用户首次使用MgC的特定功能时,需要通过以下两种方式授予委托权限: 推荐方式:请管理员登录MgC控制台,进入相关功能界面,同意相关委托权限。 备选方式:请管理员登录“统一身份认证服务 IAM”服务,为当前IAM用户配置创建委托所需的权限,确保其拥有MgC相关系
创建用户组并授权中创建的用户组。 当IAM用户首次使用MgC的特定功能时,需要通过以下两种方式授予委托权限: 推荐方式:请管理员登录MgC控制台,进入相关功能界面,同意相关委托权限。 备选方式:请管理员登录“统一身份认证服务 IAM”服务,为当前IAM用户配置创建委托所需的权限,确保其拥有MgC相关系
大数据数据迁移 使用须知 准备工作 创建源端连接 创建目的端连接 迁移实施 查看并导出执行结果 自定义参数说明 父主题: 旧版
Excel编辑并保存的模板文件无法被MgC识别。 DLI队列连接选择 元数据迁移和数据迁移需要使用不同的DLI队列连接,元数据迁移需要使用DLI SQL队列连接,数据迁移需要使用DLI 通用队列连接。配置错误的队列连接类型会导致迁移任务失败,因此在配置任务时,必须仔细检查并确保任务类型与队列类型相匹配。
大数据数据迁移(MaxCompute迁移到DLI) 大数据迁移概述 使用须知 准备工作 创建源端连接 创建目的端连接 创建迁移任务 查看并导出执行结果 自定义参数说明 父主题: 新版
Agent会占用源端主机上的一些端口,也可能会对源端业务产生影响。 安装完成并注册用户后,将MgC Agent与迁移中心进行连接,方法请参考连接迁移中心。 连接成功后,需要在MgC Agent上添加源端待迁移主机凭证,凭证的添加方法请参考添加资源凭证。资源类型请根据实际情况选择“W
大数据校验 新增大数据校验数据连接时,凭证列表数据缺失 Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” Hive校验的sum统计结果显示未达标 DLI校验任务出现大量失败表 Delta 数据量较大时,如何优化校验任务? 创建HBase目的端连接安全集群下的换包操作指南 MRS
问题分析 出现该问题的原因为接入端口不正确。 解决方法 检查迁移准备度配置参数中的“端口”填写是否正确。Windows主机默认为5985端口,Linux主机默认22端口,可根据实际情况修改。 如果端口填写错误,请修改为正确端口后重试。 如果端口填写正确,请继续执行步骤2.。 在安装MgC
再重新操作。授权成功后,设置以下参数: 从KMS密钥中选择 在下拉菜单中选择密钥名称。您可以选择使用的密钥如下: 默认密钥: 成功授权EVS访问KMS,系统会创建默认密钥“evs/default”。 自定义密钥: 即您已有的密钥或者新创建密钥,创建方式请参见创建密钥。 输入KMS密钥ID