检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
已导入应用关联文件或导入工具采集结果。 查看技术架构图 在应用管理页面,单击应用框中的“技术架构图”,可以查看所有服务、微服务、资源的矩阵图。 选择服务,单击鼠标右键,可以查看该服务的技术架构图、服务依赖图和包含的微服务列表。 查看应用列表 在应用管理页面的应用列表,可以查看项目下的所有应用。通过
Spark应用每个Executor的CPU核数。该配置项会替换“sc_type”中对应的默认参数。 numExecutors 1-100 Spark应用Executor的个数。该配置项会替换“sc_type”中对应的默认参数。 executorMemory 1-16 G Spark应用的Executor内存,参数配置例如:2G
app-discovery-k8s\config\rules.properties 须知: 建议使用采集器提供的默认规则文件进行采集,如果需要自定义采集规则,请在默认规则文件基础上进行修改。 config_path 是 填写配置文件(yaml文件)的存储路径。 注意: 配置文件所
Excel编辑并保存的模板文件无法被MgC识别。 DLI队列连接选择 元数据迁移和数据迁移需要使用不同的DLI队列连接,元数据迁移需要使用DLI SQL队列连接,数据迁移需要使用DLI 通用队列连接。配置错误的队列连接类型会导致迁移任务失败,因此在配置任务时,必须仔细检查并确保任务类型与队列类型相匹配。
后续的迁移步骤。 在基础信息区域,单击集群名称后的“管理”,右侧弹出集群详细信息页面。在这个页面上,您可以进行如下操作: 设置流量控制规则:您可以添加、编辑或删除流量控制规则,以确保集群内的流量按照您的需求进行管理。 节点管理:您可以根据实际需求,添加/删除迁移节点和列举节点,也可以对现有节点进行插件升级。
Spark应用每个Executor的CPU核数。该配置项会替换“sc_type”中对应的默认参数。 numExecutors 1-100 Spark应用Executor的个数。该配置项会替换“sc_type”中对应的默认参数。 executorMemory 1-16 G Spark应用的Executor内存,参数配置例如:2G
overy-k8s-pod-net\config\rules.properties 须知: 建议使用采集器提供的默认规则文件进行采集,如果需要自定义采集规则,请在默认规则文件基础上进行修改。 period 是 采集间隔时间,单位为s(秒)/m(分钟),1s<取值范围≤30m,取整数。
以避免任务失败。 操作步骤 安装Edge的方法请参考下载并安装Edge。 安装成功后,将Edge与迁移中心进行连接,方法请参考连接迁移中心。 Edge与迁移中心连接成功后,添加大数据相关凭证,方法请参考添加资源凭证。 父主题: 大数据血缘
创建用户组并授权中创建的用户组。 当IAM用户首次使用MgC的特定功能时,需要通过以下两种方式授予委托权限: 推荐方式:请管理员登录MgC控制台,进入相关功能界面,同意相关委托权限。 备选方式:请管理员登录“统一身份认证服务 IAM”服务,为当前IAM用户配置创建委托所需的权限,确保其拥有MgC相关系
创建用户组并授权中创建的用户组。 当IAM用户首次使用MgC的特定功能时,需要通过以下两种方式授予委托权限: 推荐方式:请管理员登录MgC控制台,进入相关功能界面,同意相关委托权限。 备选方式:请管理员登录“统一身份认证服务 IAM”服务,为当前IAM用户配置创建委托所需的权限,确保其拥有MgC相关系
大数据数据迁移 使用须知 准备工作 创建源端连接 创建目的端连接 迁移实施 查看并导出执行结果 自定义参数说明 父主题: 旧版
Excel编辑并保存的模板文件无法被MgC识别。 DLI队列连接选择 元数据迁移和数据迁移需要使用不同的DLI队列连接,元数据迁移需要使用DLI SQL队列连接,数据迁移需要使用DLI 通用队列连接。配置错误的队列连接类型会导致迁移任务失败,因此在配置任务时,必须仔细检查并确保任务类型与队列类型相匹配。
大数据数据迁移(MaxCompute迁移到DLI) 大数据迁移概述 使用须知 准备工作 创建源端连接 创建目的端连接 创建迁移任务 查看并导出执行结果 自定义参数说明 父主题: 新版
Agent会占用源端主机上的一些端口,也可能会对源端业务产生影响。 安装完成并注册用户后,将MgC Agent与迁移中心进行连接,方法请参考连接迁移中心。 连接成功后,需要在MgC Agent上添加源端待迁移主机凭证,凭证的添加方法请参考添加资源凭证。资源类型请根据实际情况选择“W
大数据校验 新增大数据校验数据连接时,凭证列表数据缺失 Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” Hive校验的sum统计结果显示未达标 DLI校验任务出现大量失败表 Delta 数据量较大时,如何优化校验任务? 创建HBase目的端连接安全集群下的换包操作指南 MRS
大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明 父主题: 新版
大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明 父主题: 旧版
问题分析 出现该问题的原因为接入端口不正确。 解决方法 检查迁移准备度配置参数中的“端口”填写是否正确。Windows主机默认为5985端口,Linux主机默认22端口,可根据实际情况修改。 如果端口填写错误,请修改为正确端口后重试。 如果端口填写正确,请继续执行步骤2.。 在安装MgC
安装MgC Agent(原Edge)的主机有哪些要求? 安装Windows版本的主机要求 可以连接外网(公网),并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名列表。 检查是否已开放MgC Agent(原Edge)需要的端口,所需端口请查看通信矩阵。 PowerShell
Agent的安装方法请参见安装Windows版本的MgC Agent。 连接迁移中心。 MgC Agent安装完成并注册用户后,将MgC Agent与迁移中心进行连接,方法请参考连接迁移中心。 添加资源凭证。 MgC Agent与迁移中心连接成功后,需要在MgC Agent上添加源端待迁移主机凭证