检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据迁移失败,提示超过DLI网管流控上限 问题描述 进行大数据数据迁移失败,在数据湖探索的Spark作业查看报错信息为:The throttling thershold has been reached 问题分析 出现该问题,是因为您创建的资源数量已达到DLI服务流控限制阈值。 解决方法 请联系DLI服务技术支持人员,调整流控上限。
网络连接超时”或“其他异常”。 问题分析 网络连接超时:出现该提示是因为源端资源所在的地域(Region)不在MgC服务支持的资源采集范围内。 其他异常:出现该提示是因为连接源端资源时发生了未知的异常情况。可能由多种因素引起,需要您自行排查和处理。 父主题: 资源采集
您关心的是分区内数据的最新状态或最近一段时间内的数据变更,可以选择“更新时间”作为筛选条件。 创建时间:指分区被首次创建时的时间戳。如果您关心的是分区从创建开始到某个时间点内的数据,可以选择“创建时间”作为筛选条件。 分区上限:用于限制查询或处理的分区数量,避免不必要的全表扫描或
移中心的情况下,直接在本地进行主机资源的发现与采集。 使用须知 需要进行本地采集,应避免连接迁移中心。MgC Agent与迁移中心(MgC)连接后,本地采集功能将不再可用,MgC Agent的主要功能转向与云端服务的协同工作,而不再执行本地资源采集。 建议在完成所有必要的本地采集工作后,再连接MgC
对主机进行迁移准备度检查时,检查失败,提示:主机端口不可达、防火墙规则不正确或访问权限不足。 问题分析 出现该问题的原因为接入端口不正确。 解决方法 检查迁移准备度配置参数中的“端口”填写是否正确。Windows主机默认为5985端口,Linux主机默认22端口,可根据实际情况修改。
用户自定义 元数据连接 选择步骤8.创建的元数据连接。 注意: 表组中的所有表必须来源于同一个元数据来源。 校验标准 选择可以接受的数据差异最大值(即错误容忍度)。MgC提供了多种类型的对数标准可供选择,关于对数标准的详细说明,可以单击新增表组弹窗中的“查看更多”进行查看。 说明(可选)
华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的 IaaS、PaaS 和 SaaS 类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括
您关心的是分区内数据的最新状态或最近一段时间内的数据变更,可以选择“更新时间”作为筛选条件。 创建时间:指分区被首次创建时的时间戳。如果您关心的是分区从创建开始到某个时间点内的数据,可以选择“创建时间”作为筛选条件。 分区上限:用于限制查询或处理的分区数量,避免不必要的全表扫描或
Mware扫描的方式,发现和采集源端主机资源。 使用须知 目前支持采集的VMware版本包括:VMware 5.0~7.0 VMware扫描和网段扫描两种方法都采用私有IP结合Edge ID的方式来标识内网中的主机资源。这意味着,一旦完成一次资源采集,如果被采集的主机私有IP发生
单击依赖应用列的数量,可以查看该应用所依赖的服务列表。 单击被依赖应用列的数量,可以查看依赖该应用的应用列表。 单击操作列的“技术架构图”,可以查看该应用包含的微服务、资源所属层级以及微服务与资源之间的关联关系。单击微服务/资源节点,可以查看节点详细信息。 单击操作列的“应用依赖图
Mware扫描的方式,发现和采集源端主机资源。 使用须知 目前支持采集的VMware版本包括:VMware 5.0~7.0 VMware扫描和网段扫描两种方法都采用私有IP结合Edge ID的方式来标识内网中的主机资源。这意味着,一旦完成一次资源采集,如果被采集的主机私有IP发生
s-netstat\config\nodes.csv。 如果使用自定义的配置文件,请参考默认配置文件(nodes.csv)创建新的csv文件。该参数填写新建的csv文件存放路径。 须知: 建议使用采集器提供的默认节点接入配置文件进行采集,如果需要自定义配置文件,请参考默认配置文件(nodes
采集原理:连接数据库,基于数据库的查询语句进行采集。 中间件采集 权限要求: Redis:使用具有基本访问权限的普通账号即可。 Kafka:需要具备访问所有topic的权限以及对topic的容量等信息进行访问的权限。 采集原理:利用Java语言编写的应用程序,集成对应中间件的SDK(Software
config\rules.properties 须知: 建议使用采集器提供的默认规则文件进行采集,如果需要自定义采集规则,请在默认规则文件基础上进行修改。 path 是 填写应用配置文件(yaml文件)的存储路径。 父主题: 采集器参数配置说明
Nginx配置文件采集器(app-discovery-nginx) 根据Nginx下的config文件,解析获取Nginx的跳转信息。参数配置说明参见表1。 表1 Nginx配置文件采集器参数配置说明 参数 必选 配置说明 output_path 否 自定义采集结果(app-discovery-nginx-xxx
与MgC建立连接的MgC Agent。 执行机凭证 选择步骤4.在MgC Agent侧添加的源端Delta Lake执行机凭证。 执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口,默认为22端口。 Spark客户端目录 填写Spark客户端的bin目录的绝对路径
连接地址 填写vCenter的IP地址。 端口 填写访问vCenter的端口。 凭证 选择vCenter的凭证。如下拉列表为空,请前往MgC Agent添加私有云凭证。凭证中的用户名、密码为vCenter的登录用户名和密码。 应用 可选参数,选择采集到的资源要加入的应用,通过应用可以将资
该采集器只能采集到通过netstat命令所识别的、具有长期网络连接特性的进程之间的关联关系。 表1 Windows进程与网络采集器参数配置说明 参数 必选 配置说明 host_path 是 填写待采集的Windows主机授权信息列表文件(csv文件)所保存的路径(如,D:\nodes.csv)。 授权信
连接地址 填写vCenter的IP地址。 端口 填写访问vCenter的端口。 凭证 选择vCenter的凭证。如下拉列表为空,请前往MgC Agent添加私有云凭证。凭证中的用户名、密码为vCenter的登录用户名和密码。 应用 可选参数,选择采集到的资源要加入的应用,通过应用可以将资
采集时长受控:采集任务在有限的时间内完成,采集避免长时间占用系统资源。 加密保存凭证:所有用于数据采集的凭证都经过加密处理,以保护凭证的安全。线上采集的凭证仅在线上环境中保存。 操作权限与最小权限原则:无论哪种采集方式,都需要具备相应的操作权限,并且遵循最小权限原则,即只授予完成特定任务所需的最小权限。