检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据迁移失败,提示超过DLI网管流控上限 问题描述 进行大数据数据迁移失败,在数据湖探索的Spark作业查看报错信息为:The throttling thershold has been reached 问题分析 出现该问题,是因为您创建的资源数量已达到DLI服务流控限制阈值。 解决方法 请联系DLI服务技术支持人员,调整流控上限。
应用程序 应用名称 选择待迁移资源所关联的应用。 迁移设置 区域 选择待迁移可用区所在Region,与创建的应用配置保持一致。 目的可用区 选择要迁移到目的端可用区,与创建的应用配置保持一致。 网络设置 当前只支持“保留源端配置”。 目的虚拟机创建策略 立即创建 工作流立即开始进行
选择源端阿里云账号的凭证。凭证的添加方式请参考添加资源凭证,类型选择“大数据-MaxCompute”。 项目名称 输入需要采集的MaxCompute项目名称。项目名称可在MaxCompute侧控制台获取。 Endpoint 输入MaxCompute服务所在地域的Endpoint信息。
单击依赖应用列的数量,可以查看该应用所依赖的服务列表。 单击被依赖应用列的数量,可以查看依赖该应用的应用列表。 单击操作列的“技术架构图”,可以查看该应用包含的微服务、资源所属层级以及微服务与资源之间的关联关系。单击微服务/资源节点,可以查看节点详细信息。 单击操作列的“应用依赖图
s-netstat\config\nodes.csv。 如果使用自定义的配置文件,请参考默认配置文件(nodes.csv)创建新的csv文件。该参数填写新建的csv文件存放路径。 须知: 建议使用采集器提供的默认节点接入配置文件进行采集,如果需要自定义配置文件,请参考默认配置文件(nodes
config\rules.properties 须知: 建议使用采集器提供的默认规则文件进行采集,如果需要自定义采集规则,请在默认规则文件基础上进行修改。 path 是 填写应用配置文件(yaml文件)的存储路径。 父主题: 采集器参数配置说明
Nginx配置文件采集器(app-discovery-nginx) 根据Nginx下的config文件,解析获取Nginx的跳转信息。参数配置说明参见表1。 表1 Nginx配置文件采集器参数配置说明 参数 必选 配置说明 output_path 否 自定义采集结果(app-discovery-nginx-xxx
该采集器只能采集到通过netstat命令所识别的、具有长期网络连接特性的进程之间的关联关系。 表1 Windows进程与网络采集器参数配置说明 参数 必选 配置说明 host_path 是 填写待采集的Windows主机授权信息列表文件(csv文件)所保存的路径(如,D:\nodes.csv)。 授权信
采集时长受控:采集任务在有限的时间内完成,采集避免长时间占用系统资源。 加密保存凭证:所有用于数据采集的凭证都经过加密处理,以保护凭证的安全。线上采集的凭证仅在线上环境中保存。 操作权限与最小权限原则:无论哪种采集方式,都需要具备相应的操作权限,并且遵循最小权限原则,即只授予完成特定任务所需的最小权限。
(可选)网络打通 当创建的集群选择的VPC与SFS服务使用的VPC不是同一个时,需要进行额外的网络配置,以确保SFS 1.0、SFS 3.0和集群之间的网络连通。 SFS 1.0网络打通 SFS 1.0通过创建对等连接来打通网络,方法请参考创建相同账户下的对等连接。 SFS 3.0网络打通
安装Edge的主机有哪些要求? 安装Windows版本的主机要求如下: 可以连接外网(公网),并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名列表。 PowerShell 版本在3.0及以上。 推荐规格不小于4U8G。 安全组的出方向规则中,需要包含8883端口。
根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 将MgC资源委托给更专业、高效的其他华为云账号或者云服务,这些账号或者云服务可以根据权限进行代运维。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用MgC服务的其它功能。
cert_file文件绝对路径。 ca_file 否 auth参数值为“3”时,填写SSL ca_file文件绝对路径。 password 否 填写登录用户名对应的密码。 username 否 auth参数值为“2”或“3”时,填写Kafka登录用户名。 auth 是 Kafka认证方式。 0表示无认证
当您迁移Windows主机时,需要确保源端主机能够解析相关云服务的接口域名。这通常涉及到在每台源端主机上编辑hosts文件。如果迁移的主机数量众多,手动编辑将非常耗时。为了简化这一过程,我们提供了一个批量修改的脚本示例。您可以利用这个脚本,快速地将域名解析IP批量追加写入到所有源端主机的hosts文件中。 脚本说明
Center,MgC)是华为云一站式迁移和现代化平台,承载华为云迁移方法论和最佳实践,该平台提供强大的应用发现能力和资源评估能力,并且通过向导式的迁移流程,帮助您轻松将应用资源迁移到华为云。 逻辑架构 MgC分为部署在云上的云服务和部署在客户网络中的Edge两个部分。 MgC:部署在云上,主要包含六个业务功能(问卷
迁移工具Edge使用WinRM服务连接源端主机,进行脚本传输和执行。出现该问题是因为执行脚本的内存不足,导致迁移失败。 解决方法 检查并调整PowerShell内存配置。 在源端待迁移主机的PowerShell内执行以下命令,查看PowerShell运行时的内存配置参数。 Get-Item WSMan:\local
当您迁移Linux主机时,需要确保源端主机能够识别并解析相关云服务的接口域名。这通常涉及到在每台源端主机上编辑hosts文件。如果迁移的主机数量众多,手动编辑将非常耗时。为了简化这一过程,我们提供了一个批量修改的脚本示例。您可以利用这个脚本,快速地将域名解析IP批量推送到所有源端主机的hosts文件中。 脚本说明
输入的IP:步骤8.提示的端口号”,即可访问Edge的用户注册页面。例如:步骤7输入的IP为192.168.x.x,步骤8提示的端口号为27080,则Edge的访问地址为:https://192.168.x.x:27080。 如果遇到访问问题,请检查IP地址的准确性以及安装Edge的Linux主机安全组入网规则配置。
存储类型介绍 各云厂商的对象存储服务针对用户业务对存储性能、成本的不同诉求,将对象的存储级别进行了区分,区分的普遍依据是对象的访问频度、访问时延、最低存储时间、最低存储单元、数据可靠性、数据可用性等。根据以上依据,华为云OBS提供了以下四种存储类型: 标准存储 访问时延低和吞吐量
MgC自定义策略 如果系统预置的MgC权限,不满足您的授权要求,可以创建自定义策略。 目前华为云支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操作、资源、条件等策略内容,可自动生成策略。 JSON视图创建自定义策略:可