检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
进行访问的权限。 采集原理:利用Java语言编写的应用程序,集成对应中间件的SDK(Software Development Kit,软件开发工具包)。通过SDK提供的方法和API,与中间件进行交互,实现数据的采集。 容器采集 权限要求:需要管理员级别权限的账号导出包含必要访问凭证的文件。
vpc:securityGroups:get(查询安全组列表或详情) eps:enterpriseProjects:list(查看企业项目列表) ecs:availabilityZones:list(查询可用区列表) 主机迁移工作流 vpc:vpcs:list(查询虚拟私有云列表) vpc:vpcs:get(查询虚拟私有云详情)
vpc:securityGroups:get(查询安全组列表或详情) eps:enterpriseProjects:list(查看企业项目列表) ecs:availabilityZones:list(查询可用区列表) 主机迁移工作流 vpc:vpcs:list(查询虚拟私有云列表) vpc:vpcs:get(查询虚拟私有云详情)
OutOfMemoryException 主机迁移工作流步骤执行失败,失败原因:SMS-Workflow.0503:SMS migration task failed 'SMS.xxxx'
"ecs:cloudServers:updateMetadata", "ecs:serverPasswords:manage", "ecs:serverKeypairs:delete", "ecs:diskConfigs:use", "ecs:CloudServers:create", "ecs
包。 SMS-Workflow.0404 源端SMS-Agent启动失败 报错信息为“SMS-Agent startup failed. For details, view the SMS migration logs on the source server.”,请前往源端主机
运行模式 支持以下两种运行模式: Yarn:适用于大型分布式环境,可以充分利用集群资源,提高任务的并行度和效率。 Local:适用于小规模数据集或开发测试环境,可以快速进行调试和验证。 参数 根据所选的运行模式和实际需求,添加命令行参数。 命令参数(Delta Lake和Hudi配置参数)
运行模式 支持以下两种运行模式: Yarn:适用于大型分布式环境,可以充分利用集群资源,提高任务的并行度和效率。 Local:适用于小规模数据集或开发测试环境,可以快速进行调试和验证。 参数 根据所选的运行模式和实际需求,添加命令行参数。 命令参数(Delta Lake和Hudi配置参数)
如何防止采集数据泄露? MgC通过以下方式确保采集数据的安全: 数据加密传输:采用加密技术来保护数据在传输过程中的安全 本地加密存储凭证:MgC Agent上的凭证信息都会经过加密处理后保存在本地,不会通过网络传输到云端。 本地数据采集与存储:通过MgC Agent线下采集的信息
PASSWORD(SENSITIVE) PRI_KEY_PATH(SENS_PATH) CLUSTER APPLICATION BUSINESS_DOMAIN PASSWORD(ENCRYPTED) PRI_KEY_PATH(ENCRYPTED) 注意: 填写的账号信息(用户名、密码)必须具备
示例中的以下参数,请替换为实际值: <BUCKET-NAME>:存储桶名称。 < FILE-NAME >:创建的json文件名。 <DOMAIN>:Ceph RGW(RADOS Gateway)服务的实际域名或IP地址。 <PORT>:Ceph RGW服务的实际访问端口号。 如果
Tomcat服务器以及对应采集器插件。 查询正在运行的Edge Tomcat服务器的JVM参数。 此功能需要在windows上安装java开发环境。 打开任务管理器(可以按下ctrl + alt + delete,并在弹出的页面中选择 任务管理器 打开)。在任务管理器的页签中选择详细信息。
列表文件类型必须为.txt,列表路径中不能包含除了.txt的其他文件/文件夹,并且该文件元数据中的“ContentType”只能为:“text/plain”。 txt文件行数不超过100000行。 单个列表文件大小不能超过300 MB。 列表文件存放目录下的列表文件个数不能超过10000个。
选择在源端环境中部署的迁移工具Edge。 注意: 需要在安装Edge的主机上配置/etc/hosts后,HBase元数据连接才能连接成功。host文件的获取方法请参见准备开发和运行环境。 HBase凭证 选择在Edge添加的HBase凭证。凭证的添加方式请参考添加资源凭证,类型选择“大数据-HBase”。 安全集群
注意: 需要在安装MgC Agent的主机上配置/etc/hosts后,HBase元数据连接才能连接成功。host文件的获取方法请参见准备开发和运行环境。 HBase凭证 选择在MgC Agent添加的HBase凭证。凭证的添加方式请参考添加资源凭证,类型选择“大数据-HBase”。
Devices(查询弹性云服务器磁盘信息) ecs:cloudServerNics:update(云服务器网卡配置私有IP) ecs:availabilityZones:list(查询可用区列表) ecs:servers:start(启动云服务器) ecs:cloudServer
列表文件类型必须为.txt,列表路径中不能包含除了.txt的其他文件/文件夹,并且该文件元数据中的“ContentType”只能为:“text/plain”。 txt文件行数不超过100000行。 单个列表文件大小不能超过300 MB。 列表文件存放目录下的列表文件个数不能超过10000个。
Devices(查询弹性云服务器磁盘信息) ecs:cloudServerNics:update(云服务器网卡配置私有IP) ecs:availabilityZones:list(查询可用区列表) ecs:servers:start(启动云服务器) ecs:cloudServer
列表文件约束与限制: 列表文件类型必须为.txt,其他文件类型不做处理,并且该文件元数据中的“ContentType”只能为:“text/plain”。 txt文件行数不超过100000行。 单个列表文件大小不能超过300 MB。 列表文件存放目录下的列表文件个数不能超过10000个。
列表文件约束与限制: 列表文件类型必须为.txt,其他文件类型不做处理,并且该文件元数据中的“ContentType”只能为:“text/plain”。 txt文件行数不超过100000行。 单个列表文件大小不能超过300 MB。 列表文件存放目录下的列表文件个数不能超过10000个。