检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kit,软件开发工具包)。通过SDK提供的方法和API,与中间件进行交互,实现数据的采集。 容器采集 权限要求:需要管理员级别权限的账号导出包含必要访问凭证的文件。 采集原理:利用kspider工具进行数据采集。 vCenter采集 权限要求:需要管理员账号,该账号应具备对vCenter环境中所有虚拟机的完全访问权限。
显示存储这些内容的文件所在路径,您可以根据以下路径自行查找。 下发指令存储在{Edge安装路径}/logs/audit/downlink_command.txt文件中。 上报数据存储在{Edge安装路径}/logs/audit/uplink_data.txt文件中。 周期性日志归档:系统会自动在每月初将audit
认证方式 说明 公有云 AK/SK 配置文件 ID/密钥 AK/SK适用于添加华为云、阿里云、AWS、腾讯云、七牛云和金山云等云平台凭证。 配置文件适用于添加谷歌云平台凭证。配置文件需要上传谷歌云服务账号凭据,该凭证必须为json格式文件,且大小不能超过4KB。 ID/密钥适用于
登录DLI管理控制台,在左侧导航栏单击“资源管理 > 弹性资源池”,可进入弹性资源池管理页面。 单击弹性资源池名称前的,在展开的信息中,获取该弹性资源池的网段。 将弹性资源池的网段加入ECS安全组的入方向规则中。 登录弹性云服务器控制台。 在弹性云服务器列表中,单击购买的Linux主机名称(用于安装Edge的主机)。
如何防止采集数据泄露? MgC通过以下方式确保采集数据的安全: 数据加密传输:采用加密技术来保护数据在传输过程中的安全 本地加密存储凭证:Edge上的凭证信息都会经过加密处理后保存在本地,不会通过网络传输到云端。 本地数据采集与存储:通过Edge线下采集的信息会被安全地保存在本地
创建元数据连接 创建元数据来源类型的连接,获取源端大数据库表清单。 目前支持的连接类型,参见表1。 表1 支持的元数据连接类型 类别 连接类型 大数据组件 Hive Metastore Doris HBase ClickHouse Delta Lake(有元数据) Delta Lake(无元数据)
ge内部交互 否 无 无 NA 主机 目的主机IP 用户输入 TCP SSH (Secure Shell) - 远程登录协议,用于安全登录文件传输(SCP,SFTP)及采集脚本执行 是 口令认证 SSL NA 主机 目的主机IP 5985 TCP winrm远程连接端口,用于远程执行采集脚本
数据源采集成功后,可以通过如下方式获取采集结果: 单击任务操作列的“下载json”,将采集结果保存为json文件,用于将采集结果导入MgC进行应用关联分析,详情请参考导入工具采集结果。 单击任务操作列的“下载csv”,将采集结果保存为csv文件,用于本地查看采集结果。 单击任务操作列的“显示结果路径”,可以查看采集结果存放路径。
Recovery,CBR) 提供对云硬盘、弹性云服务器的备份保护服务。 镜像服务(Image Management Service,IMS 通过镜像创建弹性云服务器。 弹性云服务器(Elastic Cloud Server,ECS) 将源端服务器的系统、应用和文件等数据迁移到华为云弹性云服务器。 消息通知服务(Simple
根据源端规格推荐最合适的华为云对应资源规格,适合云上源端规格推荐。 匹配业务场景 以源端业务场景为基础,结合华为云最佳实践进行资源规格推荐。 跨可用区迁移 仅适用于华为云弹性云服务可用区下线迁移,该策略只会为应用中的主机资源推荐规格。选择该策略同时需要选择目的可用区。 详细的推荐逻辑说明参见主机评估策略推荐逻辑说明。
4.1 4.4.2 4.4.3 4.4.4 4.4.5 4.5.0 4.5.1 4.6.1 文件格式要求 导出结果的文件格式必须为Excel (.xlsx)。 文件大小、压缩比要求 导入的文件大小不能超过100 MB,压缩比不能低于5%。 步骤一:导出RVTools资源 启动RVTools应用程序,进入登录界面。
4.1 4.4.2 4.4.3 4.4.4 4.4.5 4.5.0 4.5.1 4.6.1 文件格式要求 导出结果的文件格式必须为Excel (.xlsx)。 文件大小、压缩比要求 导入的文件大小不能超过100 MB,压缩比不能低于5%。 步骤一:导出RVTools资源 启动RVTools应用程序,进入登录界面。
转换CSV文件编码为UTF-8 导入阿里云主机资源清单仅支持上传UTF-8编码且为中文表头的CSV文件,本节介绍将CSV文件的编码格式修改UTF-8编码的方法。 方法一(适用于Windows操作系统) 选择csv文件,鼠标右键,打开方式选择“记事本”。 在记事本窗口左上角选择“文件
conf和user.keytab文件。 在Edge添加凭证时,填写的用户名要与此处下载的凭证对应。 在页面上方菜单栏选择“集群>Hive”,进入Hive概览页,单击右上角“更多>下载客户端”,弹出下载客户端窗口。 客户端类型选择“仅配置文件”,单击“确定”按钮。 将下载的文件包解压,在/Hiv
ery-mysql-generallog) MySQL-jdbc采集器(app-discovery-mysql-jdbc) Nginx配置文件采集器(app-discovery-nginx) Cloud-vpc-log采集器(app-discovery-cloud-vpc-log)
环境变量地址 请添加环境变量文件的绝对路径,示例:/opt/bigdata/client/bigdata_env, 如果该参数不为空,则环境变量文件在命令执行前将被自动“source” SQL文件地址 填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知:
传以下配置文件: 非安全集群(未开启Kerberos认证)需要上传core-site.xml,hdfs-site.xml,yarn-site.xml,mapred-site.xml和hbase-site.xml等5个配置文件。配置文件的获取方法请参考准备运行环境配置文件。集群是否
填写MRS客户端的安装目录路径。即安装客户端时,“./install.sh” 所填写的地址。 SQL文件地址 填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知: 迁移完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。 在MgC控制台,创建Hive统计任务并执行,方
环境变量地址 请添加环境变量文件的绝对路径,示例:/opt/bigdata/client/bigdata_env, 如果该参数不为空,则环境变量文件在命令执行前将被自动“source” SQL文件地址 填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知:
选项,并配置安全认证命令。配置前,需要您手动将包含认证密钥的.keytab文件上传至执行机。 keytab文件地址:输入.keytab文件在执行机的存放地址。 keytab文件用户名:输入.keytab文件对应的用户名。 执行命令 可以通过设置Beeline或Spark-sql命令行参数,对数据进行处理。