检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
AI开发的目的是什么 AI开发的目的是将隐藏在一大批数据背后的信息集中处理并进行提炼,从而总结得到研究对象的内在规律。 对数据进行分析,一般通过使用适当的统计、机器学习、深度学习等方法,对收集的大量数据进行计算、分析、汇总和整理,以求最大化地开发数据价值,发挥数据作用。 AI开发的基本流程 AI
您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com/videos/102987 。 请求URI 请求URI由如下部分组成: {URI-scheme} :// {Endpoint} / {resource-path} ? {query-string} 表1 请求URI
资源量。 timestamp String UTC时间,格式yyyy-MM-dd'T'HH:mm:ss'Z'。 window String 统计间隔,1s表示1秒,1m表示1分钟,1h为1小时。 表6 Capacity 参数 参数类型 描述 value Value object 资源量。
l 该指标用于统计测量对象的CPU使用率。 百分比(Percent) 0~100% 连续2个周期原始值 > 95% 建议 排查是否符合业务资源使用预期,如果业务无问题,无需处理。 CPU内核占用量 ma_container_cpu_used_core 该指标用于统计测量对象已经使用的CPU核个数。
l 该指标用于统计测量对象的CPU使用率。 百分比(Percent) 0~100% 连续2个周期原始值 > 95% 建议 排查是否符合业务资源使用预期,如果业务无问题,无需处理。 CPU内核占用量 ma_container_cpu_used_core 该指标用于统计测量对象已经使用的CPU核个数
数据集的差异。 按单张图片中框的个数统计图片分布 Bounding Box Quantity 横坐标:单张图片中框的个数。 纵坐标:图片数量。 对模型而言一张图片的框个数越多越难检测,需要越多的这种数据用作训练。 按单张图片中框的面积标准差统计图片分布 Standard Deviation
更新网络资源 查询资源实时利用率 创建资源池 查询资源池列表 查询资源池 删除资源池 更新资源池 资源池监控 资源池统计 查询资源规格列表 查询专属资源池作业列表 查询专属资源池作业统计信息
1434 SQL Server的TCP端口,用于返回SQLServer使用了哪个TCP/IP端口。 Oracle 1521 Oracle通信端口,弹性云服务器上部署了Oracle SQL需要放行的端口。 MySQL 3306 MySQL数据库对外提供服务的端口。 Windows Server
} 这里Step指定为0表示只对首个Step进行数据Dump。task指定为statistics表示使用统计量模式,该模式下针对整网训练API输入输出保存最大值、最小值、均值等统计量信息比对,落盘数据量较小。GPU和NPU环境依次进行数据Dump,正常执行结束标识如下图回显Exception:
中断,表现为日志中断。 原因分析 CPU软锁 在解压大量文件可能会出现此情况并造成节点重启。可以适当在解压大量文件时,加入sleep。比如每解压1w个文件,就停止1s。 存储限制 根据规格情况合理使用数据盘,数据盘大小请参考训练环境中不同规格资源大小。 CPU过载 减少线程数。 排查办法
DataSource objects 数据来源列表。 data_statistics Map<String,Object> 数据集的样本统计信息,包括样本元信息的统计,json格式。 data_update_time Long 样本和标签的更新时间。 data_url String 训练所用的数据路径。
DataSource objects 数据来源列表。 data_statistics Map<String,Object> 数据集的样本统计信息,包括样本元信息的统计。 data_update_time Long 样本和标签的更新时间。 dataset_format Integer 数据集格式。可选值如下:
取值范围 CPU使用率 该指标用于统计测量对象的CPU使用率。 百分比(Percent) 0~100% 内存利用率 该指标用于统计测量对象已使用内存占申请物理内存总量的百分比。 百分比(Percent) 0~100% GPU显卡使用率 该指标用于统计测量对象已使用的显卡占显卡容量的百分比。
量”、“应付金额”等信息。 图1 流水账单 在“明细账单”列表页,罗列了该账号下各种资源的计费模式、使用量和单价等信息。可以按账期、统计维度和统计周期筛选查看明细账单。 图2 明细账单 父主题: 计费FAQ
用情况。具体请参见训练资源监控章节。 在线服务:用户将模型部署为在线服务后,可以通过监控功能查看CPU、内存、GPU等资源使用统计信息和模型调用次数统计,具体参见查看服务详情章节。 父主题: ModelArts Standard资源监控
Boolean 是否返回标签统计信息。可选值如下: true:返回标签统计信息 false:不返回标签统计信息(默认值) sample_stats 否 Boolean 是否返回样本统计信息。可选值如下: true:返回样本统计信息 false:不返回样本统计信息(默认值) workforce_stats
取单步计算、下发和通信耗时。 slow rank 对于集群profiling进行性能统计,获取每张卡不同step的计算、下发和通信耗时。 slow link 对于集群profiling进行性能统计,获取每张卡不同step的带宽信息。 environment variable 识别
数据集要求 保证图片质量:不能有损坏的图片,目前支持的格式包括jpg、jpeg、bmp、png。 不要把明显不同的多个任务数据放在同一个数据集内。 每一类数据尽量多,尽量均衡。期望获得良好效果,图像分类项目中,至少有两种以上的分类,每种分类的样本不少于20张。 为了保证模型的预测准确度,训练样本跟真实使用场景尽量相似。
在训练作业列表中,单击作业名称进入训练作业详情页面。 在训练作业详情页面,单击“标签”页签查看标签信息。 支持添加、修改、删除标签。标签详细用法请参见使用TMS标签实现资源分组管理。 图1 查看训练标签 最多支持添加20个标签。 父主题: 管理模型训练作业
查看卡占用情况,如图所示,此时0号卡被占用,说明进程正常启动。 npu-smi info //查看卡信息 图15 查看卡信息 训练任务大概会运行两小时左右,训练完成后自动停止。若想停止训练任务,可执行下述命令关闭进程,查询进程后显示已无运行中python进程。 pkill -9 python