检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
--dataset-type:当使用投机推理时开启,benchmark使用的数据类型,当前支持random、sharegpt、human-eval三种输入。
物理内存使用量 ma_container_memory_used_megabytes 该指标用于统计测量对象实际已经使用的物理内存,对应container_memory_working_set_bytes当前内存工作集(working set)使用量。
表1 训练结果对比 资源类型 单机单卡 两节点16卡 耗时 60分钟 20分钟 准确率 80+ 80+ 分布式训练完整代码示例 以下对resnet18在cifar10数据集上的分类任务,给出了分布式训练改造(DDP)的完整代码示例。
查看服务的事件类型和事件信息,请参见查看在线服务的事件 日志 展示当前服务下每个模型的日志信息。包含最近5分钟、最近30分钟、最近1小时和自定义时间段。 自定义时间段您可以选择开始时间和结束时间。 当服务启用运行日志输出后,页面展示存放到云日志服务LTS中的日志信息。
pip install -r requirements.txt 静态benchmark 运行静态benchmark验证脚本benchmark_parallel.py,具体操作命令如下,可以根据参数说明修改参数。
许可证 数据集资产遵循的使用协议,根据业务需求选择合适的许可证类型。 描述 填写资产简介,数据集发布后将作为副标题显示在数据集页签上,方便用户快速了解资产。 支持0~90个字符,请勿在描述中输入涉政、迷信、违禁等相关敏感词,否则发布审核无法通过。
单击“新建对象存储服务(OBS)桶”,进入创建桶页面,具体请参见《对象存储服务控制台指南》中的创建桶章节。 图1 快速创建OBS桶 桶创建完成后,选择对应桶名称,单击“新建文件夹”,在“新建文件夹”对话框中,填写文件夹“名称”,单击“确定”完成创建,选择创建的文件夹。
您可以使用MrsStep来创建作业类型节点。定义MrsStep示例如下。
基于策略授权时,管理员可以按ModelArts的资源类型选择授权范围。详细的资源权限项可以参见API参考中的权限策略和授权项章节。
benchmark_eval下生成的log中记录了客户端产生结果。数据集的打分结果在result/{model_name}/...目录下,查找到summmary目录,有txt和csv两种保存格式。
表1 贝叶斯优化的参数说明 参数 说明 取值参考 num_samples 搜索尝试的超参组数 int,一般在10-20之间,值越大,搜索时间越长,效果越好 kind 采集函数类型 string,默认为'ucb',可能取值还有'ei'、'poi',一般不建议用户修改 kappa 采集函数
CodeLab支持CPU和GPU两种规格,在右侧区域,单击切换规格,修改规格类型。 图3 切换规格 资源监控。 在使用过程中,如果想了解资源使用情况,可在右侧区域选择“Resource Monitor”,展示“CPU使用率”和“内存使用率”。
benchmark_eval下生成的log中记录了客户端产生结果。数据集的打分结果在result/{model_name}/...目录下,查找到summmary目录,有txt和csv两种保存格式。
benchmark_eval下生成的log中记录了客户端产生结果。数据集的打分结果在result/{model_name}/...目录下,查找到summmary目录,有txt和csv两种保存格式。
在桶的详情页,左侧导航栏选择“对象”,在右侧“名称”列选中不需要的存储对象,单击操作列的“更多>删除”,即可删除相应的存储对象。 常见问题 创建数据集时找不到创建的OBS桶,请查看OBS桶与ModelArts是否在同一个区域。 数据校验节点失败。
准备一个图片类型的数据集,请参考准备数据集。可从AI Gallery直接下载(例如:8类常见生活垃圾图片数据集)。
目前如下后缀结尾的文件类型支持代码预览:txt、py、h、xml、html、c、properties、yml、cmake、sh、css、js、cpp、json、md、sql、bat、conf 图1 下载预览代码 在详情页面单击“订阅”,根据算法是否具有使用约束进行不同操作: 如果订阅是具有使用约束的算法
pip install -r requirements.txt 静态benchmark 运行静态benchmark验证脚本benchmark_parallel.py,具体操作命令如下,可以根据参数说明修改参数。
表1 鉴权命令参数说明 参数名 参数类型 是否必选 参数说明 -auth / --auth String 否 鉴权方式,支持PWD(用户名密码)、AKSK(access key和secret key),默认是PWD。
扩缩容专属资源池 资源池扩缩容有以下类型,分别为: 对已有规格增减目标总实例数 修改容器引擎空间大小 登录ModelArts管理控制台,在左侧菜单栏中选择“AI专属资源池 > 弹性集群Cluster”,进入“Standard资源池”页签,查看资源池列表。