检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
保留期到期后,如果包年/包月资源池仍未续费,那么计算资源将被释放,数据无法恢复。 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 关于续费的详细介绍请参见续费概述。 父主题: 计费模式
--dtype:模型推理的数据类型。支持FP16和BF16数据类型推理。float16表示FP16,bfloat16表示BF16。如果不指定,则根据输入数据自动匹配数据类型。使用不同的dtype会影响模型精度。
当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 SSH登录机器后,检查NPU卡状态。
Tree算法可以用更少的数据通信量完成all reduce计算,但用来测试性能不太合适。因此,会出现两节点实际带宽100,但测试出速度110,甚至130GB/s的情况。加这个参数以后,2节点和2节点以上情况的速度才会稳定一些。
响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 models Array of ModelListItem objects 模型元数据信息。 total_count Integer 不分页的情况下符合查询条件的总模型数量。
None 服务介绍 ModelArts产品 产品介绍 03:19 了解什么是ModelArts ModelArts自动学习 视频介绍 02:59 ModelArts自动学习简介 ModelArts CodeLab 视频介绍 04:16 ModelArts CodeLab介绍 JupyterLab
分钟 工作空间的配额值修改完成后,单击“提交修改”,当“配额值”数据刷新表示修改成功。 修改工作空间 工作空间创建成功后,支持修改信息。 在ModelArts管理控制台的左侧导航栏中,选择“工作空间”进入工作空间列表。 在工作空间列表,单击操作列的“修改”进入修改工作空间页面。
is_opened_sample_collection String 是否打开数据采集,默认“false”。 transition_at Number 服务状态转化时间。 is_free Boolean 服务是否是免费规格类型。
仅支持FP16和BF16数据类型推理。 本案例仅支持在专属资源池上运行。 支持的模型列表 本方案支持的模型列表、对应的开源权重获取地址如表1所示。
可选值如下: maximum:最大值统计,默认值 minimun:最小值统计 sum:求和统计 average:平均值统计 sampleCount:采样统计 period 否 String 监控数据粒度,单位为秒。
选择“multipart/form-data”时,需填写“请求参数”,请求参数取值等同于使用图形界面的软件进行预测(以Postman为例)Body页签中填写的“KEY”的取值,也等同于使用curl命令发送预测请求上传数据的参数名。
data Array of ImageResponse objects 数据。 pages Integer 总的页数。 size Integer 每一页的数量。 total Long 总的记录数量。
“apis定义” 提供AI应用对外Restfull api数据定义,用于定义AI应用的输入、输出格式。apis定义填写规范请参见模型配置文件编写说明中的apis参数说明,示例代码请参见apis参数代码示例。 确认信息填写无误,单击“立即创建”,完成AI应用创建。
为保证数据安全,请勿输入敏感信息,例如明文密码。 训练容器中预置的环境变量 训练容器中预置的环境变量如下面表格所示,包括表1、表2、表3、表4、表5、表6、表7。 此处的环境变量取值仅为示例,涉及不同规格、引擎、Region可能取值不一样,此处仅供参考。
形式为“参数名=参数取值”,例如“limit=10”,表示查询不超过10条数据。
枚举值如下: BMS:裸金属服务 ECS:弹性云服务 userdata 否 String 创建服务器时,用户自己定义数据。 表3 ChargingInfo 参数 是否必选 参数类型 描述 charging_mode 是 String 付费类型。
仅支持FP16和BF16数据类型推理。 本案例仅支持在专属资源池上运行。 专属资源池驱动版本要求23.0.6。 支持的模型列表和权重文件 本方案支持vLLM的v0.5.0版本。不同vLLM版本支持的模型列表有差异,具体如表1所示。
获取待下载的文件名 在AI Gallery页面的资产详情页,如果是模型资产,则选择“模型文件”页签,如果是数据集资产,则选择“文件版本”页签,获取“文件名称”。 下载单个文件 在服务器执行如下命令,可以从AI Gallery仓库下载单个文件到服务器的缓存目录下。
右侧“配置信息”区域会显示计算规格的详细数据,AI Gallery会基于资产和资源情况分析该任务是否支持设置“商品数量”,用户可以基于业务需要选择任务所需的资源卡数。 在“运行时长控制”选择是否指定运行时长。
29 30 31 32 33 34 35 from keras.models import Sequential model = Sequential() from keras.layers import Dense import tensorflow as tf # 导入训练数据集