检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
row/entry/p/br {""}) (br]。列表中的第一个数字为宽度(像素)，第二个数字为高度(像素)，第三个数字为深度(深度可以没有，默认为3)，如[100,200,3]和[100,200]均合法。 说明：只有当样本的标签列表包含物体检测标签时，此字段必选。 响应参数 状态码：
tion）是否使用高精度模式；默认值为1表示开启。针对Qwen2-7B模型和Qwen2-57b模型，必须开启此配置，否则精度会异常；其他模型不建议开启，会影响首token时延增加5%~10%。 export USE_IFA_HIGH_PRECISION_MODE=1 # IFA
使用VPC直连的高速访问通道，用户的业务请求不需要经过推理平台，而是直接经VPC对等连接发送到实例处理，访问速度更快。 由于请求不经过推理平台，所以会丢失以下功能： 认证鉴权 流量按配置分发 负载均衡 告警、监控和统计 图1 VPC直连的高速访问通道示意图 约束限制 调用API访问在线服务时，对预测请求体大小和预测时间有限制：
包。代码包具体说明请参见模型软件包结构说明。 获取路径：Support-E 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。 支持的模型列表和权重文件 本方案支持vLLM的v0.5.0版本。不同vLLM版本支持的模型列表有差异，具体如表3所示。
一个账号最多可添加10个团队。一个团队最多支持添加100个成员，当超过100时，建议分为多个团队进行管理。 如果数据集需要启用团队标注功能，当前账号至少拥有一个团队。如果没有，请执行添加团队操作添加。 添加团队 在ModelArts管理控制台左侧导航栏中，选择“数据准备>标注团队”，进入“标注团队”管理页面。
使用。 如果公共资源池下规格为空数据，表示当前环境无公共资源。建议使用专属资源池。 说明： 使用所选规格部署服务时，会产生必要的系统消耗，因此服务实际占用的资源会略大于该规格。 “实例数” 设置当前版本模型的实例个数。如果实例数设置为1，表示后台的计算模式是单机模式；如果实例数设
训练作业的自定义镜像如何安装Moxing？ 为避免自动安装Moxing会影响用户自定义镜像中的包环境，所以自定义镜像需要用户手动安装Moxing。Moxing安装包会在作业启动后放在“/home/ma-user/modelarts/package/”目录下。可在使用Moxing功
temperature > 0。 使用beam_search场景下，n取值建议为1<n≤10。如果n=1，会导致推理请求失败。 说明： n建议取值不超过10，n值过大会导致性能劣化，显存不足时，推理请求会失败。 use_beam_search 否 False Bool 是否使用beam_search替换采样。
模型的自定义镜像制作场景三 约束限制 自定义镜像中不能包含恶意代码。 创建模型的自定义镜像大小不超过50GB。 对于同步请求模式的模型，如果预测请求时延超过60s，会造成请求失败，甚至会有服务业务中断的风险，预测请求时延超过60s时，建议制作异步请求模式的模型。 自定义镜像的配置规范 镜像对外接口 设置镜
ols”命令查看，参考Atlas 800 训练服务器 1.0.11 HCCN Tool接口参考中的指导。 NPU上的网卡在哪里可以看到， 会健康检查吗？ 8*NPU的网卡为机头上配置的四个2*100GE网卡。华为云有网卡健康状态监控机制。 父主题： Lite Server
usage String 用途，可选值为TRAIN、EVAL、TEST、INFERENCE。指明该对象用于训练、评估、测试、推理，如果没有给出该字段，则使用者自行决定如何使用该对象。 inference_loc String 当此Manifest文件由推理服务生成时会有该字段，表示推理输出的结果文件位置。
推理精度测试 本章节介绍如何使用lm-eval工具开展语言模型的推理精度测试，数据集包含mmlu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证
为什么在ModelArts数据标注平台标注数据提示标注保存失败？ 标注多个标签，是否可针对一个标签进行识别？ 使用数据处理的数据扩增功能后，新增图片没有自动标注 视频数据集无法显示和播放视频 使用样例的有标签的数据或者自己通过其他方式打好标签的数据放到OBS桶里，在modelarts中同步
IAM权限设置 是否必选 ModelArts 授予子账号使用ModelArts服务的权限。 ModelArts CommonOperations没有任何专属资源池的创建、更新、删除权限，只有使用权限。推荐给子账号配置此权限。 ModelArts CommonOperations 必选
enterprise_project_id 否 String 企业项目id，指定此参数会只返回该企业项目id下的工作空间。默认显示所有工作空间。 name 否 String 工作空间名称查询参数，指定此参数会模糊查询该名称的工作空间。默认显示所有工作空间。 filter_accessible
处于“运行中”状态的Notebook，会消耗资源，产生费用。根据您选择的资源不同，收费标准不同，价格详情请参见产品价格详情。当您不需要使用Notebook时，建议停止Notebook，避免产生不必要的费用。 创建Notebook时，如果选择使用云硬盘EVS存储配置，云硬盘EVS会一直收费，建议及时停
temperature > 0。 使用beam_search场景下，n取值建议为1<n≤10。如果n=1，会导致推理请求失败。 说明： n建议取值不超过10，n值过大会导致性能劣化，显存不足时，推理请求会失败。 use_beam_search 否 False Bool 是否使用beam_search替换采样。
练作业页面选择预置框架名称后，在预置框架版本下拉列表中选择“自定义”。 该方式的训练流程与直接基于预置框架创建的训练作业相同，例如： 系统会自动注入一系列环境变量，如下所示。 PATH=${MA_HOME}/anaconda/bin:${PATH} LD_LIBRARY_PATH
资源规格的ssd大小。 interface_type Integer 接口类型。 no_resource Boolean 所选规格资源是否充足，True代表没有资源。 请求示例 如下以查看训练作业的资源规格为例。 GET https://endpoint/v1/{project_id}/job/resource-specs
勾选在线服务列表中的服务，然后单击列表左上角“删除”按钮，批量删除服务。 单击目标服务名称，进入服务详情页面，单击右上角“删除”删除服务。 删除操作无法恢复，请谨慎操作。 没有委托授权时，无法删除服务。 如果在线服务开启了“运行日志输出”，删除服务时，推荐同时删除LTS中的日志以及日志流，避免LTS日志流超过限额
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
