检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
务器的缓存目录下。 gallery-cli download {repo_id} --include "*.json" 如下所示，表示下载所有“.json”格式的文件到服务器的缓存目录“/test”下，当回显“100%”时表示下载完成。 gallery-cli download
请求从到达服务开始到开始被调度的耗时 request_latency（请求总时延）：请求从到达服务开始到结束的耗时 以上指标单位均是ms，保留2位小数。 父主题： 推理性能测试
说明： 部分许可证网站说明地址是海外网站，用户可能会因网络限制无法访问。 谁可以看 设置此数据集的公开权限。可选值有： “公开”：表示所有使用AI Gallery的用户都可以查看且使用该资产。 “指定用户”：表示仅特定用户可以查看及使用该资产。 “仅自己可见”：表示只有当前账号可以查看并使用该资产。
copy_parallel(local_data_dir, obs_data_dir) 模型推荐的参数与NPU卡数设置 不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡，以此类推。 表1 不同模型推荐的参数与NPU卡数设置 序号 支持模型
支持FP16和BF16数据类型推理。 Lite k8s Cluster驱动版本推荐为23.0.6。 适配的CANN版本是cann_8.0.rc3。 资源规格要求 本文档中的模型运行环境是ModelArts Lite的Lite k8s Cluster。推荐使用“西南-贵阳一”Region上的资源和Ascend
推理部署使用的服务框架是vLLM。vLLM支持v0.5.0版本。 仅支持FP16和BF16数据类型推理。 本案例仅支持在专属资源池上运行。 专属资源池驱动版本要求23.0.6。 适配的CANN版本是cann_8.0.rc3。 支持的模型列表和权重文件 本方案支持vLLM的v0.5.0版本。不同vLL
ver和昇腾Snt9B资源。 推理部署使用的服务框架是vLLM。vLLM支持v0.3.2。 支持FP16和BF16数据类型推理。 资源规格要求 本文档中的模型运行环境是ModelArts Lite的DevServer。推荐使用“西南-贵阳一”Region上的资源和Ascend Snt9B。
ModelArts镜像的规范要求制作镜像，选择自己的镜像，并且通过指定代码目录（可选）和启动命令的方式来创建的训练作业。 自定义镜像需上传至容器镜像服务（SWR），才能用于ModelArts上训练，请参考使用自定义镜像训练模型。由于自定义镜像的制作要求用户对容器相关知识有比较深刻
--max-cpu-loras=32 --enable-lora表示开启lora挂载。 --lora-modules后面添加挂载的lora列表，要求lora地址权重是huggingface格式，当前支持QKV-proj、O-proj、gate_up_proj、down_proj模块的挂载。
main_service_step] ) 同步推理服务部署相关信息配置操作 在开发态中（一般指Notebook），节点启动运行后，用户根据日志打印的输入格式进行配置，如下所示： 在ModelArts管理控制台，左侧菜单栏选择“开发空间>Workflow”进入Workflow页面。
NODE_RANK=0 执行以下命令，开始预训练。 nohup sh ./pretrain_gpt2.sh & 图3 开始预训练 实时查看训练日志，监控程序。 tail -f nohup.out 如果显示如下信息， 表示模型训练完成。 图4 模型训练完成 在训练过程中观察单GPU卡的利用率，如下：
选择“评论”页签在输入框中输入评论内容，单击“发表评论”，即可成功发布评论。资产发布者可收到评论的通知，资产评论者也会收到评论回复的通知，所有用户均可查看资产评论并回复评论，对评论点赞等。 下架Notebook 当您需要在AI Gallery下架共享的资产时，可以执行如下操作： 在“AI
目标版本：在目标版本下拉框中，选择一个目标驱动版本。对于资源池新增加的节点，可能会与资源池原有节点驱动不一致，为了保持驱动一致，目标版本可选择当前驱动版本，升级完成后所有节点驱动会升级为统一版本。 升级方式：可选择安全升级或强制升级。 安全升级：待节点上没有作业时再升级，升级周期可能比较长。 强制升级：忽略
project_id 是 String 项目ID。 表14 notebook字段数据结构说明 参数 参数类型 说明 log_path String 自定义镜像日志存储路径。 custom_script_path String Notebook启动时的自定义初始化脚本路径。 extend_storage
在扩展信息中可以查看监控、作业、节点、规格、事件、标签，详细介绍见下文。 查看资源池中的作业 在资源池详情页，切换到“作业”页签。您可以查看该资源池中运行的所有作业，如果当前有作业正在排队，可以查看作业在资源池排队的位置。 当前仅支持查看训练作业。 查看资源池事件 在资源池详情页，切换到“事件”页
参数 是否必选 参数类型 描述 node_id 否 String 待查询的边缘节点ID，仅当infer_type为edge时可指定，默认查询所有节点。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。
即可看到当前代码库的信息，如仓库名称、分支、历史提交记录等。 图6 查看代码库信息 Git插件一般默认克隆master分支，如果要切换分支可单击Current Branch展开所有分支，单击相应分支名称可完成切换。 查看修改的内容 如果修改代码库中的某个文件，在“Changes”页签的“Changed”下可以看到修改
服务企业版使用，目前企业版已暂停公测。非企业版用户暂不支持使用此权限。因此需要在此勾选“SWR Admin” 策略。 选择授权范围方案为“所有资源”，单击“确定”。 精细化授权管理 如果您需要进行精细的权限管理，可参考《ModelArts API参考》中的权限策略和授权项。 数据管理权限
copy_parallel(local_data_dir, obs_data_dir) 模型推荐的参数与NPU卡数设置 不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡，以此类推。 表1 不同模型推荐的参数与NPU卡数设置 序号 支持模型
给其他人使用。使用者无需关注流水线中包含什么算法，也不需要关注流水线是如何实现的。使用者只需要关注流水线生产出来的模型或者应用是否符合上线要求，如果不符合，是否需要调整数据和参数重新迭代。这种使用固化下来的流水线的状态，在Workflow中统称为运行态。 总的来说，Workflow有两种形态。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
