检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
LLaVA模型基于Lite Server适配PyTorch NPU推理指导（6.3.906） LLaVA是一种新颖的端到端训练的大型多模态模型，它结合了视觉编码器和Vicuna，用于通用的视觉和语言理解，实现了令人印象深刻的聊天能力，在科学问答（Science QA）上达到了新的高度。
modelarts:trainJob:logExport modelarts:workspace:getQuotas（如果开通了工作空间功能，则需要配置此权限。） 从本地VSCode连接云上的Notebook实例、提交训练作业等。 按需配置。 OBS obs:bucket:ListAllMybuckets
方式二：单击“操作”列的“打开”，自动进入Launcher页面，然后单击“VS Code”。弹出“是否打开Visual Studio Code？”对话框。 图2 从Launcher页面打开VS Code接入 如果本地已安装VS Code，请单击“打开Visual Studio Code”，进入“Visual
只有MindSpore+Ascend训练场景下会产生单独的MindSpore日志。其他AI引擎的日志都包含在普通日志中，无法区分。 训练日志的时效性 从日志产生的时效性上可以分为以下3种情况： 实时日志：训练作业实时运行时产生，在ModelArts训练作业详情页面上可以查看。 历史日志：训练
请求参数 无 响应参数 状态码：200 表3 响应Body参数 参数 参数类型 描述 name String Workflow工作流名称，1到64位只包含中英文、数字、空格、下划线（_）和中划线（-），并且以中英文开头。 workflow_id String Workflow工作流ID。创建工作流时后台自动生成。
时间为准），结算完毕后进入新的计费周期。 对于专属资源池：计费的起点以资源池创建成功的时间点为准，终点以资源池删除时间为准。 专属资源池从创建到启用需要一定时长，计费的起点是创建成功的时间点，而非创建时间。您可以在专属资源池详情页“基本信息”页签查看创建时间，在“事件”页签查看“
据异步持久化到OBS对象存储中长期低成本保存。 图1 基于OBS+SFS Turbo的存储解决方案 OBS + SFS Turbo存储加速的具体方案请查看： 面向AI场景使用OBS+SFS Turbo的存储加速实践。 设置训练存储加速 当完成上传数据至OBS并预热到SFS Turbo中步骤后，在ModelArts
0.rc2-py_3.9-hce_2.0.2312-aarch64-snt9b-20240727152329-0f2c29a 镜像发布到SWR，从SWR拉取 固件驱动：23.0.6 CANN：cann_8.0.rc2 容器镜像OS：hce_2.0 PyTorch：pytorch_2
driver及npu-smi需同时挂载至容器。 不要将多个容器绑到同一个NPU上，会导致后续的容器无法正常使用NPU功能。 步骤四：获取代码并上传 上传推理代码AscendCloud-CV-6.3.909-xxx.zip到宿主机的工作目录中，包获取路径请参见表2。 上传代码到宿主机时使用的是root用户，此处
自定义加密函数，认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件中密文存放，使用时解密，确保安全。 sdk_decrypt_implementation_func 自定义解密函数，认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险，建议
行训练推理迁移、精度调试、性能调优等工作，您可在下表中查看当前ModelArts支持的昇腾迁移调优工具及对应指导。 表格中的部分工具已集成到ModelArts基础镜像中（镜像地址详见基础镜像章节）。如果您使用的是ModelArts基础镜像，可先尝试直接使用工具命令，如果相关命令不存在则需要参考工具安装指导自行安装。
服务实例只能调度到指定节点，指定节点不存在则失败。preferred表示弱亲和，服务实例倾向于调度到指定节点，指定节点不满足调度条件，则会调度到其他节点。 pool_infos 否 Array of AffinityPoolInfo objects 配置亲和策略到指定的集群，并指定集群的节点。
容器名称，进入容器时会用到，此处可以自己定义一个容器名称，例如sdxl-diffusers。 --device=/dev/davinci1：挂载主机的/dev/davinci3到容器的/dev/davinci1。可以使用npu-smi info查看空闲卡号，修改davinci后数字可以更改挂载卡。 ${image_name}
0.rc3-py_3.10-hce_2.0.2312-aarch64-snt9b-20240829092203-4ccf328 镜像发布到SWR，从SWR拉取 固件驱动：23.0.6 CANN：cann_8.0.rc3 容器镜像OS：hce_2.0 PyTorch：pytorch_2
可以在Huggingface开源社区获取AWQ量化后的模型权重；或者获取FP16/BF16的模型权重之后，通过autoAWQ工具进行量化。 方式一：从开源社区下载发布的AWQ量化模型。 https://huggingface.co/models?sort=trending&search=QWEN+AWQ
0-cann_8.0.rc2-py_3.9-hce_2.0.2312-aarch64-snt9b-20240606190017-b881580 从SWR拉取。 约束限制 请参考表2获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。 本方案使用需要用户具备k8s集群相关技能。
支持将本地开发的代码，快速提交至ModelArts并自动创建新版训练作业，在训练作业运行期间获取训练日志并展示到本地。 使用PyCharm ToolKit创建并调试训练作业 OBS上传下载 上传本地文件或文件夹至OBS，从OBS下载文件或文件夹到本地。 使用PyCharm上传数据至Notebook 前提条件
可以在Huggingface开源社区获取AWQ量化后的模型权重；或者获取FP16/BF16的模型权重之后，通过autoAWQ工具进行量化。 方式一：从开源社区下载发布的AWQ量化模型。 https://huggingface.co/models?sort=trending&search=QWEN+AWQ
可以在Huggingface开源社区获取AWQ量化后的模型权重；或者获取FP16/BF16的模型权重之后，通过autoAWQ工具进行量化。 方式一：从开源社区下载发布的AWQ量化模型。 https://huggingface.co/models?sort=trending&search=QWEN+AWQ
2409-aarch64-snt9b-20241213131522-aafe527 cann_8.0.rc3 pytorch_2.1.0 驱动23.0.6 从SWR拉取 不同软件版本对应的基础镜像地址不同，请严格按照软件版本和镜像配套关系获取基础镜像。 步骤一：检查环境 请参考Lite Serve
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
