检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
目前性能测试已经支持投机推理能力。 静态benchmark验证 本章节介绍如何进行静态benchmark验证。 已经上传benchmark验证脚本到推理容器中。如果在步骤四 制作推理镜像步骤中已经上传过AscendCloud-LLM-x.x.x.zip并解压，无需重复执行。 进入benchmark
创建AI应用时，OBS文件目录对应镜像里面的目录结构是什么样的？ 问题现象 创建AI应用时，元模型来源指定的OBS目录下存放了自定义的文件和文件夹，都会拷贝到镜像中去。拷贝进去的路径是什么，怎么读取对应的文件或者文件夹里面的内容？ 原因分析 通过OBS导入AI应用时，ModelA
Gallery数据集下载至OBS，然后在SDK直接使用此OBS目录下的数据即可。详细操作步骤如下所示： 将AI Gallery数据集下载至OBS。详细指导请参见下载数据集。 数据集可以直接下载至OBS，也可以下载至ModelArts数据集中，不管任何方式，其最终的存储路径均为OBS目录。 下载
该字段。 user_name 否 String 用户名，当user_id为all-users时，显示为所有用户。 响应参数 无 请求示例 上传授权。设置授权类型为“agency”，授权内容为“modelarts_agency”。 POST https://{endpoint}/v
{image_url} Step3 上传代码包和权重文件 上传安装依赖软件推理代码AscendCloud-LLM-6.3.907-xxx.zip和算子包AscendCloud-OPP-6.3.907-xxx.zip到主机中，包获取路径请参见表2。 将权重文件上传到DevServer机器中。
模型权重文件获取地址请参见支持的模型列表和权重文件。 若需要部署量化模型，请参考推理模型量化在Notebook中进行权重转换，并将转换后的权重上传至OBS中。 权重文件夹不要以"model"命名，若以"model"命名会导致后续创建AI应用报错。 推理启动脚本run_vllm.sh制
sh及SSL证书。此处以chatglm3-6b为例。 模型权重文件获取地址请参见表1。 若需要部署量化模型，请参考推理模型量化在Notebook中进行权重转换，并将转换后的权重上传至OBS中。 权重文件夹不要以"model"命名，若以"model"命名会导致后续创建AI应用报错。 推理启动脚本run_vllm.sh制
ama2-13b中创建文件夹llama2-13B-chat-hf。 参考文档利用OBS-Browser-Plus工具将步骤1下载的权重文件上传至步骤2创建的文件夹目录下。得到OBS下数据集结构，此处以llama2-13B为例（权重文件可能变化，以下仅为举例）： obs://<bu
出管道的具体信息。实例中“inputs”中“remote”下的“obs_url”表示从OBS桶中选择训练数据的OBS路径。实例中“outputs”下种“remote”下的“obs_url”表示上传训练输出至指定OBS路径。 “spec”字段下的“flavor_id”表示训练作业所
erdctl工具。 # docker login 替换为： nerdctl login 步骤五 修改并上传镜像 1. 在机器中输入Step4登录指令后，使用下列示例命令将镜像上传至SWR： nerdctl --namespace k8s.io tag ${dockerfile_image_name}
'April', 'text': 'April is the fourth month...' } 上传数据到指定目录 将下载的原始数据存放在/home/ma-user/ws/training_data目录下。具体步骤如下： 进入到/home/ma-user/ws/目录下。
当前裸金属服务器状态为停止状态。 目标操作系统必须是该Region下的IMS公共镜像或者私有共享镜像。 在BMS控制台切换操作系统 获取操作系统镜像。 由华为云官方提供给客户操作系统镜像，在IMS镜像服务的共享镜像处进行接收即可，参考如下图操作。 图1 共享镜像 切换操作系统。 对Lite Ser
准备Notebook 本案例需要创建一个Notebook，以便能够通过它访问SFS Turbo服务。随后，通过Notebook将OBS中的数据上传至SFS Turbo，并对存储在SFS Turbo中的数据执行编辑操作。 预训练 预训练 介绍如何进行预训练，包括训练数据处理、超参配置、创建训练任务及性能查看。
'April', 'text': 'April is the fourth month...' } 上传数据到指定目录 将下载的原始数据存放在/home/ma-user/ws/training_data目录下。具体步骤如下： 进入到/home/ma-user/ws/目录下。
图，并将模型上传到容器内自定义挂载的工作目录。 图2 模型列表 将模型复制到/home/ma-user/ComfyUI/models/checkpoints目录下。 将获取到的ComfyUI插件ascendcloud-aigc-6.3.904-*.tar.gz文件上传到容器的/h
还需要将模型放到对应位置。 下载模型，模型下载地址：SD1.5模型地址 ，SDXL模型下载地址。根据需要下载对应的模型，如下图，并将模型上传到容器内自定义挂载的工作目录，容器默认使用ma-user用户，请注意修改文件访问权限。 图2 模型列表 将模型复制到/home/ma-us
${node-path}：节点自定义目录，该目录下包含pod配置文件config.yaml。 ${model-path}：Step1 上传权重文件中上传的模型权重路径。 参考Step4 创建pod创建pod以用于后续进行模型量化 Step2 模型量化 可以在Huggingface开源
通过OBS导入AI应用时，如何编写打印日志代码才能在ModelArts日志查询界面看到日志？ 问题现象 用户通过OBS导入AI应用时，选择使用基础镜像，用户自己编写了部分推理代码实现自己的推理逻辑，出现故障后希望通过故障日志排查定位故障原因，但是通过logger打印日志无法在在线服务的日志中查看到部分内容。
lm loss参数随着训练迭代周期持续性减小，并逐渐趋于稳定平缓。 图2 查看日志和性能 父主题： 主流开源大模型基于Standard+OBS适配PyTorch NPU训练指导（6.3.907）
lm loss参数随着训练迭代周期持续性减小，并逐渐趋于稳定平缓。 图2 查看日志和性能 父主题： 主流开源大模型基于Standard+OBS适配PyTorch NPU训练指导（6.3.908）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
