检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在节点机器中Docker登录 在SWR中单击右上角的“登录指令”，然后在跳出的登录指定窗口，单击复制临时登录指令。 图1 复制登录指令 由于使用的容器引擎是containerd，不再是docker，因此需要改写复制的登录指令，将docker进行替换，使用nerdctl工具。 # docker
在节点机器中Docker登录 在SWR中单击右上角的“登录指令”，然后在跳出的登录指定窗口，单击复制临时登录指令。 图1 复制登录指令 由于使用的容器引擎是containerd，不再是docker，因此需要改写复制的登录指令，将docker进行替换，使用nerdctl工具。 # docker
在节点机器中Docker登录 在SWR中单击右上角的“登录指令”，然后在跳出的登录指定窗口，单击复制临时登录指令。 图1 复制登录指令 由于使用的容器引擎是containerd，不再是docker，因此需要改写复制的登录指令，将docker进行替换，使用nerdctl工具。 # docker
在节点机器中Docker登录 在SWR中单击右上角的“登录指令”，然后在跳出的登录指定窗口，单击复制临时登录指令。 图1 复制登录指令 由于使用的容器引擎是containerd，不再是docker，因此需要改写复制的登录指令，将docker进行替换，使用nerdctl工具。 # docker
在Notebook中通过Dockerfile从0制作自定义镜像 场景说明 本案例将基于ModelArts提供的MindSpore预置镜像，并借助ModelArts命令行工具(请参考ma-cli镜像构建命令介绍)，通过加载镜像构建模板并修改Dockerfile，构建出一个新镜像，最后注册后在Notebook使用。
VS Code连接远端Notebook时报错“XHR failed” 问题现象 VS Code连接远端Notebook时报错“XHR failed”。 原因分析 可能是所在环境的网络有问题，无法自动下载VS Code Server，请手动安装。 解决方法 打开VS Code，选择
推理业务迁移到昇腾的通用流程，可参考GPU推理业务迁移至昇腾的通用指导。 由于Huggingface网站的限制，访问Stable Diffusion链接时需使用代理服务器，否则可能无法访问网站。 在Stable Diffusion迁移适配时，更多的时候是在适配Diffusers和Stable Diffusion
推理精度测试 本章节介绍如何使用lm-eval工具开展语言模型的推理精度测试，数据集包含mmlu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证
本章节介绍如何使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools目录下。 代码目录如下: AutoSmoothQuant #量化工具 ├── asc
本章节介绍如何使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools目录下。 代码目录如下: AutoSmoothQuant #量化工具 ├── asc
nt的组合。 kv-cache-int8量化支持的模型请参见表3。 Step1使用tensorRT量化工具进行模型量化 使用tensorRT 0.9.0版本工具进行模型量化，工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0
在ModelArts的VS Code中如何把本地插件安装到远端或把远端插件安装到本地？ 在VS Code的环境中执行Ctrl+Shift+P 搜install local，按需选择即可 父主题： Standard Notebook
/home/ma-user 排查/home/ma-user/.ssh目录权限是否为755/750，不是该权限请修改。 连接时如果报错密钥无权限，排查密钥是否为自己的密钥（可能使用了重名密钥），请更换密钥后重新连接实例。 本地排查 检查配置是否正确。 打开config文件进行检查：Ho
在ECS中创建ma-user和ma-group 在ModelArts训练平台使用的自定义镜像时，默认用户为ma-user、默认用户组为ma-group。如果在训练时调用ECS中的文件，需要修改文件权限改为ma-user可读，否则会出现Permission denied错误，因此需
pip介绍及常用命令 pip常用命令如下： pip --help#获取帮助 pip install SomePackage==XXXX #指定版本安装 pip install SomePackage #最新版本安装 pip uninstall SomePackage #卸载软件版本
创建Notebook实例 通过JupyterLab在线使用Notebook实例进行AI开发 通过PyCharm远程使用Notebook实例 通过VS Code远程使用Notebook实例 通过SSH工具远程使用Notebook 管理Notebook实例 使用CodeLab免费体验Notebook ModelArts
本章节介绍如何使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools目录下。 代码目录如下: AutoSmoothQuant #量化工具 ├── asc
kv-cache-int8量化支持的模型请参见表3。 Step1使用tensorRT量化工具进行模型量化，必须在GPU环境 使用tensorRT 0.9.0版本工具进行模型量化，工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0
推理精度测试 本章节介绍如何使用lm-eval工具开展语言模型的推理精度测试，数据集包含mmlu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证
kv-cache-int8量化支持的模型请参见表3。 Step1使用tensorRT量化工具进行模型量化，必须在GPU环境 在GPU机器上使用tensorRT 0.9.0版本工具进行模型量化，工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
