检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
桶。 准备数据 准备训练数据,可以用本案使用的数据集,也可以使用自己准备的数据集。 准备权重 准备所需的权重文件。 准备代码 准备AscendSpeed训练代码。 准备镜像 准备训练模型适用的容器镜像。 准备Notebook 本案例需要创建一个Notebook,以便能够通过它访问SFS
获取地址 AscendCloud-6.3.909-xxx.zip 包含 三方大模型训练和推理代码包:AscendCloud-LLM AIGC代码包:AscendCloud-AIGC CV代码包:AscendCloud-CV 算子依赖包:AscendCloud-OPP 获取路径:Support-E
下载华为侧插件代码包AscendCloud-AIGC-6.3.908-xxx.zip文件,获取路径参见表1。本案例使用的是解压到子目录aigc_train->torch_npu->diffusers的所有文件,将diffusers整个目录上传到宿主机上。 依赖的插件代码包、模型包和
/etc/sysctl.conf sysctl -p | grep net.ipv4.ip_forward Step2 下载依赖代码包并上传到宿主机 下载华为侧插件代码包AscendCloud-AIGC-6.3.907-xxx.zip文件,获取路径参见表1。本案例使用的是解压到子目录ai
String 训练作业的代码目录。如:“/usr/app/”。应与boot_file_url一同出现,若填入model_id则app_url/boot_file_url和engine_id无需填写。 boot_file_url 是 String 训练作业的代码启动文件,需要在代码目录下。如:“/usr/app/boot
ser用户执行后续命令。 docker exec -it ${container_name} bash 步骤四:下载依赖代码包并上传到宿主机 下载华为侧插件代码包AscendCloud-AIGC-6.3.909-xxx.zip文件,获取路径参见表1。本案例使用的是解压到子目录/a
code_dir String 训练作业的代码目录。如:“/usr/app/”。应与boot_file一同出现,如果填入id或subscription_id+item_version_id则无需填写。 boot_file String 训练作业的代码启动文件,需要在代码目录下。如:“/usr/app/boot
pip install -e . 修改examples/quantizing_moe/deepseek_moe_w8a8_int8.py中的代码: 1)若本地已有权重,请将MODEL_ID修改为权重路径; MODEL_ID = "deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct"
pip install -e . 修改examples/quantizing_moe/deepseek_moe_w8a8_int8.py中的代码: 1)如果本地已有权重,请将MODEL_ID修改为权重路径; MODEL_ID = "deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct"
、使用方法等信息。 编辑完成后,单击“确认”保存修改。 管理数据集文件 预览文件 在数据集详情页,选择“数据集文件”页签。单击文件名称即可在线预览文件内容。 仅支持预览大小不超过10MB、格式为文本类或图片类的文件。 下载文件 在数据集详情页,选择“数据集文件”页签。单击操作列的
新版训练。 旧版训练迁移至新版训练需要注意哪些问题? 新版训练和旧版训练的差异主要体现在以下3点。 新旧版创建训练作业方式差异 新旧版训练代码适配的差异 新旧版训练预置引擎差异 父主题: 下线公告
建议使用官方提供的镜像部署推理服务。镜像地址{image_url}获取请参见表1。 docker pull {image_url} 步骤三 上传代码包和权重文件 上传安装依赖软件推理代码AscendCloud-LLM-6.3.909-xxx.zip和算子包AscendCloud-OPP-6.3.909-xxx
/etc/sysctl.conf sysctl -p | grep net.ipv4.ip_forward 步骤二:下载依赖代码包并上传到宿主机 下载华为侧插件代码包AscendCloud-AIGC-6.3.912-xxx.zip文件,获取路径参见表1。本案例使用的是解压到子目录ai
在“AI应用管理 > AI应用 > 我的订阅”页面,选择并展开订阅的目标模型。在版本列表单击“部署”,可以将订阅的ModelArts模型部署为“在线服务”、“批量服务”或“边缘服务”,详细操作步骤请参见部署服务。 使用订阅的HiLens技能: 在“产品订购 > 订单管理 > AI Ga
软件包名称 软件包说明 获取地址 AscendCloud-6.3.906-xxx.zip 包含 三方大模型训练和推理代码包:AscendCloud-LLM AIGC代码包:AscendCloud-AIGC 算子依赖包:AscendCloud-OPP 获取路径:Support-E 说明:
local/etc/jupyter/jupyter_notebook_config.py 在打开的juputer_notebook_config.py中,增加以下代码后按ESC退出然后输入:wq保存。 c.ServerProxy.servers = { 'grafana': { 'command':
pip install -e . 修改examples/quantizing_moe/deepseek_moe_w8a8_int8.py中的代码: 1)若本地已有权重,请将MODEL_ID修改为权重路径; MODEL_ID = "deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct"
3-1.0.1.0-ubuntu16.04-x86_64 USER ma-user 验证infiniband驱动是否安装成功。 在训练代码中执行以下命令,如果无报错则infiniband驱动安装成功: os.system("ofed_info") 父主题: FAQ
建议使用官方提供的镜像部署推理服务。镜像地址{image_url}获取请参见表1。 docker pull {image_url} 步骤三:上传代码包和权重文件 上传安装依赖软件推理代码AscendCloud-LLM-6.3.912-xxx.zip和算子包AscendCloud-OPP-6.3.912-xxx
创建本地模型,在开发环境Notebook调试完成后再部署到推理服务上。 只支持使用ModelArts Notebook部署本地服务。 示例代码 在ModelArts Notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。