检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
级到最新版本。 支持的模型列表 本方案支持以下模型的训练，如表1所示。 表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
m.sh及SSL证书。此处以chatglm3-6b为例。 ascend_vllm代码包在Step9 构建推理代码已生成。 模型权重文件获取地址请参见表1。 推理启动脚本run_vllm.sh制作请参见•创建推理脚本文件run_vllm.sh。 SSL证书制作包含cert.pem和key
使用自定义镜像创建开发环境Notebook实例。 按需配置。 使用SSH功能 ECS ecs:serverKeypairs:list ecs:serverKeypairs:get ecs:serverKeypairs:delete ecs:serverKeypairs:create 为开发环境Notebook实例配置登录密钥。
Turbo的连接状态信息。可选值如下： Active：SFS连通状态正常 Abnormal：SFS连通状态异常 ipAddr String SFS Turbo的访问地址。 状态码：400 表19 响应Body参数 参数 参数类型 描述 error_code String ModelArts错误码。 error_msg
模型存放路径，AI Gallery的模型仓库地址，包含模型仓库的所有文件。 “/home/ma-user/.cache/gallery/model/ur12345--gpt2” ENV_AG_DATASET_DIR 数据集存放路径，AI Gallery的数据集仓库地址，包含数据集仓库的所有文件。
input String 表格数据集，HDFS路径。例如/datasets/demo。 ip String 用户GaussDB(DWS)集群的IP地址。 port String 用户GaussDB(DWS)集群的端口。 queue_name String 表格数据集，DLI队列名。 subnet_id
endFactory 下执行启动脚本。 启动训练脚本可使用以下两种启动命令，二选一即可，其中区别如下： 方法一：传递参数形式：将主节点IP地址、节点个数、节点RANK的参数传递至运行的脚本中执行。 多机执行命令为：sh scripts_modellink/llama2/0_pl_sft_70b
（https://github.com/AUTOMATIC1111/stable-diffusion-webui）。 如果是基于其他开源，需要附带开源代码仓地址。 - 具体使用库 例如： 使用了哪个pipeline （例如lpw_stable_diffusion.py）。 使用了哪个huggingface的模型
vscode-server/bin/ 参数说明： - IdentityFile：本地密钥路径 - User：用户名，例如：ma-user - HostName：IP地址 - Port：端口号 vscode-server相关问题也可以使用上述的解决方法。 父主题： VS Code连接开发环境失败故障处理
--baseline <baseline> --o <output_dir> <cfgs_yaml_file>：性能测试配置的yaml文件地址，指代码目录中performance_cfgs.yaml相对或绝对路径，此配置文件为训练最优配置参数。 --baseline <basel
<master_addr> --num_nodes <nodes> --rank <rank> <cfgs_yaml_file>：性能测试配置的yaml文件地址，如代码目录中performance_cfgs.yaml相对或绝对路径。 <model_name>：训练模型名，如qwen2-7b <ru
具体如表1所示。 表1 支持的模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理 是否支持W4A16量化 是否支持W8A8量化 是否支持W8A16量化 是否支持 kv-cache-int8量化 开源权重获取地址 1 llama-7b √ √ √ √ √ https://huggingface
镜像在SWR上显示只有13G，安装少量的包，然后镜像保存过程会提示超过35G大小保存失败，为什么？ 如何保证自定义镜像能不因为超过35G而保存失败？ 如何减小本地或ECS构建镜像的目的镜像的大小？ 镜像过大，卸载原来的包重新打包镜像，最终镜像会变小吗？ 在ModelArts镜像管理注册镜像报错ModelArts
')则表示用户设置了proxy，需要先关掉 export no_proxy=$no_proxy,repo.myhuaweicloud.com（此处需要替换成对应局点的pip源地址） pip install py-spy 查看堆栈。py-spy工具的具体使用方法可参考py-spy官方文档。 # 找到训练进程的PID ps
Turbo的连接状态信息。可选值如下： Active：SFS连通状态正常 Abnormal：SFS连通状态异常 ipAddr String SFS Turbo的访问地址。 状态码：400 表20 响应Body参数 参数 参数类型 描述 error_code String ModelArts错误码。 error_msg
构建新镜像： docker build -t <镜像名称>:<版本名称> . 如无法访问公网则需配置代理，增加`--build-arg`参数指定代理地址确保访问公网。 docker build --build-arg "https_proxy=http://xxx.xxx.xxx.xxx"
级到最新版本。 支持的模型列表 本方案支持以下模型的训练，如表1所示。 表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
服务名称 必填项，自定义一个在线推理服务的名称。 支持1~30个字符。 安全认证 支持“公开”和“AppCode认证”。 公开：无需认证，API地址可被公开访问。 AppCode认证：需使用有效的AppCode进行认证。AppCode使用API网关颁发的AppCode进行身份认证，调用
baichuan2-13b 训练支持的模型列表 本方案支持以下模型的训练，如表1所示。 表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
peft版本升级到0.12.0 训练支持的模型列表 本方案支持以下模型的训练，如表1所示。 表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
