检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ng库的文件操作API(mox.file.copy_parallel)完成。 在PyCharm环境中开启Terminal,VS Code中操作类似。 图2 PyCharm环境开启Terminal 在本地IDE的Terminal中使用Moxing上传OBS文件到Notebook的操作示例如下:
在“Other”区域下,选择“Terminal”,新建一个terminal文件。 在代码输入栏输入以下命令,获取当前环境的kernel,并激活需要安装依赖的python环境。 cat /home/ma-user/README source /home/ma-user/anaconda3/bin/activate
推理服务高阶配置(可选) 如需开启以下高阶配置,请在•创建推理脚本文件run_vllm.sh章节创建的推理脚本run_vllm.sh中增加需要开启的高阶配置。 词表切分 在分布式场景下,默认不使用词表切分能提升推理性能,同时也会增加单卡的显存占用。不建议开启词表并行,如确需使用词表切分,配置以下环境变量。
于64位且不能为空。 “描述” 对Notebook的简要描述。 “自动停止” 默认开启,且默认值为“1小时”,表示该Notebook实例将在运行1小时之后自动停止,即1小时后停止规格资源计费。 开启自动停止功能后,可选择“1小时”、“2小时”、“4小时”、“6小时”或“自定义”几
需和服务启动时配置的num-scheduler-steps一致。默认为1。 --enable-prefix-caching:服务端是否启用enable-prefix-caching特性,默认为false。 脚本运行完成后,测试结果保存在benchmark_parallel.csv中,示例如下图所示。
细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件,为用户提供推理部署方案,帮助用户使能大模型业务。 约束限制 本方案目前仅适用于部分企业客户。 本文档适配昇腾云ModelArts 6.3.910版本,请参考软件配套版本获取配套版本的软件包,请严格遵照版本配套关系使用本文档。
附录:训练常见问题 问题1:在训练过程中遇到NPU out of memory 解决方法: 容器内执行以下命令,指定NPU内存分配策略的环境变量,开启动态内存分配,即在需要时动态分配内存,可以提高内存利用率,减少OOM错误的发生。 export PYTORCH_NPU_ALLOC_CONF
附录:微调训练常见问题 问题1:在训练过程中遇到NPU out of memory 解决方法: 容器内执行以下命令,指定NPU内存分配策略的环境变量,开启动态内存分配,即在需要时动态分配内存,可以提高内存利用率,减少OOM错误的发生。 export PYTORCH_NPU_ALLOC_CONF
参数名称 配置说明 Name 自定义名称。 URL 设置为从步骤1获取的HTTP URL信息。 Basic auth 建议开启。 Skip TLS Verify 建议开启。 User 设置为从步骤a获取的用户名信息。 Password 设置为从步骤a获取的密码信息。 配置完成后,单击下方的“Save
要进行微调。 AI Gallery的模型微调,简单易用,用户只需要选择训练数据、创建微调任务,模型微调就会对数据进行训练,快速生成模型。 约束限制 如果模型的“任务类型”是“文本问答”或“文本生成”,则支持模型微调。如果模型的“任务类型”是除“文本问答”和“文本生成”之外的类型(
9a SWR上拉取。 表2 模型镜像版本 模型 版本 CANN cann_8.0.rc2 驱动 23.0.6 PyTorch 2.1.0 约束限制 本文档适配昇腾云ModelArts 6.3.907版本,请参考获取软件和镜像获取配套版本的软件包和镜像,请严格遵照版本配套关系使用本文档。
50158-b521cc0 SWR上拉取 表2 模型镜像版本 模型 版本 CANN cann_8.0.rc2 PyTorch 2.1.0 约束限制 本文档适配昇腾云ModelArts 6.3.905版本,请参考获取软件和镜像获取配套版本的软件包和镜像,请严格遵照版本配套关系使用本文档。
80 SWR上拉取。 表2 模型镜像版本 模型 版本 CANN cann_8.0.rc3 驱动 23.0.6 PyTorch 2.1.0 约束限制 本文档适配昇腾云ModelArts 6.3.908版本,请参考获取软件和镜像获取配套版本的软件包和镜像,请严格遵照版本配套关系使用本文档。
b中另起一个Terminal,执行benchmark脚本进行性能测试。若需要在生产环境中进行推理性能测试,请通过调用接口的方式进行测试。 约束限制 创建在线服务时,每秒服务流量限制默认为100次,若静态benchmark的并发数(parallel-num参数)或动态benchma
主流开源大模型基于Standard适配PyTorch NPU训练指导(6.3.906) 场景介绍 准备工作 预训练 SFT全参微调训练 LoRA微调训练 开启训练故障自动重启功能 查看日志和性能 训练脚本说明 父主题: LLM大语言模型训练推理
必须开启此参数。 --served-model-name:vllm服务后台id。 可在run_vllm.sh增加如下环境变量开启高阶配置: export DEFER_DECODE=1 # 是否使用推理与Token解码并行;默认值为1表示开启并行,取值为0表示关闭并行。开启该功能
/etc/ssh/sshd_config #开启防暴力机制 sed -i "s/^.ClientAliveInterval.*/ClientAliveInterval 300/g" /etc/ssh/sshd_config #开启会话超时机制 systemctl restart
对已经关联的资产,单击“取消关联”即可取消资产的关联。 发表评论 请确保开启了邮箱通知。 在“AI Gallery”页面中,单击右上角“我的Gallery > 我的资料”进入我的资料页面,查看“开启邮箱通知”开关,默认是打开的。如果未打开请开启。 选择“评论”页签在输入框中输入评论内容,单击“发表
使用从OBS选择的数据创建表格数据集如何处理Schema信息? Schema信息表示表格的列名和对应类型,需要跟导入数据的列数保持一致。 若您的原始表格中已包含表头,需要开启“导入是否包含表头”开关,系统会导入文件的第一行(表头)作为列名,无需再手动修改Schema信息。 若您的原始表格中没有表头,需要关闭“导
用户提供推理部署方案,帮助用户使能大模型业务。 本方案目前仅适用于部分企业客户,完成本方案的部署,需要先联系您所在企业的华为方技术支持。 约束限制 本方案目前仅适用于部分企业客户。 本文档适配昇腾云ModelArts 6.3.910版本,请参考软件配套版本获取配套版本的软件包,请严格遵照版本配套关系使用本文档。