检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练的权重转换说明 以llama2-13b举例，使用训练作业运行obs_pipeline.sh脚本后，脚本自动执行权重转换，并检查是否已经完成权重转换的过程。 如果已完成权重转换，则直接执行训练任务。如果未进行权重转换，则会自动执行scripts/llama2/2_convert_mg_hf
with mox.file.File('obs://bucket_name/obs_file.txt', 'r') as f: data = f.readlines() 利用pandas读或写一个OBS文件 利用pandas读一个OBS文件。 1 2 3 4 import pandas
SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到OBS中，具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业，并自定义名称、描述等信息。选择自定义算法，启动方式自定义，以及选择上传的镜像。 代码目录选择：OBS桶路径下的llm_train/AscendSpeed代码目录。
# 定义输入的OBS对象 obs_data = wf.data.OBSPlaceholder(name="obs_placeholder_name", object_type="directory") # 通过JobStep来定义一个训练节点，并将训练结果输出到OBS job_step
Notebook。 Step2 准备权重文件 将OBS中的模型权重上传到Notebook的工作目录/home/ma-user/work/下。上传代码参考如下。 import moxing as mox obs_dir = "obs://${bucket_name}/${folder-name}"
Turbo 作业日志选择OBS中的路径，ModelArts的训练作业的日志信息则保存该路径下。 最后，请参考查看日志和性能章节查看LoRA微调的日志和性能。了解更多ModelArts训练功能，可查看模型开发简介。 父主题： 主流开源大模型基于Standard+OBS+SFS适配ModelLink
Turbo 作业日志选择OBS中的路径，ModelArts的训练作业的日志信息则保存该路径下。 最后，请参考查看日志和性能章节查看LoRA微调的日志和性能。了解更多ModelArts训练功能，可查看模型开发简介。 父主题： 主流开源大模型基于Standard+OBS+SFS适配ModelLink
查询服务日志 查询当前服务对象的日志信息。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式1：根据部署在线服务生成的服务对象进行查询服务日志 1 2 3 4 5 6 7 from
说明 资产标题 在AI Gallery显示的资产名称。 来源 可选择“ModelArts”、“对象存储服务（OBS）”、“本地上传”。 ModelArts区域 选择当前控制台所在的区域。 OBS区域 选择与当前控制台一致的区域。 存储位置 用来存储发布的资产。 数据类型 当前数据集的数据类型。
SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到OBS中，具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业，并自定义名称、描述等信息。选择自定义算法，启动方式自定义，以及选择上传的镜像。 代码目录选择：OBS桶路径下的llm_train/AscendSpeed代码目录。
用“SFS（存放数据）+普通OBS桶（存放代码）”，采用分布式训练。 当使用SFS+OBS的存储方案可以实现存储加速，该方案的端到端实践案例请参见面向AI场景使用OBS+SFS Turbo的存储加速实践。 表1 不同场景所需服务及购买推荐 场景 OBS SFS SWR DEW ModelArts
力场景（4台8卡Vnt1），存储方案使用“SFS（存放数据）+普通OBS桶（存放代码）”，采用分布式训练。 表1 不同场景所需服务及购买推荐 场景 OBS SFS SWR DEW ModelArts VPC ECS EVS 单机单卡 按需购买。（并行文件系统） × 免费。 免费。
SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到OBS中，具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业，并自定义名称、描述等信息。选择自定义算法，启动方式自定义，以及选择上传的镜像。 代码目录选择：OBS桶路径下的llm_train/AscendSpeed代码目录。
表1 配置说明 配置项 说明 模型名称 MaaS服务调用界面显示的模型名称。 API Key MaaS鉴权管理界面中创建的API Key。具体操作，请参见步骤一：获取API Key。 API Endpoint URL 服务调用界面中MaaS服务的基础API地址，需要去掉地址尾部的“/chat/completions”
此案例中的单价仅为示例，且计算出的费用为估算值。单价的变动和实际场景中计算出来的费用可能会有偏差。请以华为云官网发布的数据为准。 在使用ModelArts进行AI开发时，会将数据保存至OBS、EVS或SFS中，此时会产生单独的存储计费，具体费用以OBS、EVS和SFS的计费标准为准。 计费模式 计算规则 付费周期 费用计算
Notebook。 Step2 准备权重文件 将OBS中的模型权重上传到Notebook的工作目录/home/ma-user/work/下。上传代码参考如下。 import moxing as mox obs_dir = "obs://${bucket_name}/${folder-name}"
Notebook。 Step2 准备权重文件 将OBS中的模型权重上传到Notebook的工作目录/home/ma-user/work/下。上传代码参考如下。 import moxing as mox obs_dir = "obs://${bucket_name}/${folder-name}"
方法一：用户可打开scripts/llama2/2_convert_mg_hf.sh脚本，将执行的python命令复制下来，修改环境变量的值。在Notebook进入到 /home/ma-user/work/llm_train/AscendSpeed/ModelLink 路径中，再执行python命令。
方法一：用户可打开scripts/llama2/2_convert_mg_hf.sh脚本，将执行的python命令复制下来，修改环境变量的值。在Notebook进入到 /home/ma-user/work/llm_train/AscendSpeed/ModelLink 路径中，再执行python命令。
方法一：用户可打开scripts/llama2/2_convert_mg_hf.sh脚本，将执行的python命令复制下来，修改环境变量的值。在Notebook进入到 /home/ma-user/work/llm_train/AscendSpeed/ModelLink 路径中，再执行python命令。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
