检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
hce_2.0 PyTorch:pytorch_2.1.0 FrameworkPTAdapter:6.0.RC2 如果用到CCE,版本要求是CCE Turbo v1.25及以上 软件包获取地址 软件包名称 软件包说明 获取地址 AscendCloud-6.3.906-xxx.zip 包含
如果自定义镜像中不含训练代码则需要配置该参数,如果自定义镜像中已包含训练代码则不需要配置。 需要提前将代码上传至OBS桶中,目录内文件总大小要小于或等于5GB,文件数要小于或等于1000个,文件深度要小于或等于32。
本文旨在帮助您了解Lite Server的基本使用流程,帮助您快速上手,使用流程包含以下步骤。 图1 使用流程 资源开通 由于Server为一台裸金属服务器,因此需要先购买资源后才能使用。
填写Notebook基本信息,包含名称、描述、是否自动停止。 填写Notebook详细参数,如选择镜像、资源规格等。
SSL证书制作包含cert.pem和key.pem,需自行生成。生成方式请参见•通过openssl创建SSLpem证书。 图1 准备模型文件和权重文件 创建推理脚本文件run_vllm.sh run_vllm.sh脚本示例如下。
description String 对训练作业的描述,默认为“NULL”,字符串的长度限制为[0, 256]。 create_time Long 训练作业创建时间戳,单位为毫秒,创建成功后由ModelArts生成返回,无需填写。
管理操作包含如何添加可使用资产的新用户、如何审批用户申请使用资产的请求。 添加可使用资产的新用户。 数据集发布成功后,如果数据集所有者要新增可使用资产的新用户,则可以在数据集详情页添加新用户。
微调数据集预处理参数说明 微调包含SFT和LoRA微调。数据集预处理脚本参数说明如下: --input:原始数据集的存放路径。
输出数据预处理结果路径: 训练完成后,以 llama2-13b 为例,输出数据路径为:/home/ma-user/work/llm_train/processed_for_input/llama2-13b/data/pretrain/ 微调数据集预处理参数说明 微调包含SFT和LoRA
输出数据预处理结果路径: 训练完成后,以 llama2-13b 为例,输出数据路径为:/home/ma-user/ws/llm_train/AscendSpeed/processed_for_input/llama2-13b/data/pretrain/ 微调数据集预处理参数说明 微调包含
按节点比例:重置任务包含多个节点时,同时被重置节点的最高比例。 按节点数量:重置任务包含多个节点时,同时被重置节点的最大个数。 单击“操作记录”可查看当前资源池重置节点的操作记录。重置中节点状态为“重置中”,重置成功后,节点状态变为“可用”。重置节点操作不会收取费用。
obj.data应包含以下内容,train和valid子集必须至少有一个,其中文件路径均为相对路径。
description String 对训练作业的描述,默认为“NULL”,字符串的长度限制为[0, 256]。 create_time Long 训练作业创建时间戳,单位为毫秒,创建成功后由ModelArts生成返回,无需填写。
7 output_path /home/ma-user/work 否 advisor分析结果输出路径,包含html和xlsx两个文件。 如果您想修改参数配置,可以点开Advanced Settings选项开关,然后对参数进行新增或修改。界面参考下图。
输出数据预处理结果路径: 训练完成后,以 llama2-13b 为例,输出数据路径为:/home/ma-user/work/llm_train/processed_for_input/llama2-13b/data/pretrain/ 微调数据集预处理参数说明 微调包含SFT和LoRA
version_name String 数据集的版本名称,名称仅包含数字、字母、中划线和下划线,长度是0-32位。
2.1.0 MindSpore:MindSpore 2.3.0 FrameworkPTAdapter:6.0.RC2 如果用到CCE,版本要求是CCE Turbo v1.25及以上 软件包获取地址 软件包名称 软件包说明 获取地址 AscendCloud-6.3.907-xxx.zip 包含
“t10k-images-idx3-ubyte.gz”:验证集的压缩包文件,共包含10000个样本。 “t10k-labels-idx1-ubyte.gz”:验证集标签的压缩包文件,共包含10000个样本的类别标签。
步骤一:准备工作 注册华为账号并开通华为云、实名认证 注册华为账号并开通华为云 进行实名认证 配置委托访问授权 ModelArts使用过程中涉及到OBS等服务交互,首次使用ModelArts需要用户配置委托授权,允许访问这些依赖服务。
新构建的镜像中,包含有ModelLink、MindSpeed、Megatron-LM等代码,在集群中启动容器即可通过/home/ma-user/AscendSpeed路径访问。