检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以llama2-13b举例，使用训练作业运行：obs_pipeline.sh 训练脚本后，脚本自动执行数据集预处理，并检查是否已经完成数据集预处理。 如果已完成数据集预处理，则直接执行训练任务。如果未进行数据集预处理，则会自动执行scripts/llama2/1_preprocess_data
依赖的环境“/modelarts/authoring/notebook-conda/bin/pip”进行安装，不要使用默认的anaconda（kernel依赖的python环境）的pip进行安装。 使用命令jupyter labextension list --app-dir=/home/ma-user/
“S3_USE_HTTPS=1” 表5 PIP源和API网关地址环境变量 变量名 说明 示例 MA_PIP_HOST PIP源域名。 “MA_PIP_HOST=repo.myhuaweicloud.com” MA_PIP_URL PIP源地址。 “MA_PIP_URL=http://repo
在ModelArts的Notebook或者CodeLab中已创建好ipynb文件，开发指导可参见开发工具。 发布Notebook 登录ModelArts管理控制台，选择“开发环境 > Notebook”。 打开“运行中”的Notebook实例进入JupyterLab页面，在待分享的ipynb文件右侧，单击“创建分享”按钮，弹出“发布AI
}, { "arch": "x86_64", "description": "AI inference application development, preconfigured ModelBox and AI engine LibTorch, only SSH connection
大模型加载启动的时间一般大于普通的模型创建的服务，请配置合理的“部署超时时间”，避免尚未启动完成被认为超时而导致部署失败。 添加环境变量 部署服务时，增加如下环境变量，会将负载均衡的请求亲和策略配置为集群亲和，避免未就绪的服务实例影响预测成功率。 MODELARTS_SERVICE_TRAFFIC_POLICY: cluster
训练的权重转换说明 以llama2-13b举例，使用训练作业运行obs_pipeline.sh脚本后，脚本自动执行权重转换，并检查是否已经完成权重转换的过程。 如果已完成权重转换，则直接执行训练任务。如果未进行权重转换，则会自动执行scripts/llama2/2_convert_mg_hf.sh。脚本具体参数如下：
如何在ModelArts的Notebook中配置Conda源？ 用户可以在Notebook开发环境中自行安装开发依赖包，方便使用。常见的依赖安装支持pip和Conda，pip源已经配置好，可以直接使用安装，Conda源需要多一步配置。 本章节介绍如何在Notebook开发环境中配置Conda源。 配置Conda源
训练的权重转换说明 以llama2-13b举例，使用训练作业运行obs_pipeline.sh脚本后，脚本自动执行权重转换，并检查是否已经完成权重转换的过程。 如果已完成权重转换，则直接执行训练任务。如果未进行权重转换，则会自动执行scripts/llama2/2_convert_mg_hf.sh。脚本具体参数如下：
训练的权重转换说明 以llama2-13b举例，使用训练作业运行obs_pipeline.sh脚本后，脚本自动执行权重转换，并检查是否已经完成权重转换的过程。 如果已完成权重转换，则直接执行训练任务。如果未进行权重转换，则会自动执行scripts/llama2/2_convert_mg_hf.sh。脚本具体参数如下：
训练的权重转换说明 以llama2-13b举例，使用训练作业运行obs_pipeline.sh脚本后，脚本自动执行权重转换，并检查是否已经完成权重转换的过程。 如果已完成权重转换，则直接执行训练任务。如果未进行权重转换，则会自动执行scripts/llama2/2_convert_mg_hf.sh。脚本具体参数如下：
llama2-13b 举例，使用训练作业运行 obs_pipeline.sh 脚本后，脚本自动执行权重转换，并检查是否已经完成权重转换的过程。 若已完成权重转换，则直接执行训练任务。若未进行权重转换，则会自动执行scripts/llama2/2_convert_mg_hf.sh。脚本具体参数如下：
LLM-xxx.zip在本地解压缩后。在上传代码前，需要对解压后的训练脚本代码进行修改。具体文件为：修改llm_train/AscendSpeed/scripts/dev_pipeline.sh以及新建文件llm_train/AscendSpeed/scripts/tools/get_rank_table
#在benchmark_eval目录下 pip install -e . #下载对应依赖 cd ../human-eval #在benchmark_eval目录下 （可选，如果选择使用humaneval数据集） pip install -e . # 可选，如果选择使用humaneval数据集 pip install
若已完成数据集预处理，则直接执行预训练任务。若未进行数据集预处理，则会自动执行 scripts/llama2/1_preprocess_data.sh 。 预训练数据集预处理参数说明 预训练数据集预处理脚本scripts/llama2/1_preprocess_data.sh 中的具体参数如下：
如果已完成数据集预处理，则直接执行预训练任务。如果未进行数据集预处理，则会自动执行 scripts/llama2/1_preprocess_data.sh 。 预训练数据集预处理参数说明 预训练数据集预处理脚本scripts/llama2/1_preprocess_data.sh 中的具体参数如下：
如果已完成数据集预处理，则直接执行预训练任务。若未进行数据集预处理，则会自动执行 scripts/llama2/1_preprocess_data.sh 。 预训练数据集预处理参数说明 预训练数据集预处理脚本 scripts/llama2/1_preprocess_data.sh 中的具体参数如下：
如果已完成数据集预处理，则直接执行预训练任务。如果未进行数据集预处理，则会自动执行 scripts/llama2/1_preprocess_data.sh 。 预训练数据集预处理参数说明 预训练数据集预处理脚本scripts/llama2/1_preprocess_data.sh 中的具体参数如下：
如果已完成数据集预处理，则直接执行预训练任务。如果未进行数据集预处理，则会自动执行 scripts/llama2/1_preprocess_data.sh 。 预训练数据集预处理参数说明 预训练数据集预处理脚本scripts/llama2/1_preprocess_data.sh 中的具体参数如下：
若已完成数据集预处理，则直接执行预训练任务。若未进行数据集预处理，则会自动执行 scripts/llama2/1_preprocess_data.sh 。 ModelLink预训练数据集预处理参数说明 预训练数据集预处理脚本scripts/llama2/1_preprocess_data.sh 中的具体参数如下：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
