检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
\ --dtype=float16 \ --tensor-parallel-size=1 \ --block-size=128 \ --host=0.0.0.0 \ --port=8080 \ --gpu-memory-utilization=0.9 \ --trust-remote-code
in_13b.sh <MASTER_ADDR=localhost> <NNODES=1> <NODE_RANK=0> 示例： sh scripts/llama2/0_pl_pretrain_13b.sh localhost 1 0 定义变量形式：提前定义主节点IP地址、节点个
notebook中进行测试： cd benchmark_tools python benchmark_parallel.py --backend vllm --host 127.0.0.1 --port 8080 --tokenizer /path/to/tokenizer --epochs 10 --parallel-num
\ --dtype=float16 \ --tensor-parallel-size=1 \ --block-size=128 \ --host=0.0.0.0 \ --port=8080 \ --gpu-memory-utilization=0.9 \ --trust-remote-code
scripts/llama2/0_pl_lora_13b.sh <MASTER_ADDR=localhost> <NNODES=1> <NODE_RANK=0> sh scripts/llama2/0_pl_lora_13b.sh localhost 1 0 定义变量形式：提前定义主节点IP地址、节点个数、节点RANK的环境变量并赋值，再执行脚本。
scripts/llama2/0_pl_lora_13b.sh <MASTER_ADDR=localhost> <NNODES=1> <NODE_RANK=0> sh scripts/llama2/0_pl_lora_13b.sh localhost 1 0 定义变量形式：提前定义主节点IP地址、节点个数、节点RANK的环境变量并赋值，再执行脚本。
\ --dtype=float16 \ --tensor-parallel-size=1 \ --block-size=128 \ --host=${docker_ip} \ --port=8080 \ --gpu-memory-utilization=0.9 \ --trust-remote-code
{} \n'.format(str(data)) # host must be "0.0.0.0", port must be 8080 if __name__ == '__main__': app.run(host="0.0.0.0", port=8080) 进入“se
0.95 --max-model-len=4096 --trust-remote-code --dtype="float16" --host=0.0.0.0 --port=8080 参数说明： ${ASCEND_RT_VISIBLE_DEVICES}：使用的NPU卡，单卡设为0即可，4卡可设为0
scripts/llama2/0_pl_lora_13b.sh <MASTER_ADDR=localhost> <NNODES=1> <NODE_RANK=0> sh scripts/llama2/0_pl_lora_13b.sh localhost 1 0 训练完成后，请参考查看日志和性能章节查看LoRA微调训练的日志和性能。
当前使用的操作系统及版本 当前推理业务的操作系统及版本，如：Ubuntu 22.04。 是否使用容器化运行业务，以及容器中OS版本，HostOS中是否有业务软件以及HostOS的类型和版本。 需要评估是否愿意迁移到华为云的通用OS。 - AI引擎及版本 当前引擎（TF/PT/LibTorch），是否接受切换MindSpore。
scripts/llama2/0_pl_sft_13b.sh <MASTER_ADDR=localhost> <NNODES=1> <NODE_RANK=0> sh scripts/llama2/0_pl_sft_13b.sh localhost 1 0 训练完成后，请参考查看日志和性能章节查看SFT微调的日志和性能。
代码上方有相应的调试步骤。 相关操作 卸载VS Code插件操作如图15所示。 图15 卸载VS Code插件 常见问题 报错“Permissions for 'x:/xxx.pem' are too open”如何解决？ 报错“ssh: connect to host ModelArts-xxx
欠拟合的解决方法有哪些？ 模型复杂化。 对同一个算法复杂化。例如回归模型添加更多的高次项，增加决策树的深度，增加神经网络的隐藏层数和隐藏单元数等。 弃用原来的算法，使用一个更加复杂的算法或模型。例如用神经网络来替代线性回归，用随机森林来代替决策树。 增加更多的特征，使输入数据具有更强的表达能力。
Notebook中进行测试： cd benchmark_tools python benchmark_parallel.py --backend vllm --host 127.0.0.1 --port 8080 --tokenizer /path/to/tokenizer --epochs 10 --parallel-num
本地导入的算法有哪些格式要求？ ModelArts支持导入本地开发的算法，格式要求如下： 编程语言不限。 启动文件必须选择以“.py”结尾的文件。 文件数（含文件、文件夹数量）不超过1024个。 文件总大小不超过5GB。 父主题： 功能咨询
间根据dockerBaseSize的配置来决定，可访问的存储空间比较小，因此建议通过挂载外部存储空间解决存储空间受限问题。 容器中挂载存储有多种方式，不同的场景下推荐的存储方式不一样，详情如表1所示。容器存储的基础知识了解请参见存储基础知识，有助您理解本章节内容。您可查看数据盘空
创建自动学习项目有个数限制吗？ ModelArts自动学习，包括图像分类项目、物体检测项目、预测分析项目、声音分类和文本分类项目。您最多只能创建100个自动学习项目。 父主题： 创建项目
scripts/llama2/0_pl_sft_13b.sh <MASTER_ADDR=localhost> <NNODES=1> <NODE_RANK=0> sh scripts/llama2/0_pl_sft_13b.sh localhost 1 0 训练完成后，生成的权重文件保存路径为：/home/ma-
in_13b.sh <MASTER_ADDR=localhost> <NNODES=1> <NODE_RANK=0> 示例： sh scripts/llama2/0_pl_pretrain_13b.sh localhost 1 0 等待模型载入 执行训练启动命令后，等待模型载
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
