检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
由于模型中LoRA微调训练存在已知的精度问题，因此不支持TP(tensor model parallel size)张量模型并行策略，推荐使用PP(pipeline model parallel size)流水线模型并行策略，具体详细参数配置如表2所示。 Step2 创建LoRA微调训练任务
中需要安装后在本地Terminal中使用。安装步骤具体可参考（可选）本地安装ma-cli。 ma-cli不支持在git-bash上使用。 推荐使用Linux Bash、ZSH、Fish，WSL或PowerShell等Terminal。在使用过程中，注意您的敏感信息数据保护，避免敏感信息泄露。
据Commit码和Notebook实例镜像架构下载。 如果下载报错“Not Found”，请下载别的版本VS Code重新在本地安装，目前推荐: Vscode-1.86.2。 如果实例的架构是x86_64的，通过下面的链接，手动修改comment-id（commit-id替换时去
右上角“删除”删除服务。 删除操作无法恢复，请谨慎操作。 没有委托授权时，无法删除服务。 如果在线服务开启了“运行日志输出”，删除服务时，推荐同时删除LTS中的日志以及日志流，避免LTS日志流超过限额产生额外费用，如后续不再使用，建议删除。 重启服务 只有当在线服务处于“运行中”
28和-1，W8A16支持-1。 --w-bit：量化比特数，W4A16设置4，W8A16设置8。 --calib-data：数据集路径，推荐使用：https://huggingface.co/datasets/mit-han-lab/pile-val-backup，注意需指定到val
模型精度信息，从配置文件读取，可不填。非模板参数 source_type 否 String 模型来源的类型，当前仅可取值“auto”，用于区分通过自动学习部署过来的模型(不提供模型下载功能)；用户通过训练作业和其他方式部署的模型不设置此值。默认值为空。非模板参数 dependencies 否
28和-1，W8A16支持-1。 --w-bit：量化比特数，W4A16设置4，W8A16设置8。 --calib-data：数据集路径，推荐使用：https://huggingface.co/datasets/mit-han-lab/pile-val-backup，注意需指定到val
--max-num-batched-tokens：prefill阶段，最多会使用多少token，必须大于或等于--max-model-len，推荐使用4096或8192。 --dtype：模型推理的数据类型。支持FP16和BF16数据类型推理。float16表示FP16，bfloat16表示BF16。
co/meta-llama/Llama-2-70b-hf https://huggingface.co/meta-llama/Llama-2-70b-chat-hf (推荐) 4 llama3 llama3-8b https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct
--max-num-batched-tokens：prefill阶段，最多会使用多少token，必须大于或等于--max-model-len，推荐使用4096或8192。 --dtype：模型推理的数据类型。支持FP16和BF16数据类型推理。float16表示FP16，bfloat16表示BF16。
28和-1，W8A16支持-1。 --w-bit：量化比特数，W4A16设置4，W8A16设置8。 --calib-data：数据集路径，推荐使用：https://huggingface.co/datasets/mit-han-lab/pile-val-backup，注意需指定到val
sparsity：可选，剪枝稀疏度，稀疏度越大剪枝压缩率越高，默认0.1。 memory_efficient：可选，优化剪枝过程中的显存使用，推荐传入。 eval：可选，是否进行压缩后模型的PPL评估。如果输入此参数，在wikitext2以及c4数据上进行PPL计算。 具体的代码示例如下。
28和-1，W8A16支持-1。 --w-bit：量化比特数，W4A16设置4，W8A16设置8。 --calib-data：数据集路径，推荐使用：https://huggingface.co/datasets/mit-han-lab/pile-val-backup，注意需指定到val
28和-1，W8A16支持-1。 --w-bit：量化比特数，W4A16设置4，W8A16设置8。 --calib-data：数据集路径，推荐使用：https://huggingface.co/datasets/mit-han-lab/pile-val-backup，注意需指定到val
型训练中的精度问题。 精度预检工具旨在计算单个API在整网计算中和标杆场景下的差异，对于无明确精度差异来源情况或者对模型了解不多的情形下都推荐使用预检工具，检查第一个步骤或Loss明显出现问题的步骤。它可以抓取模型中API输入的数值范围，根据范围随机生成输入，用相同的输入分别在N
28和-1，W8A16支持-1。 --w-bit：量化比特数，W4A16设置4，W8A16设置8。 --calib-data：数据集路径，推荐使用：https://huggingface.co/datasets/mit-han-lab/pile-val-backup，注意需指定到val
据层的安全防护套件。及时检测主机层、应用层、网络层和数据层的安全入侵行为。 ModelArts服务涉及对互联网开放的Web应用，采用了统一推荐的Web安全组件防范Web安全风险，并且通过WAF进行安全防护。 所有承载ModelArts服务的主机部署了主机安全防护产品。包括不限于华为自研HSS或计算安全平台CSP。
28和-1，W8A16支持-1。 --w-bit：量化比特数，W4A16设置4，W8A16设置8。 --calib-data：数据集路径，推荐使用：https://huggingface.co/datasets/mit-han-lab/pile-val-backup，注意需指定到val
28和-1，W8A16支持-1。 --w-bit：量化比特数，W4A16设置4，W8A16设置8。 --calib-data：数据集路径，推荐使用：https://huggingface.co/datasets/mit-han-lab/pile-val-backup，注意需指定到val
Turbo网段不能与172网段重叠，否则会和容器网络发生冲突，因为容器网络使用的是172网段。 如果不满足条件，则修改SFS Turbo的VPC网段，推荐网段为10.X.X.X。具体操作请参见修改虚拟私有云网段。 如果满足条件，则继续下一步。 查看SFS Turbo的VPC网段的安全组是否被限制了。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
