检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
附录：指令微调训练常见问题 问题1：在训练过程中遇到NPU out of memory 解决方法： 将yaml文件中的per_device_train_batch_size调小，重新训练如未解决则执行下一步。 替换深度学习训练加速的工具或增加zero等级，可参考各个模型深度学习训
String EFS专属存储盘uri，只有当category为EFS，同时ownership为DEDICATED时必填。 登录弹性文件服务控制台，在文件系统列表中，单击文件系统名称进入详情页。其中，“共享路径”即为此参数的参数值。 id 否 String EFS专属存储盘ID，只有当cate
ModelArts Lite涉及的资源配额 服务 资源类型 ECS资源类型 ECS实例数 CPU核心数 RAM容量（MB） 弹性公网IP EIP资源 伸缩带宽策略 云硬盘EVS SFS资源 磁盘数 磁盘容量（GB） 快照数 弹性文件服务SFS资源 容量配额
conditioning_images.zip unzip images.zip 接着修改fill50k.py文件，如果机器无法访问huggingface网站，则需要将脚本文件中下载地址替换为容器本地目录。 56 def _split_generators(self, dl_manager):
figMap资源以文件系统的方式挂载到了prometheus容器的“/etc/prometheus”目录，并且通过--config.file=/etc/prometheus/prometheus.yml参数指定了“/bin/prometheus”使用该配置文件。 apiVersion:
附录：大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory。 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified max_model_len
选择技术文章所属分类。 3 输入摘要信息。 4 编辑技术文章的内容。右侧可以选择使用“富文本编辑器”或“markdown”方式编辑内容，也可上传附件，支持rar，zip，doc，docx，xls，xlsx，ppt，pptx，pdf，txt格式的附件，单个附件大小不超过20M，最多可传5个附件。
--backend：服务类型，支持tgi、vllm、mindspore、openai等。本文档使用的推理接口是vllm。 --host：服务IP地址，如127.0.0.1。 --port：服务端口，和推理服务端口8080。 --url：若以vllm接口方式启动服务，API接口公网地
L=1 export ASCEND_SLOG_PRINT_TO_STDOUT=1 模型转换时指定AOE调优配置文件。 # shell # 模型转换时指定AOE调优配置文件并将调优日志输出到aoe_unet.log。 mkdir aoe_output converter_lite
查看在线服务详情 当模型部署为在线服务成功后，您可以进入“在线服务”页面，来查看服务详情。 登录ModelArts管理控制台，在左侧菜单栏中选择“模型部署 > 在线服务”，进入“在线服务”管理页面。 单击目标服务名称，进入服务详情页面。 您可以查看服务的“名称”、“状态”等信息，详情说明请参见表1。
/home/ma-user/Qwen1.5-72B-Chat-AWQ 参数说明： model：模型路径。 Step3 启动AWQ量化服务 参考Step6 启动推理服务，在启动服务时添加如下命令。 -q awq 或者--quantization awq 父主题： 推理模型量化
/home/ma-user/Qwen1.5-72B-Chat-AWQ 参数说明： --model：模型路径。 Step3 启动AWQ量化服务 参考Step3 启动推理服务，在启动服务时添加如下命令。 --q awq 或者--quantization awq 父主题： 推理模型量化
ModelArts在任务执行过程中需要访问用户的其他服务，典型的就是训练过程中，需要访问OBS读取用户的训练数据。在这个过程中，就出现了ModelArts“代表”用户去访问其他云服务的情形。从安全角度出发，ModelArts代表用户访问任何云服务之前，均需要先获得用户的授权，而这个动作就是一个“委托”的过程。
key和secret key），默认是PWD。 -rp / --region-profile String 否 指定ModelArts region配置文件信息。 -a / --account String 否 IAM租户账号，在使用IAM用户认证场景时需要指定，属于PWD鉴权的一部分。 -u
--backend：服务类型，支持tgi、vllm、mindspore、openai等。本文档使用的推理接口是vllm。 --host：服务IP地址，如127.0.0.1。 --port：服务端口，和推理服务端口8080。 --url：若以vllm接口方式启动服务，API接口公网地
Calling能力允许模型调用外部函数或服务，以扩展其自身的能力，执行它本身无法完成的任务。以下是一些Function Calling的使用场景： 表1 Function Calling使用场景说明 使用场景 说明 增强能力 大模型通过Function Calling可以调用外部工具或服务，例如实时数据检
预先准备需要编译下载的依赖包，减少依赖包下载和编译的时间。可通过线下wheel包方式安装运行环境依赖。线下wheel包安装，需确保wheel包与模型文件放在同一目录。 优化模型代码，提高构建模型镜像的编译效率。 父主题： 模型管理
benchmark_parallel.csv 参数说明： --backend：服务类型，支持tgi、vllm、mindspore等。本文档使用的推理接口是vllm。 --host：服务IP地址，如127.0.0.1。 --port：服务端口，和推理服务端口8080。 --url：API接口公网地址与"/v
为PretrainedFromHF。 --tokenizer-name-or-path：tokenizer的存放路径，与HF权重存放在一个文件夹下。 --seq-length：要处理的最大seq length。 --workers：设置数据处理使用执行卡数量 / 启动的工作进程数。
py中修改优化器为apex混合精度模式下的DDP优化方式（修改点：注释第161和167行，增加第168~170行）。 二进制调优使能，减少算子编译耗时，在train.py头文件导入之后添加 （修改点：增加第37行）。 torch_npu.npu.set_compile_mode(jit_compile=False)
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
