检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
--hf-type：HuggingFace模型权重类型(base,chat), 默认为chat, 依据实际的模型选择。 --hf-path：本地 HuggingFace 权重的路径，比如/home/ma-user/nfs/model/Meta-Llama-3-8B。
finetuning_type full 用于指定微调策略类型，可选择值【full、lora】如果设置为"full"，则对整个模型进行微调。这意味着在微调过程中，除了输出层外，模型的所有参数都将被调整以适应新的任务。
RUN_TYPE pretrain 表示训练类型。可选择值：[pretrain, sft, lora]。
RUN_TYPE pretrain 表示训练类型。可选择值：[pretrain, sft, lora]。
RUN_TYPE pretrain 表示训练类型。可选择值：[pretrain, sft, lora]。
RUN_TYPE pretrain 表示训练类型。可选择值：[pretrain, sft, lora]。
RUN_TYPE pretrain 表示训练类型。可选择值：[pretrain, sft, lora]。
device_type 昇腾系列AI处理器类型。 gpu_uuid 节点上GPU的UUID。 gpu_index 节点上GPU的索引。 gpu_type 节点上GPU的型号。 device_name infiniband或RoCE网络网卡的设备名称。
支持FP16和BF16数据类型推理。 Lite k8s Cluster驱动版本推荐为23.0.6。 适配的CANN版本是cann_8.0.rc3。 资源规格要求 本文档中的模型运行环境是ModelArts Lite的Lite k8s Cluster。
RUN_TYPE pretrain 表示训练类型。可选择值：[pretrain, sft, lora]。
表1 请求服务参数说明 参数 是否必选 默认值 参数类型 描述 model 是 无 Str 通过OpenAI服务API接口启动服务时，推理请求必须填写此参数。取值必须和启动推理服务时的model ${container_model_path}参数保持一致。
RUN_TYPE pretrain 表示训练类型。可选择值：[pretrain, sft, lora]。
表1 不同Notebook规格资源“/cache”目录的大小 规格类别 cache盘大小 GPU-0.25卡 500G*0.25 GPU-0.5卡 500G*0.5 GPU-单卡 500G GPU-双卡 500G*2 GPU-四卡 500G*4 GPU-八卡 3T 昇腾-单卡 500G
在“创建告警规则”页面，“资源类型”选择“ModelArts”，“维度”选择“服务”，“触发规则”选择“自定义创建”，设置告警策略，完成其他信息填写后，单击“立即创建”。 方式二：对单个服务设置告警规则 登录管理控制台。
RUN_TYPE pretrain 表示训练类型。可选择值：[pretrain, sft, lora]。
RUN_TYPE pretrain 表示训练类型。可选择值：[pretrain, sft, lora]。
None: """ mindir模型代理类 Args: model_path: mindir文件路径 model_name: 模型名称 device_type: 设备类型
支持FP16和BF16数据类型推理。 Lite k8s Cluster驱动版本推荐为23.0.6。 适配的CANN版本是cann_8.0.rc3。 资源规格要求 本文档中的模型运行环境是ModelArts Lite的Lite k8s Cluster。
RUN_TYPE pretrain 表示训练类型。可选择值：[pretrain, sft, lora]。
查看服务的事件类型和事件信息，请参见查看在线服务的事件 日志 展示当前服务下每个模型的日志信息。包含最近5分钟、最近30分钟、最近1小时和自定义时间段。 自定义时间段您可以选择开始时间和结束时间。 当服务启用运行日志输出后，页面展示存放到云日志服务LTS中的日志信息。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
