正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
k源码。若Notebook环境挂载了SFS Turbo,则源码文件会下载至SFS Turbo中。最后选择Notebook中“保存镜像”,则可以得到新的镜像环境。 若用户希望修改源码,则需要在Notebook环境中直接访问并编辑源码文件。 父主题: 准备镜像
predictor configs结构 参数 是否必选 参数类型 描述 model_id 是 String 模型ID。“model_id”可以通过查询模型列表或者ModelArts管理控制台获取。 weight 是 Integer 权重百分比,分配到此模型的流量权重,仅当infe
是否使用词表并行;默认值为1表示开启并行,取值为0表示关闭并行。对于词表较小的模型(如llama2系模型),关闭并行可以减少推理时延,对于词表较大的模型(如qwen系模型),开启并行可以减少显存占用,以提升推理吞吐量。 Step2 部署模型 在ModelArts控制台的AI应用模块中,将模型部署为一个AI应用。
/home/ma-user && \ chmod 770 /root && \ usermod -a -G root ma-user 其他现象,可以在已有的训练故障案例查找。 建议与总结 用户使用自定义镜像训练作业时,建议按照训练作业自定义镜像规范制作镜像。文档中同时提供了端到端的示例供用户参考。
), # 训练使用的算法对象,示例中使用AIGallery订阅的算法;部分算法超参的值如果无需修改,则在parameters字段中可以不填写,系统自动填充相关超参值 inputs=wf.steps.JobInput(name="data_url", data=obs_data)
--dtype:模型推理的数据类型。仅支持FP16和BF16数据类型推理。float16表示FP16,bfloat16表示BF16。 其他参数可以根据实际情况进行配置,也可使用openai接口启动服务。 推理启动脚本必须名为run_vllm.sh,不可修改其他名称。 hostname和port也必须分别是0
页面预测 在服务详情的“预测”页签,输入预测代码,单击“预测”即可获取检测结果。 Postman调REST接口预测 部署上线成功后,您可以从服务详情页的调用指南中获取预测接口地址,预测步骤如下: 选择“Headers”设置请求头部,“Content-Type”的值设为“app
会收费的实例已全部停止或删除,同时需清理运行Notebook实例时存储到云硬盘中的数据和其他存储到对象存储服务中的数据,以免继续扣费。 您可以在“费用中心 > 总览”页面设置“可用额度预警”功能,当可用额度、通用代金券和现金券的总额度低于预警阈值时,系统自动发送短信和邮件提醒。
system('df -hT') 磁盘空间满足,请执行5。 磁盘空间不足,请您使用GPU资源。 如果是在Notebook使用MoXing复制数据不成功,可以在Terminal界面中使用df -hT命令查看空间大小,排查是否因空间不足导致,可在创建Notebook时使用EVS挂载。 如果代码写作
predict(inputs)[0].get_data_to_numpy() print(outputs.shape) # (8, 1000) 动态分辨率 动态分辨率可以用于设置输入图片的动态分辨率参数。适用于执行推理时,每次处理图片宽和高不固定的场景,该参数需要与input_shape配合使用,input
"property" : { "@modelarts:color" : "#3399ff" } } ] } 根据响应可以了解数据集详情,其中“status”为“1”表示数据集创建成功且状态正常。 调用查询样本列表接口根据数据集ID获取数据集的样本详情。 请求消息体:
scripts/install.sh,该命令用于git clone完整的代码包和安装必要的依赖包,每次启动训练作业时会执行该命令安装。 您可以在Notebook中导入完代码之后,在Notebook运行sh scripts/install.sh命令提前下载完整代码包和安装依赖包,然
约束限制 总览页面打开的CodeLab不支持此项功能,但是如果用户在AI Hub中打开了可用的案例,会自动跳转到CodeLab中,此时是可以使用这项功能的。 如果切换了Notebook的规格,那么只能在Notebook进行单机调测,不能进行分布式调测,也不能提交远程训练任务。
已在云监控服务创建ModelArts监控服务。登录“云监控服务”控制台,在“自定义监控”页面,根据界面提示创建ModelArts监控服务。 操作步骤 设置告警规则有多种方式。您可以根据实际应用场景,选择设置告警规则的方式。 对ModelArts服务设置告警规则 对单个服务设置告警规则 对模型版本设置告警规则 对服务或模型版本的单个指标设置告警规则
peed/scripts/qwen目录下。训练前,可以根据实际需要修改超参配置。 微调任务配置,操作同预训练配置类似,不同点为RUN_TYPE类型不同,以及输入输出路径的配置的不同。SFT微调的计算量与预训练基本一致,故配置可以与预训练相同。 表1 SFT微调超参配置 参数 示例值
peed/scripts/glm3目录下。训练前,可以根据实际需要修改超参配置。 微调任务配置,操作同预训练配置类似,不同点为RUN_TYPE类型不同,以及输入输出路径的配置的不同。SFT微调的计算量与预训练基本一致,故配置可以与预训练相同。 表1 SFT全参微调超参配置 参数 值
gpu_type String 资源规格GPU的类型。 spec_code String 云资源的规格类型。 max_num Integer 可以选择的最大节点数量。 unit_num Integer 计价单元个数。 storage String 资源规格的ssd大小。 interface_type
分如何计费,请您关注,避免造成不必要的资源浪费。 节点配置 数据标注参数配置 labeling_input:选择预先创建的数据集即可,版本可以不用选择。 task_name:填写需要创建的标注任务名称即可。 说明: 首次运行需要配置,会自动创建新的标注任务,后续不建议进行修改,使用同一个标注任务进行数据标注。
self.model = None self.predict = None # label文件可以在这里加载,在后处理函数里使用 # label.txt放在obs和模型包的目录 # with open(os
情况下,有的实例正常,有的实例异常。正常的实例会产生费用,此时服务状态是concerning。 failed:失败,服务部署失败,失败原因可以查看事件和日志标签。 stopped:停止。 finished:只有批量服务会有这个状态,表示运行完成。 sort_by 否 String