检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
常见问题 模型转换失败怎么办? 常见的模型转换失败原因可以通过查询转换失败错误码来确认具体导失败的原因。Stable Diffusion新推出的模型在转换中可能会遇到算子不支持的问题,您可以到华为云管理页面上提交工单来寻求帮助。 图片大Shape性能劣化严重怎么办? 在昇腾设备上
基于MaaS DeepSeek API和Dify快速构建网站智能客服 本文介绍如何使用MaaS(大模型即服务平台)的免费Token额度的满血版DeepSeek-R1 API接入Dify(开源Agent平台),快速构建AI对话机器人并将其嵌入在网页页面中。当免费Token额度用完后
单击“选择基础模型”,在弹窗中选择模型,单击“确定”。 关于模型的详细介绍,请参见表2。 模型名称 自定义模型名称。 支持1~64位,以中文、大小写字母开头,只包含中文、大小写字母、数字、下划线(_)、中划线(-)和(.)。 描述 模型简介。支持100字符。 权重设置与词表 默认选择“自定义权重”
doc_url 是 String 文档http(s)链接。 doc_name 是 String 文档名称,支持1-48位可见字符(含中文),只能以英文大小写字母或者中文字符开头,名称可以包含字母、中文、数字、中划线、下划线。 表5 ModelTemplate 参数 是否必选 参数类型 描述 infer_format
Chunked-prefill 又名split-fuse。全量增量同时推理,提高资源利用率,提升吞吐。 Speculative Decoding 支持大小模型投机推理和eager模式投机,提升推理性能。 图模式 Cuda-graph/cann-graph 记录算子执行的依赖关系构图;消除python
片动态维度,如果图片不是(1,336,336)shape,将会被resize。 --image-feature-size:图片输入解析维度大小;llava-v1.6图片输入维度与image-feature-size关系映射表见git;计算原理如下: 最小处理单元为14*14 【llava1
Llib/Scikit_Learn/XGBoost/MindSpore/Image/PyTorch。 model_size Long 模型大小,单位为字节数。 model_status String 模型状态,取值为:publishing/published/failed。 description
infer_type="real-time") print(predictor_object_list) 参数说明 查询服务列表,返回list,list大小等于当前用户所有已经部署的服务个数,list中每个元素都是Predictor对象,对象属性同本章初始化服务。 查询服务列表返回说明:service_list_resp
enterprise_project_name String 企业项目名称。 name String 工作空间名称。长度限制为4-64字符,支持中文、大小写字母、数字、中划线和下划线。同时'default'为系统预留的默认工作空间名称,用户无法自己创建名为'default'的工作空间。 description
要探索试验的几何分布平均,从按照分数排序的试验中选择 float,一般不建议用户修改 shrink_coef 随着更多的点被探索,邻域采样大小的减少率 float,一般不建议用户修改 父主题: 自动模型优化(AutoSearch)
elarts/log/”目录下的“*.log”文件将会被自动上传至ModelArts训练作业的日志目录(OBS)。如果本地相应目录没有生成大小>0的日志文件,则对应的父级目录也不会上传。因此,PyTorch NPU的plog日志是按worker存储的,而不是按rank id存储的
建议仅在训练任务场景使用。 DEV: 建议仅在开发调测场景使用。 UNKNOWN: 未明确设置的镜像支持的服务类型。 size Long 镜像大小(单位KB)。 status String 镜像状态。枚举值如下: INIT:初始化。 CREATING:镜像保存中,此时Notebook不可用。
ModelArts环境挂载目录说明 本小节介绍Notebook开发环境、训练任务实例的目录挂载情况(以下挂载点在保存镜像的时候不会保存)。详情如下: Notebook 表1 Notebook挂载点介绍 挂载点 是否只读 备注 /home/ma-user/work/ 否 客户数据的持久化目录。
建议仅在训练任务场景使用。 DEV: 建议仅在开发调测场景使用。 UNKNOWN: 未明确设置的镜像支持的服务类型。 size Long 镜像大小(单位KB)。 status String 镜像状态。枚举值如下: INIT:初始化。 CREATING:镜像保存中,此时Notebook不可用。
值需要和启动的NPU卡数保持一致,可以参考1。此处举例为1,表示使用单卡启动服务。 --block-size:kv-cache的block大小,推荐设置为128。当前仅支持64和128。 --host=${docker_ip}:服务部署的IP,${docker_ip}替换为宿主机实际的IP地址。
String 支持更新镜像ID,镜像ID参考查询支持的镜像列表获取。 name 否 String 支持更新实例名称,长度限制为128个字符, 支持大小写字母、数字、中划线和下划线。 storage_new_size 否 Integer EVS实例支持动态扩充的容量,单位GB。只允许扩容,
原配额约束下可以继续使用该模型。 我的资产 > 数据 展示个人发布和下载的数据集列表。 “我的发布”:可以查看个人发布的数据集信息,如文件大小、文件数量等。通过右侧的“重试”或“删除”可以管理已发布的数据集。 “我的下载”:可以查看个人下载的数据集信息。单击下拉三角,可以查看数据集ID、下载方式、目标区域等信息。
部署本地服务predictor参数说明 参数 是否必选 参数类型 描述 service_name 否 String 服务名称,支持1-64位可见字符(含中文),只能以英文大小写字母或者中文字符开头,名称可以包含字母、中文、数字、中划线、下划线。 configs 是 JSON Array 本地服务运行配置。 表2
修改Workflow工作流 功能介绍 更新Workflow工作流信息。 接口约束 无 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI PUT /v2/{project
更新服务配置 功能介绍 更新模型服务配置。也可以使用此接口启停服务。 公共池中挂载密钥,支持HCS第三方用户使用secret_volumes字段来进行密钥修改,且不提供UI界面,只能通过内部接口进行调用。 支持在modelarts边缘服务通过service_secrets来修改挂载密钥管理当中的密钥。