检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
部署为在线服务,服务处于运行中状态,预测时报错:{ "erno": "MR.0105", "msg": "Recognition failed","words_result": {}}。 图1 预测报错 原因分析 请在“在线服务”详情页面的日志页签中查看对应的报错日志,分析报错原因。 图2 报错日志
严重 文件系统%s只读 请检查磁盘健康状态 无法对文件进行写和操作 NPU:驱动固件不匹配 NpuDriverFirmwareMismatch 重要 NPU驱动固件版本不匹配 请从昇腾官网获取匹配版本重新安装 无法正常使用NPU卡 NPU:Docker容器环境检测 NpuContainerEnvSystem
String 排序方式。可选值如下: asc:递增排序 desc:递减排序(默认值) search_content 否 String 模糊匹配名称,默认为空。 sort_by 否 String 指定查询的排序方式。可选值如下: create_time:按创建时间排序(默认值) w
准备模型文件和权重文件 创建推理脚本文件run_vllm.sh run_vllm.sh脚本示例如下。 方式一:通过OpenAI服务API接口启动服务 (1)非多模态 source /home/ma-user/.bashrc export ASCEND_RT_VISIBLE_DEVICES=${AS
e,则表示以条目的创建时间进行排序。 search_type 否 String 过滤方式。可选值如下: equal表示精确匹配。 contain表示模糊匹配。 具体过滤的字段,由各个接口额外定义参数。例如Workflow支持按照名称(name)进行过滤,则相应的过滤字段为name
模型精度信息,从配置文件读取,可不填。非模板参数 source_type 否 String 模型来源的类型,当前仅可取值“auto”,用于区分通过自动学习部署过来的模型(不提供模型下载功能);用户通过训练作业和其他方式部署的模型不设置此值。默认值为空。非模板参数 dependencies
prompt长度和训练的学习率,可以进行调节以取得最佳的效果。此外,这里去掉了int 4量化默认为FP16精度。${HOME} 目录需要根据读者实际数据集及模型路径匹配,适配的数据集是ADGEN数据集,如果您需要使用自定义的数据集训练,具体请参考使用自己数据集。另外通过指定local_rank为-1为单卡
ModelArts支持Tensorflow、PyTorch、MindSpore等主流开源的AI开发框架,也支持开发者使用自研的算法框架,匹配您的使用习惯。 产品形态 ModelArts提供多种产品形态,如下表所示。 表1 ModelArts产品形态介绍 产品形态 产品定位 使用场景
task_statuses Array of TaskStatuses objects 训练在子任务状态信息。 running_records Array of RunningRecord objects 训练作业运行及故障恢复记录。 表6 TaskStatuses 参数 参数类型
准备模型文件和权重文件 创建推理脚本文件run_vllm.sh run_vllm.sh脚本示例如下。 方式一:通过OpenAI服务API接口启动服务 (1)非多模态 source /home/ma-user/.bashrc export ASCEND_RT_VISIBLE_DEVICES=${AS
定义预测接口的inputs和outputs # inputs和outputs字典的key值会作为模型输入输出tensor的索引键 # 模型输入输出定义需要和推理自定义脚本相匹配 predict_signature = tf.saved_model.signature_def_utils.predict_signature_def(
立即使用 成长地图 由浅入深,带您玩转ModelArts 01 了解 了解华为云ModelArts的产品架构、功能和基础知识,有助于您更准确地匹配实际业务,让AI开发变得更简单、更方便。 产品介绍 什么是ModelArts ModelArts功能介绍 AI开发基本流程介绍 如何访问ModelArts
镜像名称,长度限制512个字符,支持小写字母、数字、中划线、下划线和点。 name_fuzzy_match 否 Boolean 镜像名称是否模糊匹配,默认为true。 namespace 否 String 镜像所属组织,可以在SWR控制台“组织管理”创建和查看。 offset 否 Integer
表2 预标注 参数 说明 智能标注类型 “预标注”。“预标注”表示选择用户模型管理里面的模型,选择模型时需要注意模型类型和数据集的标注类型相匹配。预标注结束后,如果标注结果符合平台定义的标准标注格式,系统将进行难例筛选,该步骤不影响预标注结果。 选择模型及版本 “我的模型”。您可以
Wav2Lip是一种基于对抗生成网络的由语音驱动的人脸说话视频生成模型。主要应用于数字人场景。不仅可以基于静态图像来输出与目标语音匹配的唇形同步视频,还可以直接将动态的视频进行唇形转换,输出与输入语音匹配的视频,俗称“对口型”。该技术的主要作用就是在将音频与图片、音频与视频进行合成时,口型能够自然。 Wav
分组条件键值。 operator 否 String 分组条件键值键关系,支持between(范围)、like(类似)、in(包含)、not(非)。 value 否 Array of strings 分组条件键对应值。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型
上传权重文件中上传的模型权重路径。 Step3 创建服务启动脚本 run_vllm.sh脚本示例如下。 方式一:通过OpenAI服务API接口启动服务 (1)非多模态 source /home/ma-user/.bashrc export ASCEND_RT_VISIBLE_DEVICES=${AS
文件的前提下启动服务。另外,当启动服务时的模型或者参数发生改变时,请删除.torchair_cache文件夹,避免由于缓存文件与实际推理不匹配而报错。 如果需要增加模型量化功能,启动推理服务前,先参考推理模型量化章节对模型做量化处理。 启动服务与请求。此处提供vLLM服务API接
否 String 搜索方向。 - max指定时表示指标值越大越好; - min指定时表示指标值越小越好。 regex 否 String 指标正则表达式。 表11 SearchParams 参数 是否必选 参数类型 描述 name 否 String 超参名称。 param_type 否
分组条件键值键关系,支持between、like、in、not、rely_to。 缺省值:in 枚举值: like:类似 in:包含 not:非 between:范围 value 否 Array of strings 分组条件键对应值。 表3 get_job_list返回参数说明 参数