检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
致调用失败,可提交工单设置请求超时时间。 benchmark方法介绍 性能benchmark包括两部分。 静态性能测试:评估在固定输入、固定输出和固定并发下,模型的吞吐与首token延迟。该方式实现简单,能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试:评
致调用失败,可提交工单设置请求超时时间。 benchmark方法介绍 性能benchmark包括两部分。 静态性能测试:评估在固定输入、固定输出和固定并发下,模型的吞吐与首token延迟。该方式实现简单,能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试:评
C445CAA1A71019C9D0 retry:0 原因分析 出现该问题的可能原因如下: OBS服务的权限出现问题,导致无法正常读取数据 处理方法 请检查OBS权限配置,如未解决问题可参考OBS文档的已配置OBS权限,仍然无法访问OBS(403 AccessDenied)。 建议与总结
ExportParams object 导出数据集任务的参数。 export_type Integer 导出类型。可选值如下: 0:已标注 1:未标注 2:全部 3:条件筛选 finished_sample_count Integer 已完成的样本数量。 path String 导出的输出路径。
准备代码 本教程中用到的训练推理代码和如下表所示,请提前准备好。 获取模型软件包 本方案支持的模型对应的软件和依赖包获取地址如表1所示,模型列表、对应的开源权重获取地址如表2所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6
objects 资源池中的资源规格信列表,包括资源规格和相应规格的资源数量。 network network object 资源池网络参数。物理资源池时必选。 jobFlavors Array of strings 资源池支持的作业规格信息列表,内容为作业规格名称。 driver PoolDriver
912软件包中的AscendCloud-AIGC-6.3.912-xxx.zip 文件名中的xxx表示具体的时间戳,以包名发布的实际时间为准。 获取路径:Support-E,在此路径中查找下载ModelArts 6.3.912 版本。 说明: 如果上述软件获取路径打开后未显示相应的软件信
EXACT:和指定的版本完全一致。 ATLEAST:不低于指定的版本。 ATMOST:不高于指定的版本。 表8 ModelSpecification 参数 参数类型 描述 min_cpu String 最小CPU规格。 min_gpu String 最小GPU规格。 min_memory
with_column_header Boolean 发布的CSV文件的第一行是否为列名,对于表格数据集有效。可选值如下: true:发布的CSV文件的第一行是列名 false:发布的CSV文件的第一行不是列名 表12 LabelStats 参数 参数类型 描述 attributes Array of
objects 资源池中的资源规格信列表,包括资源规格和相应规格的资源数量。 network network object 资源池网络参数。物理资源池时必选。 jobFlavors Array of strings 资源池支持的作业规格信息列表,内容为作业规格名称。 driver PoolDriver
Ctrl+Shift+P,macOS:Cmd+Shift+P),搜索“Kill VS Code Server on Host”,选择出问题的实例进行自动清除,然后重新进行连接。 图1 清除异常的实例 父主题: VS Code连接开发环境失败故障处理
删除AppCode 功能介绍 删除指定API网关应用的指定的AppCode,只有APP的创建用户才可以删除AppCode,且只有共享/专享版APIG的APP才支持AppCode。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自
在线服务”,默认进入“在线服务”列表。 在部署完成的目标服务中,单击操作列的“修改”,进入“修改服务”页面。 在选择模型及配置中,单击“增加模型版本进行灰度发布”添加新版本。 图1 灰度发布 您可以设置两个版本的流量占比,服务调用请求根据该比例分配。其他设置可参考参数说明。完成设置后,单击下一步。 确认信息无误后,单击“提交”部署在线服务。
“0”,存在创建并使用的工作空间,以实际取值为准。 iphertext_enabled 否 Boolean 是否明文展示。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 Content-Type 否 String 消息体的类型。设置为text/plain,
表2 请求Header参数 参数 是否必选 参数类型 描述 Content-Type 否 String 消息体的类型。设置为text/plain,返回临时预览链接。设置为application/octet-stream,返回临时下载链接。 X-Auth-Token 是 String
阶段。 资源利用率:在作业进程IO没有变化的情况下,采集一定时间段内的GPU利用率或NPU利用率,并根据这段时间内的GPU利用率或NPU利用率的方差和中位数来判断资源使用率是否有变化。如果没有变化,则判定作业卡死。 系统预置了卡死检测的环境变量“MA_HANG_DETECT_TI
模型转换报错如何查看日志和定位? 通过如下的配置项打开对应的模型转换日志,可以看到更底层的报错。如配置以下的环境变量之后,再重新转换模型,导出对应的日志和dump图进行分析: 报错日志中搜到“not support onnx data type”,表示MindSpore暂不支持该算子。
实例。 在notebook调试用户代码,并找出问题的代码段。 通过关键代码段 + 退出码尝试去搜索引擎寻找解决办法。, 通过训练日志排查问题 通过日志判断出问题的代码范围。 修改代码,在问题代码段添加打印,输出更详细的日志信息。 再次运行作业,判断出问题的代码段。 父主题: 业务代码问题
906-xxx.zip中的AscendCloud-AIGC-6.3.906-xxx.zip文件。获取路径:Support-E。 如果没有软件下载权限,请联系您所在企业的华为方技术支持下载获取。 代码包文件名中的xxx表示具体的时间戳,以包名的实际时间为准。 Step1 准备环境
否 -1 Int 控制要考虑的前几个tokens的数量的整数。设置为-1表示考虑所有tokens。 适当降低该值可以减少采样时间。 top_p 否 1.0 Float 控制要考虑的前几个tokens的累积概率的浮点数。必须在 (0,1] 范围内。设置为1表示考虑所有tokens。