检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用MindSpore引擎编写训练脚本时，为了保证训练结果中输出Summary文件，您需要在脚本中添加收集Summary相关代码。 将数据记录到Summary日志文件中的具体方式请参考收集Summary数据。 注意事项 在开发环境跑训练作业，在开发环境使用MindInsight，要求先启动MindInsight，后启动训练进程。
在左侧导航栏中选择“模型训练 > 训练作业”，默认进入“训练作业”列表。 在“创建训练作业”页面，填写相关参数信息，然后单击“提交”。 创建方式：选择“自定义算法”。 启动方式：选择“自定义”。 镜像：选择上传的自定义镜像。 启动命令： cd /home/ma-user/work/code/Swin-Transformer
口启动和OpenAI服务API接口启动2种方式。详细启动服务与请求方式参考：https://docs.vllm.ai/en/latest/getting_started/quickstart.html。 以下服务启动介绍的是在线推理方式，离线推理请参见https://docs.vllm
ModelArts Standard的WebSocket在线服务全流程开发 从0-1制作自定义镜像并创建模型 使用AppCode认证鉴权方式进行在线预测
WebSocket协议本身不提供额外的认证方式。不管自定义镜像里面是ws还是wss，经过ModelArts平台出去的WebSocket协议都是wss的。同时wss只支持客户端对服务端的单向认证，不支持服务端对客户端的双向认证。 可以使用ModelArts提供的以下认证方式： token认证 AK/SK
口启动和OpenAI服务API接口启动2种方式。详细启动服务与请求方式参考：https://docs.vllm.ai/en/latest/getting_started/quickstart.html。 以下服务启动介绍的是在线推理方式，离线推理请参见https://docs.vllm
启动前配置。有两种方式修改配置文件： 方式一：可以参考解压出来的default_config.yaml或者deepspeed_default_config.yaml文件，再通过在启动脚本命令中增加--config_file=xxx.yaml参数来指定其为配置文件。 方式二：通过命令accelerate
B-3通道的图片。 该功能为调测使用，实际生产建议使用API调用。根据鉴权方式的不同，可以根据实际情况选择通过Token认证的方式访问在线服务、通过AK/SK认证的方式访问在线服务或者通过APP认证的方式访问在线服务。 针对您部署上线的服务，您可以在服务详情页面的“调用指南”中，
对于OBS连接不稳定的现象，通过增加代码来解决。您可以在代码最前面增加如下代码，让TensorFlow对ckpt和summary的读取和写入可以通过本地缓存的方式中转解决： import moxing.tensorflow as mox mox.cache() 父主题： OBS操作相关故障
据本身业务诉求进行调整。增加目标实例数量即表示扩容，减少目标实例数量即表示缩容。 如果购买资源池时，节点数量采用整柜方式购买（部分规格支持），则在扩缩容时为整柜方式扩缩容，目标实例总数等于“数量*整柜”。“整柜”参数为创建资源池时选择，扩缩容时不可修改。用户通过增减“数量”来改变“目标总实例数”。
分页展示时，一页展示多少项。默认为1000。 offset 否 String 分页展示时，从第几页开始。默认为0。 order 否 String 返回的APP列表排序方式，可选值包括asc、desc。默认为asc。 service_name 否 String API所属服务名称，支持模糊查找。 sort_by
口启动和OpenAI服务API接口启动2种方式。详细启动服务与请求方式参考：https://docs.vllm.ai/en/latest/getting_started/quickstart.html。 以下服务启动介绍的是在线推理方式，离线推理请参见https://docs.vllm
Ascend）硬件由于存在一定细小的差别，很难确保完全一致，较难达成生成图片100%匹配，建议通过盲测的方式对效果进行验证。 模型精度有问题怎么办？ 首先考虑通过FP16的方式进行转换和执行，再通过精度诊断工具来进行分析，更进一步可以到华为云官网上提交工单处理。 模型转换失败时如何查看日志和定位原因？
对委托授权的权限范围进行精确控制，请使用定制化委托授权。更多权限控制的内容请参见权限管理章节。 本章节主要介绍一键式自动授权方式。一键式自动授权方式支持给IAM子用户、联邦用户（虚拟IAM用户）、委托用户和所有用户授权。 约束与限制 华为云账号 只有华为云账号可以使用委托授权，可
功能中，快速完成委托授权，由ModelArts为用户自动创建委托并配置到ModelArts服务中。 本章节主要介绍一键式自动授权方式。一键式自动授权方式支持给IAM子用户、联邦用户（虚拟IAM用户）、委托用户和所有用户授权。 约束与限制 华为云账号 只有华为云账号可以使用委托授权
关闭连接。如您使用的Gunicorn来作为web server，可以通过Gunicorn命令的--keep-alive参数来设置该值。其他方式导入的模型，服务内部已做处理。 协议错误 请求报错：{"error_code":"ModelArts.4503", "error_msg":"Failed
16的模型权重之后，通过autoAWQ工具进行量化。 方式一：从开源社区下载发布的AWQ量化模型。 https://huggingface.co/models?sort=trending&search=QWEN+AWQ 方式二：使用AutoAWQ量化工具进行量化。 运行“examples/quantize
AuthTypeApiBasicInfo 参数 参数类型 描述 api_id String API编号。 api_method String 请求方式包含GET、POST、PUT、DELETE、HEAD、PATCH、OPTIONS、ANY，固定返回ANY。 api_name String
口启动和OpenAI服务API接口启动2种方式。详细启动服务与请求方式参考：https://docs.vllm.ai/en/latest/getting_started/quickstart.html。 以下服务启动介绍的是在线推理方式，离线推理请参见https://docs.vllm
odelArts监控服务。 设置告警规则有多种方式。您可以根据实际应用场景，选择设置告警规则的方式。 对ModelArts服务设置告警规则 对单个服务设置告警规则 对模型版本设置告警规则 对服务或模型版本的单个指标设置告警规则 方式一：对整个ModelArts服务设置告警规则 登录管理控制台。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
