检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“下一步”,确认配置后“提交”,完成在线服务的部署。返回在线服务列表页,查看服务状态变为“运行中”,表示服务部署成功。 WebSocket在线服务调用 WebSocket协议本身不提供额外的认证方式。不管自定义镜像里面是ws还是wss,经过ModelArts平台出去的WebSocket协议都是w
使用WebSocket协议的方式访问在线服务 背景说明 WebSocket是一种网络传输协议,可在单个TCP连接上进行全双工通信,位于OSI模型的应用层。WebSocket协议在2011年由IETF标准化为RFC 6455,后由RFC 7936补充规范。Web IDL中的WebSocket
在线服务的API接口组成规则是什么? AI应用部署成在线服务后,用户可以获取API接口用于访问推理。 API接口组成规则如下: https://域名/版本/infer/服务ID 示例如下: https://6ac81cdfac4f4a30be95xxxbb682.apig.xxx
在线服务运行中但是预测失败时,如何排查报错是不是模型原因导致的 问题现象 在线服务启动后,当在线服务进入到“运行中”状态后,进行预测,预测请求发出后,收到的响应不符合预期,无法判断是不是模型的问题导致的不符合预期。 原因分析 在线服务启动后,ModelArts提供两种方式的预测:
s控制台的在线服务模块)中部署推理服务,可参考下述步骤。 步骤一 导出镜像 完成在DevServer上部署SD WebUI推理服务章节的任务后,在宿主机上执行以下命令,导出镜像。 mv /home/ma-user/sdwebui/stable-diffusion-webui/mo
/home/ma-user/sdwebui/stable-diffusion-webui/extensions && git clone https://github.com/Mikubill/sd-webui-controlnet.git RUN cd /home/ma-user/sdwebui/st
SD WebUI推理性能测试 以下性能测试数据仅供参考。 开启Flash Attention 生成1280x1280图片,使用Ascend: 1* ascend-snt9b(64GB),约耗时7.5秒。 图1 生成图片耗时(1) 生成1280x1280图片,使用Ascend: 1*
SD WebUI推理方案概览 本文档主要介绍如何在ModelArts的DevServer和ModelArts Standard环境上部署Stable Diffusion的WebUI套件,使用NPU卡进行推理。 约束限制 本方案目前仅适用于部分企业客户,完成本方案的部署,需要先联系您所在企业的华为方技术支持。
在线服务和批量服务有什么区别? 在线服务 将模型部署为一个Web服务,您可以通过管理控制台或者API接口访问在线服务。 批量服务 批量服务可对批量数据进行推理,完成数据处理后自动停止。 批量服务一次性推理批量数据,处理完服务结束。在线服务提供API接口,供用户调用推理。 父主题:
Notebook打开后黑屏,由于代理问题导致,切换代理。 打开Notebook显示空白 打开Notebook时显示空白,请清理浏览器缓存后尝试重新打开。 检查浏览器是否安装了过滤广告组件,如果是,请关闭该组件。 报错404 如果是IAM用户在创建实例时出现此错误,表示此IAM用户不具备对应存储位置(OBS桶)的操作权限。
在线服务和边缘服务有什么区别? 在线服务 将模型部署为一个Web服务,您可以通过管理控制台或者API接口访问在线服务。 边缘服务 云端服务是集中化的离终端设备较远,对于实时性要求高的计算需求,把计算放在云上会引起网络延时变长、网络拥塞、服务质量下降等问题。而终端设备通常计算能力不
PT回答的流式输出),相较于WebSocket(双向实时),它更加轻量级且易于实现。 前提条件 在线服务中的模型导入选择的镜像需支持SSE协议。 约束与限制 SSE协议只支持部署在线服务。 只支持自定义镜像导入模型部署的在线服务。 调用API访问在线服务时,对预测请求体大小和预测时间有限制:
Notebook打开后黑屏,由于代理问题导致,切换代理。 打开Notebook显示空白 打开Notebook时显示空白,请清理浏览器缓存后尝试重新打开。 检查浏览器是否安装了过滤广告组件,如果是,请关闭该组件。 报错404 如果是IAM用户在创建实例时出现此错误,表示此IAM用户不具备对应存储位置(OBS桶)的操作权限。
访问速度更快。 在线服务的API默认为HTTPS访问,同时还支持以下的传输协议: 使用WebSocket协议的方式访问在线服务:WebSocket使得客户端和服务器之间的数据交换变得更加简单,允许服务端主动向客户端推送数据。在WebSocket API中,浏览器和服务器只需要完成
有的图片存在旋转角度等属性,不同的浏览器的处理策略不同,对浏览器的兼容性如表1和表2所示。 L代表last,L3-产品版本上线时最新的3个稳定浏览器版本。 如果您当前使用的浏览器版本过低,将在一定程度上影响页面的显示效果,系统会提示您尽快对浏览器进行升级。 如果您当前使用的浏览器不支持访问管理控制
上传远端文件至JupyterLab 在Notebook的JupyterLab中,支持通过远端文件地址下载文件。 要求:远端文件的URL粘贴在浏览器的输入框中时,可以直接下载该文件。 通过JupyterLab打开一个运行中的Notebook。 单击JupyterLab窗口上方导航栏的ModelArts
SD WEBUI套件适配PyTorch NPU的推理指导(6.3.908) SD WebUI推理方案概览 在DevServer上部署SD WebUI推理服务 在Standard上部署SD WebUI推理服务 SD WebUI推理性能测试 父主题: AIGC模型训练推理
为什么在ModelArts数据标注平台标注数据提示标注保存失败? 问题现象 以Chrome浏览器为例,同一张图片,第一次标注时,右上角弹窗提示标注保存失败,第二次提交相同的标注结果,又提示标注成功,此问题概率性发生。“F12”打开浏览器Console,单击network查看请求列表,请求状态显示为(fa
AscendCloud/aigc_inference/torch_npu/webui/v1_9_0_RC/ascend_extension ./ rm -rf AscendCloud* 最终/root/webui下的目录应该如下。 图2 /root/webui下的目录文件 Step3 构建dockerfile
成功之后结果如下图。 图5 推理成功 步骤三:WebUI部署 安装依赖和模型包 下载webui1.9.0版本软件包。 下载webui源码 git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git 切换到v1_9_RC分支\