检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
方式进行调整优化。 优化原理 对于ModelArts提供的GPU资源池,每个训练节点会挂载500GB的NVMe类型SSD提供给用户免费使用。此SSD挂载到“/cache”目录,“/cache”目录下的数据生命周期与训练作业生命周期相同,当训练作业运行结束以后“/cache”目录下
Torch表达层的基础上,动态添加昇腾后端适配,包含增加了NPU设备、hccl等一系列能力的支持。安装后可以直接使用PyTorch的表达层来运行在NPU设备上。 当前提供了自动迁移工具进行GPU到昇腾适配,原理是通过monkey-patch的方式将torch下的CUDA、nccl
确保算法在GPU训练时,持续稳定可收敛。避免在迁移过程中排查可能的算法问题,并且要有好的对比标杆。如果是NPU上全新开发的网络,请参考PyTorch迁移精度调优排查溢出和精度问题。 理解GPU和NPU的构造以及运行的差别,有助于在迁移过程中分析问题并发挥NPU的优势。由于构造和运行机制的差别,整个迁移过程并非是完全
本章节提供了推理服务访问公网的方法。 应用场景 推理服务访问公网地址的场景,如: 输入图片,先进行公网OCR服务调用,然后进行NLP处理; 进行公网文件下载,然后进行分析; 分析结果回调给公网服务终端。 方案设计 从推理服务的算法实例内部,访问公网服务地址的方案。如下图所示: 图1 推理服务访问公网
须有8张卡。 本文档提供的调测代码中涉及到的OBS路径,请用户替换为自己的实际OBS路径。 本文档提供的调测代码是以PyTorch为例编写的,不同的AI框架之间,整体流程是完全相同的,只需要修改个别的参数即可。 DataParallel进行单机多卡训练的优缺点 代码简单:仅需修改一行代码。
表示读取资源池镜像中的默认值。 绑核:开启CPU绑核表示工作负载实例独占CPU,可以提升应用性能(比如训练作业、推理任务性能),减少应用的调度延迟,适用于对CPU缓存和调度延迟敏感的场景。关闭绑核表示关闭工作负载实例独占CPU的功能,优点是CPU共享池可分配的核数较多。也可关闭系
actory 构建新镜像: docker build -t <镜像名称>:<版本名称> . 如无法访问公网则需配置代理,增加`--build-arg`参数指定代理地址确保访问公网。 docker build --build-arg "https_proxy=http://xxx
作为调用发起方的客户端无法访问已经获取到的推理请求地址 问题现象 完成在线服务部署且服务处于“运行中”状态后,已经通过调用指南页面的信息获取到调用的server端地址,但是调用发起方的客户端访问该地址不通,出现无法连接、域名无法解析的现象。 原因分析 在调用指南页签中显示的调用地址都
查看在线服务的事件 服务的(从用户可看见部署服务任务开始)整个生命周期中,每一个关键事件点在系统后台均有记录,用户可随时在对应服务的详情页面进行查看。 方便用户更清楚的了解服务部署和运行过程,遇到任务异常时,更加准确的排查定位问题。可查看的事件点包括: 表1 事件 事件类型 事件
actory 构建新镜像: docker build -t <镜像名称>:<版本名称> . 如无法访问公网则需配置代理,增加`--build-arg`参数指定代理地址确保访问公网。 docker build --build-arg "https_proxy=http://xxx
管理我的服务 扩缩容模型服务实例数 修改模型服务QPS 升级模型服务
参数错误 请检查填写的参数。 400 ModelArts.0107 The values of the request parameters ({0},{1}) are invalid. 请求的参数值 ({0},{1})是无效的. 检查提示的参数值是否是有效的。 400 ModelArts
查看批量服务的事件 服务的(从用户可看见部署服务任务开始)整个生命周期中,每一个关键事件点在系统后台均有记录,用户可随时在对应服务的详情页面进行查看。 方便用户更清楚的了解服务部署和运行过程,遇到任务异常时,更加准确的排查定位问题。可查看的事件点包括: 表1 事件 事件类型 事件
本文档主要介绍如何在ModelArts的DevServer和ModelArts Standard环境上部署Stable Diffusion的WebUI套件,使用NPU卡进行推理。 约束限制 本方案目前仅适用于部分企业客户,完成本方案的部署,需要先联系您所在企业的华为方技术支持。 适配的Cann版本是cann_8
换使用新域名。为保障持续提供推理服务,请您及时更新业务中的预测API的域名。 如果您使用的是VPC内部节点访问ModelArts推理的在线服务,预测API切换域名后,由于内网VPC无法识别公网域名,请提交工单联系华为云技术支持打通网络。 父主题: 产品变更公告
华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS各类各项云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括
抽象处理。因此,与模型前向运算相关的所有源代码都被直接复制粘贴到同一个文件中,而不是调用某些抽象提取出的模块化库。Diffusers的这种设计原则的好处是代码简单易用、对代码贡献者友好。然而,这种反软件结构化的设计也有明显的缺点。由于缺乏统一的模块化库,对于昇腾适配而言变得更加复
查看当前GPU裸金属服务器的安全组的入方向规则的配置,发现仅开通了TCP协议的22端口。 ping命令是一种基于ICMP协议(Internet Control Message Protocol)的网络诊断工具,利用ICMP协议向目标主机发送数据包并接收返回的数据包来判断网络连接质量。当安全组的入方向
查看ModelArts模型事件 创建模型的(从用户可看见创建模型任务开始)过程中,每一个关键事件点在系统后台均有记录,用户可随时在对应模型的详情页面进行查看。 方便用户更清楚的了解创建模型过程,遇到任务异常时,更加准确的排查定位问题。可查看的事件点包括: 事件类型 事件信息(“XXX”表示占位符,以实际返回信息为准)
已订阅的资产。 我的案例 展示个人发布的资产案例和已订阅的资产案例。 “我的发布”:可以查看个人发布的案例信息。 “我的订阅”:可以查看个人订阅的案例信息。 我的AI说 展示个人发布的技术文章列表,可以查看文章浏览量、收藏量、订阅量等信息。通过右侧的“删除”可以管理已发布的技术文章。