检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ModelArts中的作业为什么一直处于等待中? 当前训练任务排队的逻辑是先进先出,前面的任务没运行完后面的任务不会运行,有可能会造成小任务被“饿死”,需要用户注意。 饿死指的是前面的任务被一个大的任务堵着(例如是64卡),需要等空闲64卡这个任务才能运行,64卡的任务后面跟着1卡的
自动学习生成的模型,存储在哪里?支持哪些其他操作? 模型统一管理 针对自动学习项目,当模型训练完成后,其生成的模型,将自动进入“模型管理”页面,如下图所示。模型名称由系统自动命名,前缀与自动学习项目的名称一致,方便辨识。 自动学习生成的模型,不支持下载使用。 图1 自动学习生成的模型
在ModelArts的Notebook中,访问外网速度不稳定怎么办? 为了方便AI开发者在使用Notebook时访问外部资源,ModelArts提供了一个免费的共享网络代理服务。借助这个代理,开发者可以更加便捷地下载所需的各类资源,助力开发工作的顺利进行。 由于该网络代理免费且共享
创建数据API 概述 ROMA Connect支持把数据源定义为后端服务,实现从数据源中读写数据,并以API的形式对外开放。 前提条件 ROMA Connect已接入数据源,具体请参考接入数据源。 如果后端服务需要使用签名密钥对请求发送方进行认证,请提前创建签名密钥。 部署并发布后端服务时
附录:API的Swagger扩展定义 ROMA Connect在Swagger原有定义的基础上,定义了特有的API定义项,即扩展定义,如认证方式、后端服务定义等。本章节主要介绍API使用的扩展定义。 1:x-apigateway-auth-type 含义:基于Swagger的apiKey
创建组合任务 概述 FDI支持创建组合任务,组合任务适用于需要持续同步实时数据的场景。实现一个源端多个数据表到一个目标端多个数据表的实时同步及增量同步,提高了数据的集成同步效率。 组合任务支持数据表之间字段(列)级别的灵活映射,例如源端一个数据表中的多个字段可分别映射到目标端的不同数据表中
规格变更说明 方案概述 ROMA Site协同版实例规格变更目前仅支持实例从3VM的基础版扩容为4VM的专业版,即增加一台同规格虚拟机。各集成组件强制依赖实例,不可单独变更。 ROMA Site协同版实例规格变更包含站点规格变更和实例规格变更两部分。其中实例规格变更时,又可分为新站点容器扩容和已有容器升级两种场景
配置映射规则 概述 本节主要提供数据集成任务映射规则的配置说明。可以通过配置ROMA Connect源端数据字段到目标端数据字段的映射规则,把获取到的源端数据转换成写入目标端的数据。规则映射有映射模式和脚本模式两种模式,其中映射模式包含自动配置和手动配置两种方式。 约束与限制 源端与目标端字段名请勿使用对应数据库的关键字
跨域资源共享插件说明 概述 出于安全性考虑,浏览器会限制从页面脚本内发起的跨域请求,此时页面只能访问当前域的资源。CORS允许浏览器向跨域服务器发送XMLHttpRequest请求,从而实现跨域访问。更多跨域访问的说明请参见配置跨域访问API。 跨域资源共享插件为跨域访问提供指定预检请求头和响应头
配置API的访问控制 访问控制可控制访问API的IP地址和账户,保护后端服务。您可以创建访问控制策略,允许/禁止某个IP地址或账号访问绑定策略的API。 访问控制策略和API本身是相互独立的,只有将API绑定访问控制策略后,访问控制策略才对API生效。 约束与限制 同一个API在同一个环境中只能绑定一个相同限制类型的访问控制策略
接入扩展采集器(可选) 概述 扩展采集器可以支持同一网段内本地ABM服务采集远端服务模型数据,增强扩展能力。扩展采集器提供远端服务注册采集器能力,比如支持用户注册技术模型采集器,结合自定义数据源,可以采集远端服务的技术模型,在模型地图中进行检索。注册业务模型采集器,结合自定义数据源
安装ModelArts SDK报错“ERROR: Could not install packages due to an OSError” 问题现象 安装ModelArts SDK报错,完整报错信息“ERROR: Could not install packages due to
创建Notebook失败,查看事件显示JupyterProcessKilled 问题现象 创建Notebook失败,查看事件显示JupyterProcessKilled。 图1 查看事件 原因分析 出现此故障是因为Jupyter进程被清理掉了,一般情况Notebook会自动重启的,
GPU裸金属服务器无法Ping通如何解决 问题现象 在华为云使用GPU裸金属服务器时, 服务器绑定EIP(华为云弹性IP服务)后,出现无法ping通弹性公网IP现象。 原因分析 查看当前GPU裸金属服务器的安全组的入方向规则的配置,发现仅开通了TCP协议的22端口。
配置本地IDE(Pycharm或者VSCode)联接云上环境调试请参考使用本地IDE开发模型。 父主题: OBS操作相关故障
配置本地IDE(Pycharm或者VsCode)联接云上环境调试请参考使用本地IDE开发模型。 父主题: 业务代码问题
API到MySQL时源端报“401 unauthorized”错误 原因分析 可能是以下两种原因产生该问题: 创建API的时候“安全认证”选择的是“无认证”,创建数据源的时候“认证方式”选了“AppKey Auth”。 创建API的时候“安全认证”选择的是“App认证”,创建数据源的时候
如果您有实际的项目需要迁移,建议填写下方的推理业务迁移评估表,并将该调研表提供给华为云技术支持人员进行迁移评估,以确保迁移项目能顺利实施。
环境准备 迁移环境简介 ModelArts开发环境针对推理昇腾迁移的场景提供了云上可以直接访问的开发环境,具有如下优点: 利用云服务的资源使用便利性,可以直接使用到不同规格的昇腾设备。
主流开源大模型基于Standard适配PyTorch NPU训练指导(6.3.905) 场景介绍 准备工作 预训练 SFT全参微调训练 LoRA微调训练 查看日志和性能 训练脚本说明 父主题: LLM大语言模型训练推理