检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建OBS桶和文件夹 在OBS服务中创建桶和文件夹,用于存放样例数据集以及训练代码。需要创建的文件夹列表如表1所示,示例中的桶名称“test-modelarts”和文件夹名称均为举例,请替换为用户自定义的名称。 创建OBS桶和文件夹的操作指导请参见创建桶和新建文件夹。 请确保您使
"cn-north-1" } } } } 其中,加粗的斜体字段需要根据实际值填写: iam_endpoint为IAM的终端节点。 user_name为IAM用户名。 user_password为用户登录密码。 domain_name为用户所属的帐号名。 cn-no
出现该问题的可能原因如下: OBS相关错误。 OBS文件不存在。The specified key does not exist。 用户OBS权限不足。 OBS限流。 OBS其他问题。 磁盘空间不足。 处理方法 如果是OBS相关错误。 OBS文件不存在。The specified key does
创建OBS桶和文件夹 在OBS服务中创建桶和文件夹,用于存放样例数据集以及训练代码。需要创建的文件夹列表如表1所示,示例中的桶名称“test-modelarts”和文件夹名称均为举例,请替换为用户自定义的名称。 创建OBS桶和文件夹的操作指导请参见创建桶和新建文件夹。 请确保您使
--inputShape="input_ids:1,77" 在配置文件中指定输入shape。 配置文件中通过“[ascend_context]”配置项指定input_shape,格式与命令行一致,多个输入,需要使用“;”隔开。然后在命令行中通过--configFile指定对应的配置文件路径即可。 # text_encoder
ModelArts CommonOperations ModelArts Dependency Access 开发环境Notebook/镜像管理/弹性节点Server 对象存储服务OBS OBS Administrator 凭据管理服务CSMS CSMS ReadOnlyAccess 云审计服务CTS
型下载到本地,但训练作业输出的模型是存放在对象存储服务(OBS)里面的,您可以通过OBS的API或SDK下载存储在OBS中的文件,具体请参见从OBS下载文件。 父主题: API/SDK
自定义镜像导入模型部署上线调用API报错 部署上线调用API报错,排查项如下: 确认配置文件模型的接口定义中有没有POST方法。 确认配置文件里url是否有定义路径。例如:“/predictions/poetry”(默认为“/”)。 确认API调用中body体中的调用路径是否拼接
导入AI应用对于镜像大小的限制 ModelArts部署使用的是容器化部署,容器运行时有空间大小限制,当用户的模型文件或者其他自定义文件,系统文件超过容器引擎空间大小时,会提示镜像内空间不足。 当前,公共资源池容器引擎空间的大小最大支持50G,专属资源池容器引擎空间的默认为50G,
DFS文件列表选择文件名称或所在目录,导入文件的列数需与数据集schema一致。MRS的详细功能说明,请参考MRS用户指南。 图1 从MRS导入数据 集群名称:系统自动将当前账号下的MRS集群展现在此列表中,但是流式集群不支持导入操作。请在下拉框中选择您所需的集群。 文件路径:根
当提示空间不足时,推荐使用EVS类型的Notebook实例。 参考如何在Notebook中上传下载OBS文件?操作指导,针对原有的Notebook,首先将代码和数据上传至OBS桶中。然后创建一个EVS类型的Notebook,将此OBS中的文件下载至Notebook本地(指新建的EVS类型Notebook)。 父主题:
} Step3 创建OBS桶并上传文件 将上一步中的数据和代码文件、推理代码文件与推理配置文件,从本地上传到OBS桶中。在ModelArts上运行训练作业时,需要从OBS桶中读取数据和代码文件。 登录OBS管理控制台,按照如下示例创建OBS桶和文件夹。 {OBS桶}
目标操作系统必须是该Region下的IMS公共镜像或者私有共享镜像。 在BMS控制台切换操作系统 获取操作系统镜像。 由华为云官方提供给客户操作系统镜像,在IMS镜像服务的共享镜像处进行接收即可,参考如下图操作。 图1 共享镜像 切换操作系统。 对Lite Server资源对应的裸
sh,下载Miniconda3-py37-4.10.3安装文件(对应python 3.7.10)。 将上述pip源文件、*.run文件、*.whl文件、Miniconda3安装文件放置在context文件夹内,context文件夹内容如下。 context ├── Ascend-cann-nnae_6
uniform_image (统一镜像) 表6 Accelerator 参数 参数类型 描述 type String 加速卡类型,目前共三种: npu gpu none name String 加速卡名称,如SNT9B。 cuda_version String cuda驱动版本。 driver_version_section
开发、训练和部署。支持公共资源池和专属资源池两种,分别为共享资源池和独享资源池。 ModelArts Standard默认提供公共资源池。ModelArts Standard专属资源池需单独创建,专属使用,不与其他用户共享。 ModelArts Lite Server和ModelArts
复。容器应该采用https的安全传输通道,并使用业界推荐的加密套件保证业务数据的安全性。 部署上线 部署服务时,需要注意为服务设置合适计算节点规格,防止服务因资源不足而过载或者资源过大而浪费。尽量避免在容器中监听其他端口,有本地内部需要访问的其他端口,监听在localhost上。
部署在线服务时,自定义预测脚本python依赖包出现冲突,导致运行出错 导入模型时,需同时将对应的推理代码及配置文件放置在模型文件夹下。使用Python编码过程中,推荐采用相对导入方式(Python import)导入自定义包。 如果ModelArts推理框架代码内部存在同名包,
} Step3 创建OBS桶并上传文件 将上一步中的数据和代码文件、推理代码文件与推理配置文件,从本地上传到OBS桶中。在ModelArts上运行训练作业时,需要从OBS桶中读取数据和代码文件。 登录OBS管理控制台,按照如下示例创建OBS桶和文件夹。 {OBS桶}
如不需要提前上传训练数据,请创建一个空文件夹用于存放工程后期生成的文件。 如需要提前上传待标注的文件,请创建一个空文件夹,然后将文本文件保存在该文件夹下,文本文件的目录结构如:“/bucketName/data/text.csv”。 标签名是由中文、大小写字母、数字、中划线或下划线组成,且不超过32位的字符串。