正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
息进行升级。 约束限制 服务升级关系着业务实现,不当的升级操作会导致升级期间业务中断的情况,请谨慎操作。 ModelArts支持部分场景下在线服务进行无损滚动升级。按要求进行升级前准备,做好验证,即可实现业务不中断的无损升级。 表1 支持无损滚动升级的场景 创建AI应用的元模型来源
会提示 ├── train-00000-of-00001-a09b74b3ef9c3b56.parquet #预训练时预处理后的数据存放地址 ├── alpaca_gpt4_data.json #微调数据文件
Notebook实例常见错误 创建Notebook实例后无法打开页面,如何处理? 使用pip install时出现“没有空间”的错误 使用pip install提示Read timed out 出现“save error”错误,可以运行代码,但是无法保存 单击Notebook的打开按钮时报“请求超时”错误?
文件上传下载 如何在Notebook中上传下载OBS文件? 如何上传本地文件至Notebook? 如何导入大文件到Notebook中? upload后,数据将上传到哪里? 如何下载Notebook中的文件到本地? 如何将开发环境Notebook A的数据复制到Notebook B中?
SampleLabels objects 视频在线服务推理结果。 service_id String 在线服务ID。 service_name String 在线服务名称。 service_resource String 用户绑定的在线服务资源ID。 total_sample_count
标注、数据处理功能都不收费。具体如下: 数据集:在ModelArts数据管理中创建数据集时,不收费。 数据标注:在ModelArts数据管理中进行手动标注和智能标注时,不收费。 数据处理:在ModelArts数据管理中创建数据清洗、数据校验、数据选择和数据增强的数据处理任务时,不收费。
从OBS导入数据到数据集场景介绍 导入方式 OBS导入数据方式分为“OBS目录”和“Manifest文件”两种。 OBS目录:指需要导入的数据集已提前存储至OBS目录中。此时需选择用户具备权限的OBS路径,且OBS路径内的目录结构需满足规范,详细规范请参见从OBS目录导入数据规范
SampleLabels objects 视频在线服务推理结果。 service_id String 在线服务ID。 service_name String 在线服务名称。 service_resource String 用户绑定的在线服务资源ID。 total_sample_count
网卡名称错误 当训练开始时提示网卡名称错误。或者通信超时。可以使用ifconfig命令检查网卡名称配置是否正确。 比如,ifconfig看到当前机器IP对应的网卡名称为enp67s0f5,则可以设置环境变量指定该值。 export GLOO_SOCKET_IFNAME=enp67s0f5
)的训练脚本,并可通过不同模型中的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。如果未完成,则执行脚本,自动完成数据预处理和权重转换的过程。 若用户进行自定义数据集预处理以及权重转换,可通过Notebook环境编辑 1_preprocess_data
)的训练脚本,并可通过不同模型中的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。如果未完成,则执行脚本,自动完成数据预处理和权重转换的过程。 如果用户进行自定义数据集预处理以及权重转换,可通过Notebook环境编辑 1_preprocess_data
)的训练脚本,并可通过不同模型中的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。如果未完成,则执行脚本,自动完成数据预处理和权重转换的过程。 若用户进行自定义数据集预处理以及权重转换,可通过Notebook环境编辑 1_preprocess_data
)的训练脚本,并可通过不同模型中的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。如果未完成,则执行脚本,自动完成数据预处理和权重转换的过程。 若用户进行自定义数据集预处理以及权重转换,可通过Notebook环境编辑 1_preprocess_data
、使用方法等信息。 编辑完成后,单击“确认”保存修改。 管理数据集文件 预览文件 在数据集详情页,选择“数据集版本”页签。单击文件名称即可在线预览文件内容。 仅支持预览大小不超过10MB、格式为文本类或图片类的文件。 下载文件 在数据集详情页,选择“数据集版本”页签。单击操作列的
网卡名称错误 当训练开始时提示网卡名称错误。或者通信超时。可以使用ifconfig命令检查网卡名称配置是否正确。 比如,ifconfig看到当前机器IP对应的网卡名称为enp67s0f5,则可以设置环境变量指定该值。 图1 网卡名称错误 export GLOO_SOCKET_IFNAME=enp67s0f5
会提示 |── train-00000-of-00001-a09b74b3ef9c3b56.parquet #预训练时预处理后的数据存放地址 |── alpaca_gpt4_data.json #微调数据文件
大型企业用户的使用场景下很常见。如果需要对委托授权的权限范围进行精确控制,可以参考本章节进行MaaS服务的定制化委托授权。 本章节主要介绍如何给IAM用户下的子用户配置更细粒度的权限。 前提条件 给用户组授权之前,请先了解用户组可以添加的使用ModelArts及其依赖服务的权限,
sult-{{task_id}}目录存放文件处理结果。 文件内容是多行JSON,每行JSON描述一个输入数据的对应输出结果。 JSON内容包含多个字段。 source:输入数据描述,与输入的manifest一致。 result:文件处理结果,值为SUCCESSFUL或FAILED,分别代表成功与失败。
针对机器学习类模型,仅支持“application/json” data 在线服务-非必选 批量服务-必选 String 请求体以json schema描述。参数说明请参考官方指导。 表5 response结构说明 参数 是否必选 参数类型 描述 Content-type 在线服务-非必选 批量服务-必选 String
需要使用不同端口号 --model:HuggingFace下载的官方权重 --max-num-seqs:同时处理的最大句子数量 --max-model-len:模型能处理的请求输入+输出的token长度 --max-num-batched-tokens:最多会使用多少token,