检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导入AI应用对于镜像大小的限制 ModelArts部署使用的是容器化部署,容器运行时有空间大小限制,当用户的模型文件或者其他自定义文件,系统文件超过容器引擎空间大小时,会提示镜像内空间不足。 当前,公共资源池容器引擎空间的大小最大支持50G,专属资源池容器引擎空间的默认为50G,专属资
size的大小最大支持50G。 如果使用的是OBS导入或者训练导入,则包含基础镜像、模型文件、代码、数据文件和下载安装软件包的大小总和。 如果使用的是自定义镜像导入,则包含解压后镜像和镜像下载文件的大小总和。 父主题: 模型管理
/etc/profile # 注意这里的echo 要使用单引号,单引号会原样输出,双引号会解析变量 source /etc/profile # 使刚才配置生效 创建buildkitd的启动服务。其中都是buildkitd.service的内容。复制以下全部命令并运行即可。 cat <<EOF
flavors Array of NotebookFlavor objects 支持切换的规格列表。 pages Integer 总的页数。 size Integer 每一页的数量。 total Long 总的记录数量。 表4 NotebookFlavor 参数 参数类型 描述 arch String
须有8张卡。 本文档提供的调测代码中涉及到的OBS路径,请用户替换为自己的实际OBS路径。 本文档提供的调测代码是以PyTorch为例编写的,不同的AI框架之间,整体流程是完全相同的,只需要修改个别的参数即可。 DataParallel进行单机多卡训练的优缺点 代码简单:仅需修改一行代码。
查看Notebook实例事件 在Notebook的整个生命周期,包括实例的创建、启动、停止、规格变更等关键操作以及实例的运行状态等在后台都有记录,用户可以在Notebook实例详情页中查看具体的事件,通过实例的事件,从而看到实例的运行或者异常等状态详情。在右侧可以手动刷新事件,也
适当增加训练数据,会提升模型的精度。声音分类建议每类音频至少20条,每类音频总时长至少5分钟。 建议训练数据和真实识别场景的声音保持一致并且每类的音频尽量覆盖真实环境的所有场景。 训练集的数据质量对于模型的精度有很大影响,建议训练集音频的采样率和采样精度保持一致。 标注质量对于最终的模型精度有极
Gallery,其展示的商品和功能是一致的。 订阅算法或模型。 从AI Gallery订阅的算法、模型,不区分区域,但是,在前往控制台使用订阅的产品时,需选择对应的区域。支持的区域与ModelArts相同,包含华北-北京一、华北-北京四、华东-上一、华南-广州(以界面上实际支持的区域为准)。
ModelArts支持云审计的关键操作 公有云平台提供了云审计服务。通过云审计服务,您可以记录与ModelArts相关的操作事件,便于日后的查询、审计和回溯。 前提条件 已开通云审计服务。 数据管理支持审计的关键操作列表 表1 数据管理支持审计的关键操作列表 操作名称 资源类型 事件名称
8:图像的饱和度与训练数据集的特征分布存在较大偏移。 9:图像的色彩丰富程度与训练数据集的特征分布存在较大偏移。 10:图像的清晰度与训练数据集的特征分布存在较大偏移。 11:图像的目标框数量与训练数据集的特征分布存在较大偏移。 12:图像中目标框的面积标准差与训练数据集的特征分布存在较大偏移。
'task_index' 原因分析 运行参数中未定义该参数。 在训练环境中,系统可能会传入在Python脚本里没有定义的其他参数名称,导致参数无法解析,日志报错。 处理方法 参数定义中增加该参数的定义,代码示例如下: parser.add_argument('--init_method', default='tcp://xxx'
训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 如果想详细了解脚本执行训练权重转换操作和数据集预处理操作说明请分别参见训练中的权重转换说明和训练的数据集预处理说明。 Step2 修改训练超参配置 以Llama2-70b和Llama2-13b的SFT微调为例,执行脚本为0_pl_sft_70b
训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 如果想详细了解脚本执行训练权重转换操作和数据集预处理操作说明请分别参见训练中的权重转换说明和训练的数据集预处理说明。 步骤二 修改训练超参配置 以Llama2-70b和Llama2-13b的SFT微调为例,执行脚本为0_pl_sft_70b
Notebook”中创建Notebook实例,在Terminal或ipynb文件中直接调用ModelArts SDK的接口。在Notebook中调用SDK,可直接参考接口说明,执行OBS管理、作业管理、模型管理和服务管理等操作。 ModelArts SDK支持在本地安装配置使用。使用时,需进行Session鉴权。
ModelArts的功能都需经过授权,可以更精确的控制子账号的权限范围,达成权限最小化的安全策略。 用工作空间限制资源访问 工作空间是ModelArts面向企业用户提供的一个高阶功能,用于进一步将用户的资源划分在多个逻辑隔离的空间中,并支持以空间维度进行访问的权限限定。目前工作空
用户伙伴注册时提供的企业信息。 用户发布资产时提供的联系人姓名、手机号、邮箱。 资产管理 对于用户发布在AI Gallery中的资产,AI Gallery会做统一的保存管理。 对于文件类型的资产,AI Gallery会将资产保存在AI Gallery官方的OBS桶内。 对于镜像类型的资产,AI
文件,当前支持SFS、OBS、EVS三种云存储服务,提供了多种场景下的存储解决方案。 3 配置Lite Server软件环境 不同镜像中预安装的软件不同,您通过Lite Server算力资源和镜像版本配套关系章节查看已安装的软件。当Server服务器中预装的软件无法满足业务需求时
训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 如果想详细了解脚本执行训练权重转换操作和数据集预处理操作说明请分别参见训练中的权重转换说明和训练的数据集预处理说明。 步骤二 修改训练超参配置 以Llama2-70b和Llama2-13b的SFT微调为例,执行脚本为0_pl_sft_70b
训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 如果想详细了解脚本执行训练权重转换操作和数据集预处理操作说明请分别参见训练中的权重转换说明和训练的数据集预处理说明。 步骤二 修改训练超参配置 以Llama2-70b和Llama2-13b的SFT微调为例,执行脚本为0_pl_sft_70b
自动学习生成的模型,存储在哪里?支持哪些其他操作? 模型统一管理 针对自动学习项目,当模型训练完成后,其生成的模型,将自动进入“模型管理”页面,如下图所示。模型名称由系统自动命名,前缀与自动学习项目的名称一致,方便辨识。 自动学习生成的模型,不支持下载使用。 图1 自动学习生成的模型 自动学习生成的模型,支持哪些其他操作