检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
user_id: 用户的唯一不重复的ID值,必选。 excel_addr: 待处理的excel文件的地址,必选。 dataset_name: 处理后的数据集名称,必选。 proportion: 测试集所占份数,范围[1,9],可选。 test_count: 测试集的个数,范围[1,处理后数据集总长度
的值,以完成对该请求的签名认证。具体指导参见链接:访问在线服务(APP认证)。 Body: body的组装和模型强相关,不同来源的模型body的组装方式不同。 模型为从容器镜像中导入的:需要按照自定义镜像的要求组织,请咨询该镜像的制作人。 模型为从对象存储(OBS)导入的:此时对
Standard使用run.sh脚本实现OBS和训练容器间的数据传输 自定义容器在ModelArts上训练和本地训练的区别如下图: 图1 本地与ModelArts上训练对比 ModelArts上进行训练比本地训练多了一步OBS和容器环境的数据迁移工作。 增加了和OBS交互工作的整个训练流程如下: 建
user_id: 用户的唯一不重复的ID值,必选。 excel_addr: 待处理的excel文件的地址,必选。 dataset_name: 处理后的数据集名称,必选。 proportion: 测试集所占份数,范围[1,9],可选。 test_count: 测试集的个数,范围[1,处理后数据集总长度
Standard中模型部署为服务后如何收费? ModelArts支持将模型按照业务需求部署为服务。训练类型不同,部署后的计费方式不同。 将模型部署为服务时,根据数据集大小评估模型的计算节点个数,根据实际编码情况选择计算模式。 具体计费方式请参见ModelArts产品价格详情。
user_id: 用户的唯一不重复的ID值,必选。 excel_addr: 待处理的excel文件的地址,必选。 dataset_name: 处理后的数据集名称,必选。 proportion: 测试集所占份数,范围[1,9],可选。 test_count: 测试集的个数,范围[1,处理后数据集总长度
查询AI应用列表 功能介绍 查询AI应用列表,可以根据不同的检索参数进行查询。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/models
在训练开始前,需要针对模型的tokenizer文件进行修改,不同模型的tokenizer文件修改内容如下,您可在创建的Notebook中对tokenizer文件进行编辑。 Yi模型 在使用Yi模型的chat版本时,由于transformer 4.38版本的bug,导致在读取toke
镜像方案说明 准备大模型训练适用的容器镜像,包括获取镜像地址,了解镜像中包含的各类固件版本,配置Standard物理机环境操作。 基础镜像地址 本教程中用到的训练的基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 训练基础镜像
调用ModelArts API接口创建训练作业和部署服务时,如何填写资源池的参数? 调用API接口创建训练作业时,“pool_id”为“资源池ID”。 调用API接口部署在线服务时,“pool_name”为“资源池ID” 。 图1 资源池ID 父主题: API/SDK
场景描述 本文旨在指导如何在GPU裸金属服务器上,安装NVIDIA、CUDA驱动等环境配置。由于不同GPU预置镜像中预安装的软件不同,您通过Lite Server算力资源和镜像版本配套关系章节查看已安装的软件。下面为常见的软件安装步骤,您可针对需要安装的软件查看对应的内容: 安装NVIDIA驱动
每个输出序列要生成的最大tokens数量。 top_k 否 -1 Int 控制要考虑的前几个tokens的数量的整数。设置为-1表示考虑所有tokens。 适当降低该值可以减少采样时间。 top_p 否 1.0 Float 控制要考虑的前几个tokens的累积概率的浮点数。必须在 (0
在训练作业列表中,单击目标训练作业名称,查看该作业的详情。 在左侧获取“输出位置”下的路径,即为训练模型的下载路径。 模型迁移到其他账号 您可以通过如下两种方式将训练的模型迁移到其他账号。 将训练好的模型下载至本地后,上传至目标账号对应区域的OBS桶中。 通过对模型存储的目标文件夹或者目标桶配置策略,
化存储的部分(home/ma-user/work目录的内容)不会保存在最终产生的容器镜像中、“/cache”目录下存储的是临时文件,不占用容器空间。 如果没有文件可以删除,或者不清楚哪些可以删除,那么可以使用相同的镜像重新创建一个Notebook,使用新建的Notebook时,注
模式。 购买的SWR可以用于上传自定义镜像。 上传镜像 对象存储服务OBS 对象存储服务提供按需计费和包年包月两种计费模式,用户可以根据实际需求购买OBS服务。 OBS服务支持以下两种存储方式,单机单卡场景使用文件系统,多机多卡场景使用普通OBS桶。 创建普通OBS桶 创建并行文件系统
在训练开始前,需要针对模型的tokenizer文件进行修改,不同模型的tokenizer文件修改内容如下,您可在创建的Notebook中对tokenizer文件进行编辑。 Yi模型 在使用Yi模型的chat版本时,由于transformer 4.38版本的bug,导致在读取toke
在训练开始前,需要针对模型的tokenizer文件进行修改,不同模型的tokenizer文件修改内容如下,您可在创建的Notebook中对tokenizer文件进行编辑。 Yi模型 在使用Yi模型的chat版本时,由于transformer 4.38版本的bug,导致在读取toke
在训练开始前,需要针对模型的tokenizer文件进行修改,不同模型的tokenizer文件修改内容如下,您可在创建的Notebook中对tokenizer文件进行编辑。 Yi模型 在使用Yi模型的chat版本时,由于transformer 4.38版本的bug,导致在读取toke
ModelArts在线服务的API接口组成规则是什么? 模型部署成在线服务后,用户可以获取API接口用于访问推理。 API接口组成规则如下: https://域名/版本/infer/服务ID 示例如下: https://6ac81cdfac4f4a30be95xxxbb682.apig.xxx.xxx
在ModelArts的Notebook中如何设置VS Code远端默认安装的插件? 在VS Code的配置文件settings.json中添加remote.SSH.defaultExtensions参数,如自动安装Python和Maven插件,可配置如下。 "remote.SSH