检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
8*ascend-snt9b表示昇腾8卡。 推荐使用“西南-贵阳一”Region上的昇腾资源。 创建OBS桶 ModelArts使用对象存储服务(Object Storage Service,简称OBS)进行数据存储以及模型的备份和快照,实现安全、高可靠和低成本的存储需求。因此,在使用ModelArts之前通常先
8*ascend-snt9b表示昇腾8卡。 推荐使用“西南-贵阳一”Region上的昇腾资源。 创建OBS桶 ModelArts使用对象存储服务(Object Storage Service,简称OBS)进行数据存储以及模型的备份和快照,实现安全、高可靠和低成本的存储需求。因此,在使用ModelArts之前通常先
情请参见在线服务授权管理。 开启支持APP认证功能后,将支持APP认证的服务授权给应用,用户可以使用创建的“AppKey/AppSecret”或“AppCode”调用服务的支持APP认证的接口。 APP认证的服务授权给应用后,需要1-2分钟生效。 在线服务授权管理 如果您需要使用
8*ascend-snt9b表示昇腾8卡。 推荐使用“西南-贵阳一”Region上的昇腾资源。 创建OBS桶 ModelArts使用对象存储服务(Object Storage Service,简称OBS)进行数据存储以及模型的备份和快照,实现安全、高可靠和低成本的存储需求。因此,在使用ModelArts之前通常先
8*ascend-snt9b表示昇腾8卡。 推荐使用“西南-贵阳一”Region上的昇腾资源。 创建OBS桶 ModelArts使用对象存储服务(Object Storage Service,简称OBS)进行数据存储以及模型的备份和快照,实现安全、高可靠和低成本的存储需求。因此,在使用ModelArts之前通常先
-max-num-seqs:最大同时处理的请求数,超过后在等待池等候处理。 --max-model-len:推理时最大输入+最大输出tokens数量,输入超过该数量会直接返回。max-model-len的值必须小于config.json文件中的"seq_length"的值,否则推理预测会报错。不
练作业设置的参数,您仅需在原来的基础上进行修改即可重新创建训练作业。 停止训练作业 在训练作业列表中,针对“创建中”、“等待中”、“运行中”的训练作业,您可以单击“操作”列的“终止”,停止正在运行中的训练作业。 训练作业停止后,ModelArts将停止计费。 运行结束的训练作业,
获取用户名和用户ID 在调用接口的时候,部分请求中需要填入用户名(user name)和用户ID(user_id)。获取步骤如下: 注册并登录管理控制台。 鼠标移动至用户名,在下拉列表中单击“我的凭证”。 在“API凭证”页面,查看“IAM用户名”和“IAM用户ID”。 图1 获取用户名和ID
8*ascend-snt9b表示昇腾8卡。 推荐使用“西南-贵阳一”Region上的昇腾资源。 创建OBS桶 ModelArts使用对象存储服务(Object Storage Service,简称OBS)进行数据存储以及模型的备份和快照,实现安全、高可靠和低成本的存储需求。因此,在使用ModelArts之前通常先
然后参考文件传输进行OBS传输操作。 下载Notebook中的文件至本地 在Notebook中开发的文件,可以下载至本地。在本地IDE的Project目录下的Notebook2.0工程单击右键,单击“Download...”将文件下载到本地。 图2 VS Code环境下载Notebook中的文件至本地 父主题: 通过VS
ModelArts提供多版本支持和灵活的流量策略,您可以通过使用灰度发布,实现模型版本的平滑过渡升级。修改服务部署新版本模型或者切换模型版本时,原服务预测API不会变化。 调整模型版本的操作可以参考如下的步骤。 前提条件 已存在部署完成的服务。 已完成模型调整,创建AI应用新版本。 操作步骤 登录Mode
制台,发布此数据集,在“数据集输出位置”参数获取对应的OBS目录。即数据集存储的位置。 在SDK中调用对应OBS目录下的数据。 SDK的下载和使用,请参见《SDK参考》。 可参考从OBS下载文件,通过接口直接使用上述步骤中下载的数据集。 父主题: AI Gallery
json文件至加载的权重文件/tokenizer目录下,参考路径上传代码和权重文件到工作环境中的步骤3。 cp -f config.json {work_dir}/tokenizers/falcon-11B/ glm4-9b模型 在训练开始前,需要修改glm4-9b模型中的tokeni
json文件至加载的权重文件/tokenizer目录下,参考路径上传代码和权重文件到工作环境中的步骤3。 cp -f config.json {work_dir}/tokenizers/falcon-11B/ glm4-9b模型 在训练开始前,需要修改glm4-9b模型中的tokeni
json文件至加载的权重文件/tokenizer目录下,参考路径上传代码和权重文件到工作环境中的步骤3。 cp -f config.json {work_dir}/tokenizers/falcon-11B/ glm4-9b模型 在训练开始前,需要修改glm4-9b模型中的tokeni
“目标区域”:选择您需要将该数据集下载到的区域位置,如“华北-北京四”。 “数据类型”:选择需要处理的文件类型。数据类型更多信息请参考数据集的类型。 “数据集输出位置”:数据集输出位置的OBS路径,此位置会存放输出的标注信息等文件,此位置不能和OBS数据源中的文件路径相同或为其子目录。 “数据集输入位置”:AI
vpc_id 否 String 在线服务实例部署的虚拟私有云ID,默认为空,此时ModelArts会为每个用户分配一个专属的VPC,用户之间隔离;如需要在服务实例中访问名下VPC内的其他服务组件,则可配置此参数为对应VPC的ID。VPC一旦配置,不支持修改。当vpc_id与c
准备镜像 准备训练Llama2-13B模型适用的容器镜像,包括获取镜像地址,了解镜像中包含的各类固件版本,配置Standard物理机环境操作。 镜像地址 本教程中用到的训练的基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 训练基础镜像
镜像方案说明 准备大模型训练适用的容器镜像,包括获取镜像地址,了解镜像中包含的各类固件版本,配置Standard物理机环境操作。 基础镜像地址 本教程中用到的训练的基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr
docker 配置IP转发,用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值,如果为1,可跳过此步骤。 sysctl -p | grep net.ipv4.ip_forward 如果net.ipv4.ip_forward配置项的值不为1,执行以下命令配置IP转发。