检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
我创建的微调数据集会被其他用户调用去训练他们的大模型吗? 用户个人创建的数据集是属于个人账号下的专属数据,未经本人许可不会被其他人员查看到,且不会被其他用户在大模型训练时调用。 父主题: AI原生应用引擎
管理微服务引擎公网访问 绑定公网IP 解绑公网IP 父主题: 管理微服务引擎
查看微服务引擎操作日志 在“操作日志”区域,可以查看微服务引擎的操作日志信息。 查看微服务引擎操作日志 登录ServiceStage控制台,选择“微服务引擎 > 引擎实例”。 在页面上方“微服务引擎”下拉列表,选择待查看的微服务引擎。 在“操作日志”区域,查看微服务引擎的操作日志信息。
使用微服务仪表盘 您可以通过仪表盘实时查看微服务运行相关的指标,根据丰富实时的仪表盘数据,对微服务做相应的治理动作。 约束与限制 如果微服务应用部署在ServiceStage上,部署应用时需要设置微服务引擎,应用会自动获取服务注册发现地址、配置中心地址和仪表盘地址,不需要配置monitor地址,就可以使用仪表盘功能。
搜索运行日志 为组件关联LTS日志组后,您可以设置关键字和时间范围进行日志搜索。 前提条件 组件已关联LTS日志组,请参考关联LTS日志组。 搜索运行日志 登录ServiceStage控制台。 选择以下任意方式进入组件“日志”页面: 在“应用管理”页面,单击组件所属应用名称,在“
"value": "env" } ] } } 状态码 状态码 描述 200 操作成功。 400 错误的请求。 404 请求对象不存在。 500 内部错误。 错误码 错误码格式为:SVCSTG.00100
"update_time": 1722932102641, "component_count": 0 }], "total": 2 } 状态码 状态码 描述 200 操作成功 400 错误的请求 404 请求对象不存在 409 请求与当前对象状态冲突 500 内部错误 错误码 错误码格式为:SVCSTG
"instance_id": "7897df44-e9c3-486f-9406-7a55e9aa55e2" } 状态码 状态码 描述 200 操作成功 400 错误的请求 404 请求对象不存在 500 内部错误 错误码 错误码格式为:SVCSTG.00100.
购买这个服务是不是要先购买其他的配套服务? 不需要。 父主题: 关于服务购买
使用ma-cli obs-copy命令复制OBS数据 使用ma-cli obs-copy [SRC] [DST]可以实现本地和OBS文件或文件夹的相互复制。 $ma-cli obs-copy -h Usage: ma-cli obs-copy [OPTIONS ] SRC
使用Qwen2.5-72B-1K、Qwen2.5-32B调优的Checkpoint创建模型时,权重校验失败 问题现象 使用Qwen2.5-72B-1K、Qwen2.5-32B调优的Checkpoint创建模型时,权重校验失败。 版本详情的报错信息如下: Insufficient storage
填写备注信息。 主库IP 显示主IP信息。 读写分离 单击“启用”,设置读写权重。 此处设置的权重和华为云设置的读权重意义不同,读流量先通过SDK配置的权重进行分配,再通过华为云设置的权重进行再次分配。 是否支持快速感知数据库连接失效 单击开关开启,开启后可以快速感知数据库连接失效。
将弹性云服务器主机设置为执行机 已纳管的Linux主机可以设置为执行机,执行机将在部署服务虚拟机部署、监控服务日志接入/脚本执行、演练服务执行快速演练任务、负载均衡创建实例、数据库治理纳管实例和数据查询时使用。推荐使用内存2G及以上的主机作为执行机。 前提条件 已获取基础运维岗位
准备数据 本教程使用到的训练数据集是Alpaca数据集。您也可以自行准备数据集。 Alpaca数据集 本教程使用Alpaca数据集,数据集的介绍及下载链接如下。 Alpaca数据集是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令
准备资源 创建专属资源池 本文档中的模型运行环境是ModelArts Standard。资源规格需要使用专属资源池中的昇腾Snt9B资源,请参考创建资源池购买资源。 推荐使用“西南-贵阳一”Region上的昇腾资源。 专属资源池驱动检查 登录ModelArts控制台,单击“专属资源池
准备权重 获取对应模型的权重文件,获取链接参考支持的模型列表和权重文件。 在创建的OBS桶下创建文件夹用以存放权重文件,例如在桶中创建文件夹。将下载的权重文件上传至OBS中,得到OBS下数据集结构。此处以qwen-14b举例。 obs://${bucket_name}/${folder-name}/
准备镜像 准备大模型推理适用的容器镜像,包括获取镜像地址,了解镜像中包含的各类固件版本,配置Standard物理机环境操作。 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr.cn-southwest-2
准备权重 获取对应模型的权重文件,获取链接参考支持的模型列表和权重文件。 在创建的OBS桶下创建文件夹用以存放权重文件,例如在桶中创建文件夹。将下载的权重文件上传至OBS中,得到OBS下数据集结构。此处以qwen-14b举例。 obs://${bucket_name}/${folder-name}/
预训练 前提条件 已上传训练代码、训练权重文件和数据集到OBS中,具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及选择上传的镜像。 代码目录选择:OBS桶路径下的llm_train/AscendSpeed代码目录。
附录:config.json文件 config.json文件用于推理服务启动时,需要修改以下参数,4台机器的每个容器中config.json文件内容一致。 ipAddress:主节点IP地址,即rank_table_file.json文件中的server_id。 manageme