检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本文档适用于OBS+SFS Turbo的数据存储方案，不适用于仅使用OBS的存储方案。通过OBS对象存储服务（Object Storage Service）与SFS Turbo文件系统联动，可以实现数据灵活管理、高性能读取数据等。通过OBS上传训练所需的模型文件、训练数据等，再将OBS中的数据文件导入到SFS
执行如下操作，将数据导入到您的数据集中，以便用于模型训练和构建。 登录OBS管理控制台，在ModelArts同一区域内创建桶。如果已存在可用的桶，需确保OBS桶与ModelArts在同一区域。 参考上传文件，将本地数据上传至OBS桶中。如果您的数据较多，推荐OBS Browser+上传数据或上传文件夹
Gallery在原有Transformers库的基础上，融入了对于昇腾硬件的适配与支持。对AI有使用诉求的企业、NLP领域开发者，可以借助这个库，便捷地使用昇腾算力进行自然语言理解（NLU）和自然语言生成（NLG）任务的SOTA模型开发与应用。 支持的模型结构框架 AI Gallery的Transf
vllm_path：构造vllm评测配置脚本名字，默认为vllm。 host：与起服务的host保持一致，比如起服务为0.0.0.0，host设置也为0.0.0.0。 service_port：服务端口，与启动服务时的端口保持，比如8080。 max_out_len：在运行类似mm
AK/SK签名认证方式，仅支持Body体12M以内，12M以上的请求，需使用Token认证。 客户端须注意本地时间与时钟服务器的同步，避免请求消息头X-Sdk-Date的值出现较大误差。因为API网关除了校验时间格式外，还会校验该时间值与网关收到请求的时间差，如果时间差超过15分钟，API网关将拒绝请求。 约束限制
个的第三方库，当前在WebUI适配时，并没有特别好的方式。在对后端实现比较理解的情况下，建议针对具体的功能进行Diffusers模块的适配与替换，然后针对替换上去的Diffusers，对其pipeline进行昇腾迁移适配，进而替代原有WebUI的功能。针对很多参数以及三方加速库（
在创建并使用的工作空间，以实际取值为准。 model_type 否 String 模型类型，查询属于该类型的模型列表。model_type与not_model_type为互斥关系，不能同时存在。可选值为TensorFlow、PyTorch、MindSpore、Image、Custom、Template。
不分页的情况下符合查询条件的总数量。 total_count Integer 当前查询结果的数量，不设置offset、limit查询参数时，count与total相同。 engine_runtimes Array of EngineAndRuntimesResponse objects 引擎运行环境。
py启动服务器，app.py请参考https示例 python app.py 除了按上述要求设置启动命令，您也可以在镜像中自定义启动命令，在创建模型时填写与您镜像中相同的启动命令。 提供的服务可使用HTTPS/HTTP协议和监听的容器端口，使用的协议和端口号请根据模型实际定义的推理接口进行配置。
安装nvidia-fabricmanager Ant系列GPU支持NvLink & NvSwitch，若您使用多GPU卡的机型，需额外安装与驱动版本对应的nvidia-fabricmanager服务使GPU卡间能够互联，否则可能无法正常使用GPU实例。 nvidia-fabricmanager必须和nvidia
取值范围：0~0.1 默认值：0.00002 建议微调场景的学习率设置在10-5这个量级。 资源设置 资源池类型 资源池分为公共资源池与专属资源池。 公共资源池供所有租户共享使用。 专属资源池需单独创建，不与其他租户共享。 实例规格 选择实例规格，规格中描述了服务器类型、型号等信息，仅显示模型支持的资源
图6 模型checkpoint 步骤3 单机多卡训练 和单机单卡训练相比， 单机多卡训练只需在预训练脚本中设置多卡参数相关即可， 其余步骤与单机单卡相同。 当前选择GPU裸金属服务器是8卡， 因此需要在预训练脚本中调整如下参数： GPUS_PER_NODE=8 调整全局批处理大小（global
元模型来源：选择“从容器镜像中选择” 容器镜像所在的路径：选择已制作好的自有镜像 图4 选择已制作好的自有镜像 容器调用接口：指定模型启动的协议和端口号。请确保协议和端口号与自定义镜像中提供的协议和端口号保持一致。 镜像复制：选填，选择是否将容器镜像中的模型镜像复制到ModelArts中。 健康检查：选填，用于指
单击“注册镜像”。请将完整的SWR地址复制到这里即可，或单击可直接从SWR选择自有镜像进行注册。 “架构”和“类型”根据实际情况选择，与镜像源保持一致。 创建Notebook并使用 镜像注册成功后，即可在ModelArts控制台的“开发环境 > Notebook”页面，创建开发环境时选择该自定义镜像。
py”。可通过以下方式使用指定的“conda env”启动训练： 方式一：为镜像设置正确的“DEFAULT_CONDA_ENV_NAME”环境变量与“ANACONDA_DIR”环境变量。 ANACONDA_DIR=/home/ma-user/anaconda3 DEFAULT_CONDA_ENV_NAME=python-3
Fine-tuning)：是一种利用有标签数据进行模型训练的方法。 它基于一个预先训练好的模型，通过调整模型的参数，使其能够更好地拟合特定任务的数据分布。 与从头开始训练模型相比，监督式微调能够充分利用预训练模型的知识和特征表示，从而加速训练过程并提高模型的性能。 训练阶段下有不同的训练策略，分为
作步骤中会提示 |── Llama2-70B |── model #原始权重与tokenizer目录，需要用户手动创建，后续操作步骤中会提示 |── Llama2-70B |── training_data
label_separator 标签与标签之间的分隔符，默认为逗号分隔，分隔符需转义。分隔符仅支持一个字符，必须为大小写字母，数字和“!@#$%^&*_=|?/':.;,”其中的某一字符。 否 str sample_label_separator 文本与标签之间的分隔符，默认为Tab键
result. print(resp.status_code) print(resp.text) 模型服务的API与vLLM相同，表1仅介绍关键参数，详细参数解释请参见vLLM官网Sampling Parameters。 表1 请求参数说明 参数 是否必选
部署模型服务的简介。支持256字符。 模型设置 部署模型 单击“选择模型”，从“我的模型”列表中选择需要部署的模型。 资源设置 资源池类型 资源池分为公共资源池与专属资源池。 公共资源池供所有租户共享使用。 专属资源池需单独创建，不与其他租户共享。 实例规格 选择实例规格，规格中描述了服务器类型、型号等信息。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
