检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
LoRA微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中，具体参考代码上传至OBS和使用Notebook将OBS数据导入SFS Turbo。 Step1 在Notebook中修改训练超参配置 以llama2-13b LORA微调为例，执行脚本0_pl_lora_13b
模型管理计费项 计费说明 在ModelArts创建模型不收费，但在通过OBS导入模型时，需要先将模型包文件存放到OBS中，OBS会产生费用。存储资源包括数据存储到OBS的计费。具体内容如表1所示。 表1 存储计费项 计费项 计费项说明 适用的计费模式 计费公式 存储资源 对象存储OBS
在使用MaaS服务时，如果未配置或缺失相关权限，会出现授权相关提示，请您及时处理。如果未处理，会导致部分功能出现异常。 添加依赖服务授权 由于大模型即服务平台的数据存储、模型导入以及部署上线等功能依赖OBS、SW等服务，需获取依赖服务授权后才能正常使用相关功能。 如果您未配置依赖服务授权，MaaS控制台顶部会出现获
预训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中，具体参考代码上传至OBS和使用Notebook将OBS数据导入SFS Turbo。 Step1 在Notebook中修改训练超参配置 以llama2-13b预训练为例，执行脚本0_pl_pretrain_13b
SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中，具体参考代码上传至OBS和使用Notebook将OBS数据导入SFS Turbo。 Step1 在Notebook中修改训练超参配置 以llama2-13b SFT微调为例，执行脚本 0_pl_sft_13b
注意：如提示uid重复，则单击“Change uid”，修改json中的uid后单击“Import”。 图4 修改uid 导入成功后，在Dashboards下，即可看到导入的视图，单击视图即可打开监控。 模板使用 导入成功后，单击想查看的模板即可查看响应内容。这里介绍一些常用功能的使用。 切换数据源和资源池 图5
Notebook中构建新镜像 ModelArts中注册镜像 通过ECS获取和上传基础镜像将基础镜像上传后，可在SWR中查看已上传的镜像。但在ModelArts中还需要完成镜像注册后，才能在后续的Notebook中使用。镜像注册的操作步骤如下： 登录ModelArts管理控制台，在左侧导航栏单击“镜像管理”。
创建模型成功后，部署服务报错，如何排查代码问题 问题现象 创建模型成功后，部署服务失败，如何定位是模型代码编写有问题。 原因分析 用户自定义镜像或者通过基础镜像导入的模型时，用户自己编写了很多自定义的业务逻辑，这些逻辑有问题将会导致服务部署或者预测失败，需要能够排查出哪里有问题。 处理方法 服务部署失
通过自定义镜像创建模型失败 问题现象 通过用户自定义镜像创建模型失败。 原因分析 可能原因如下： 导入模型使用的镜像地址不合法或实际镜像不存在 用户给ModelArts的委托中没有SWR相关操作权限 用户为子账号，没有主账号SWR的权限 使用的是非自己账号的镜像 使用的镜像为公开镜像
型按照模型包规范上传至OBS桶中，从OBS将模型导入至ModelArts中，创建为模型，直接用于部署服务。 从容器镜像中导入模型文件创建模型：针对ModelArts目前不支持的AI引擎，可以通过自定义镜像的方式将编写的模型镜像导入ModelArts，创建为模型，用于部署服务。 从AI
过5MB。 解决方案： 方法1：使用导入功能。将图片上传至OBS任意目录，通过“从OBS目录导入”方式导入到已有数据集。 方法2：使用同步数据源功能。将图片上传到数据集输入目录下（或者其子目录），单击数据集详情页中的“同步数据源”将新增图片导入。需注意的是，同步数据源同时也会将O
通过自定义镜像创建模型失败 导入模型后部署服务，提示磁盘不足 创建模型成功后，部署服务报错，如何排查代码问题 自定义镜像导入配置运行时依赖无效 通过API接口查询模型详情，model_name返回值出现乱码 导入模型提示模型或镜像大小超过限制 导入模型提示单个模型文件超过5G限制
py”，此文件有且只能有一个，模型推理代码编写请参见模型推理代码编写说明。 customize_service.py依赖的py文件可以直接放model目录下，推荐采用相对导入方式导入自定义包。 customize_service.py依赖的其他文件可以直接放model目录下，需要采用绝对路径方式访问。绝对路径获取请参考绝对路径如何获取。
注册伙伴 仅当暂未注册伙伴的用户可以注册伙伴。 在“AI Gallery”页面中，单击右上角“我的Gallery > 我的主页”进入个人中心页面。 左侧菜单栏选择“解决方案”进入解决方案列表页，单击右上方“发布”进入合作伙伴申请页面。 如果已经是伙伴用户，则会进入发布解决方案页面。
”获得此文件。 创建一个空数据集C，即无任何输出，其输入位置选择一个空的OBS文件夹。 在数据集C中，执行导入数据操作，将数据集A和数据集B的Manifest文件导入。 导入完成后，即将数据集A和数据集B的数据分别都合并至数据集C中。如需使用合并后的数据集，再针对数据集C执行发布操作即可。
择CPU和ASCEND。 图7 注册镜像 Step9 通过openssl创建SSL pem证书 在ECS中执行如下命令，会在当前目录生成cert.pem和key.pem，并将生成的pem证书上传至OBS。证书用于后续在推理生产环境中部署HTTPS推理服务。 openssl genrsa
选择规格，单击“立即注册”。 图7 选择已上传的镜像源 Step9 通过openssl创建SSL pem证书 在ECS中执行如下命令，会在当前目录生成cert.pem和key.pem，并将生成的pem证书上传至OBS。证书用于后续在推理生产环境中部署HTTPS推理服务。 openssl
创建模型 创建模型不同方式的场景介绍 从训练作业中导入模型文件创建模型 从OBS中导入模型文件创建模型 从容器镜像中导入模型文件创建模型 从AI Gallery订阅模型 父主题： 使用ModelArts Standard部署模型并推理预测
/home/ma-user -m -u 1000 -g 100 -s /bin/bash ma-user 通过增加nginx代理，支持https协议。 协议转换为https之后，对外暴露的端口从tfserving的8501变为8080。 Dockerfile中执行如下命令完成nginx的安装和配置。
择CPU和ASCEND。 图7 注册镜像 Step9 通过openssl创建SSL pem证书 在ECS中执行如下命令，会在当前目录生成cert.pem和key.pem，并将生成的pem证书上传至OBS。证书用于后续在推理生产环境中部署HTTPS推理服务。 openssl genrsa
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
