检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
若需要部署量化模型，需在Notebook中进行模型权重转换后再部署推理服务。 在推理生产环境中部署推理服务 介绍如何创建AI应用，部署模型并启动推理服务，在线预测服务。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.907）
建和管理等。一般用户选择此项即可。 如何获取访问密钥AK/SK？ 如果在其他功能（例如PyCharmtoolKit/VSCode登录，访问在线服务等）中使用到访问密钥AK/SK认证，获取AK/SK方式请参考如何获取访问密钥章节。 如何删除已有委托列表下面的委托名称？ 图8 已有委托
dataset：数据集 obs：OBS swr：SWR model_list：AI应用列表 label_task：标注任务 service：在线服务 conditions 否 Array of Constraint objects 数据约束条件。 value 否 Map<String
评测动态性能脚本 ├── generate_dataset.py # 生成自定义数据集的脚本 ├── benchmark_utils.py # 工具函数集 ├── benchmark.py # 执行静态、动态性能评测脚本 ├── requirements.txt
评测动态性能脚本 ├── generate_dataset.py # 生成自定义数据集的脚本 ├── benchmark_utils.py # 工具函数集 ├── benchmark.py # 执行静态，动态性能评测脚本、 ├── requirements.txt
在获取软件和镜像中，下载并解压代码包。本文档主要使用ascendcloud-aigc-poc-sdxl-finetune文件夹中的文件，请利用OBS Browser+工具将文件夹中内容上传至OBS的代码文件夹code中。 obs://<bucket_name>/code ├── attention_processor
在获取软件和镜像中，下载并解压代码包。本文档主要使用aigc_train->torch_npu->diffusers下的部分文件，请利用OBS Browser+工具将文件夹中内容上传至OBS的代码文件夹code中。 obs://<bucket_name>/code ├── diffusers-train
用户具备Manifest文件所在OBS路径的权限。 Manifest文件编写规范要求较多，推荐使用OBS目录导入方式导入新数据。一般此功能常用于不同区域或不同账号下ModelArts的数据迁移，即当您已在某一区域使用ModelArts完成数据标注，发布后的数据集可从输出路径下获得
在获取软件和镜像中，下载并解压代码包。本文档主要使用aigc_train->torch_npu->diffusers下的部分文件，请利用OBS Browser+工具将文件夹中内容上传至OBS的代码文件夹code中。 obs://<bucket_name>/code ├── diffusers-train
runtime 否 String 支持的运行环境。如果使用了model_type参数，则需要填该参数。不同引擎对应的runtime可参见支持的常用引擎及其Runtime。 input_params 否 params结构数组 模型推理输入参数列表，默认为空。如果已在模型配置文件中配置a
json文件中配置。当业务可提供正常服务时，健康检查接口返回健康状态，否则返回异常状态。 如果要实现无损滚动升级，必须配置健康检查接口。 自定义镜像如果需要在“在线服务”模块使用OBS外部存储挂载功能，需要新建一个OBS挂载专属目录如“/obs-mount/”，避免选择存量目录覆盖已有文件。OBS挂载
常见的标准操作系统镜像，所有用户可见，包括操作系统以及预装的公共应用（SDI卡驱动、bms-network-config网络配置程序、Cloud-init初始化工具等）。请根据您的实际需要自助配置应用环境或相关软件。ModelArts服务提供镜像支持多种操作系统，内置AI场景相关驱动和软件，预置Mod
评测动态性能脚本 ├── generate_dataset.py # 生成自定义数据集的脚本 ├── benchmark_utils.py # 工具函数集 ├── benchmark.py # 执行静态、动态性能评测脚本 ├── requirements.txt
Tenant Administrator 可选 CES云监控 授予子用户使用CES云监控服务的权限。通过CES云监控可以查看ModelArts的在线服务和对应模型负载运行状态的整体情况，并设置监控告警。 CES FullAccess 可选 SMN消息服务 授予子用户使用SMN消息服务的
dataset：数据集 obs：OBS swr：SWR model_list：AI应用列表 label_task：标注任务 service：在线服务 conditions Array of Constraint objects 数据约束条件。 value Map<String,Object>
对用户分享的新闻链接进行智能分类，帮助用户迅速定位到感兴趣的话题。 内容推荐系统： 根据用户的阅读偏好和历史行为，智能推荐相关新闻，增强用户粘性和满意度。 新闻分析工具： 为分析师提供自动分类的新闻数据，便于进行市场趋势和热点分析。 方案流程 图1 方案实现流程 准备数据集：获取新闻数据集，并上传到OBS。
!'"<>=。公共参数 runtime 否 String 模型运行时环境，runtime可选值与model_type相关，详细见推理支持的常用引擎及其Runtime。 model_metrics 否 String 模型精度信息，从配置文件读取，可不填。非模板参数 source_type
标签 - ModelArts支持对接标签管理服务TMS，在ModelArts中创建资源消耗性任务（例如：创建Notebook、训练作业、推理在线服务）时，可以为这些任务配置标签，通过标签实现资源的多维分组管理。 标签详细用法请参见ModelArts如何通过标签实现资源分组管理。 说明：
正常运行完成训练，会显示如下内容。 图7 训练完成 精度一般问题不大，step_loss都是一个较小值。 训练过程中，训练日志会在最后的Rank节点打印。可以使用可视化工具TrainingLogParser查看loss收敛情况。 其它注意事项 默认500step保存一个checkpoint，可以通过在启动脚本
训练过程中，训练日志会在最后的Rank节点打印。 日志里存在lm loss参数 ，lm loss参数随着训练迭代周期持续性减小，并逐渐趋于稳定平缓。可以使用可视化工具TrainingLogParser查看loss收敛情况。 FAQ 如果clip-vit-large-patch14-336模型不能自动下载。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
