检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可以进行在线推理预测，也可以通过调用API把AI推理能力集成到自己的IT平台。具体请参见推理部署使用场景。 Standard使用流程说明 ModelArts Standard平台提供了从数据准备到模型部署的AI全流程开发，兼容开发者的使用习惯，支持多种引擎和用户场景，使用自由度较
to_awq.html。 Step2 权重格式离线转换（可选） 在GPU上AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本：
QWEN+AWQ 方式二：使用AutoAWQ量化工具进行量化。 AutoAWQ量化工具的适配代码存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools/AutoAWQ目录下。 1、在容器中使用ma-user用户， vLLM使用transformers版
训练管理 创建算法 查询算法列表 查询算法详情 更新算法 删除算法 获取支持的超参搜索算法 创建训练实验 创建训练作业 查询训练作业详情 更新训练作业描述 删除训练作业 终止训练作业 查询训练作业指定任务的日志（预览） 查询训练作业指定任务的日志（OBS链接） 查询训练作业指定任务的运行指标
TensorFlow和MindSpore等引擎的AI模型。 支持通过JupyterLab工具在线打开Notebook，具体请参见通过JupyterLab在线使用Notebook实例进行AI开发。 支持本地IDE的方式开发模型，通过开启SSH连接，用户本地IDE可以远程连接到Mod
在详情页面您可以查看镜像的AI引擎框架、使用芯片、镜像URL、包含的依赖项等信息。 复制镜像URL，可以在ModelArts控制台“镜像管理”注册并使用该镜像。 父主题： 订阅使用
Cluster资源池上使用Snt9B完成推理任务 场景描述 本案例介绍如何在Snt9B环境中利用Deployment机制部署在线推理服务。首先创建一个Pod以承载服务，随后登录至该Pod容器内部署在线服务，并最终通过新建一个终端作为客户端来访问并测试该在线服务的功能。 图1 任务示意图
on/auto_awq.html。 Step3 权重格式离线转换（可选） AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本：
on/auto_awq.html。 Step3 权重格式离线转换（可选） AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本：
QWEN+AWQ 方式二：使用AutoAWQ量化工具进行量化。 AutoAWQ量化工具的适配代码存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools/AutoAWQ目录下。 1、在容器中使用ma-user用户, vLLM使用transformers版
auto_awq.html。 步骤二 权重格式离线转换（可选） 在GPU上AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本：
订阅使用 查找和收藏资产 订阅免费算法 订阅免费模型 下载数据 使用Notebook代码样例 使用镜像 使用AI案例 订阅Workflow 父主题： AI Gallery（旧版）
使用窍门 创建项目时，如何快速创建OBS桶及文件夹？ 自动学习生成的模型，存储在哪里？支持哪些其他操作？ 父主题： 使用自动学习实现零代码AI开发
on/auto_awq.html。 Step3 权重格式离线转换（可选） AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本：
必选 密钥管理服务 当子账号使用ModelArts Notebook的SSH远程功能时，需要配置子账号密钥管理服务的使用权限。 KMS CMKFullAccess 可选 IEF智能边缘平台 授予子账号智能边缘平台使用权限，ModelArts的边缘服务依赖智能边缘平台，要求配置Tenant
运行完成的工作流会自动部署为相应的在线服务，您只需要在相应的服务详情页面进行预测即可。 在服务部署节点单击“实例详情”直接跳转进入在线服务详情页，或者在ModelArts管理控制台，选择“模型部署 > 在线服务”，单击生成的在线服务名称，即可进入在线服务详情页。 在服务详情页，选择“预测”页签。
将模型部署为一个Web Service，并且提供在线的测试UI与监控功能，部署成功的在线服务，将为用户提供一个可调用的API。 将模型部署为批量推理服务 批量服务可对批量数据进行推理，完成数据处理后自动停止。 图2 不同类型的推理作业使用场景 父主题： 使用ModelArts Standard部署模型并推理预测
数据准备使用流程 ModelArts是面向AI开发者的一站式开发平台，能够支撑开发者从数据到模型的全流程开发过程，包含数据处理、算法开发、模型训练、模型部署等操作。并且提供AI Gallery功能，能够在市场内与其他开发者分享数据、算法、模型等。为了能帮用户快速准备大量高质量的数
返回结果如图2所示：predict为目标列的预测结果。 图2 预测结果 由于“运行中”的在线服务将持续耗费资源，如果不需再使用此在线服务，建议在“在线服务”的操作列单击“更多>停止”，即可停止在线服务的部署，避免产生不必要的费用。如果需要继续使用此服务，可单击“启动”恢复。 如果您启用了自动停止功能，服务将在指定时间后自动停止，不再产生费用。
使用AI案例 在AI Gallery中，您可以根据您的业务场景和诉求，查找并订阅相应的场景化AI案例。订阅后可以一键运行案例。 AI Gallery中分享的案例支持免费订阅，但在使用过程中如果消耗了硬件资源进行部署，管理控制台将根据实际使用情况收取硬件资源的费用。 前提条件 注册
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
