华为云用户手册

响应参数 状态码： 200 表3 响应Body参数 参数 参数类型 描述 result Object 返回值 status String 状态 状态码： 401 表4 响应Body参数 参数 参数类型 描述 error_msg String 错误描述 error_code String 错误码 状态码： 403 表5 响应Body参数 参数 参数类型 描述 error_msg String 错误描述 error_code String 错误码 状态码： 404 表6 响应Body参数 参数 参数类型 描述 error_msg String 错误描述 error_code String 错误码

响应示例 状态码： 200 OK { "prices" : [ { "arch" : "x86", "type" : "cpuMemory", "size" : "1U1G", "price" : 0.8 }, { "arch" : "x86", "type" : "cpuMemory", "size" : "2U4G", "price" : 3.5 }, { "arch" : "x86", "type" : "storage", "size" : "5GB", "price" : 0.0049 }, { "arch" : "x86", "type" : "storage", "size" : "10GB", "price" : 0.0098 }, { "arch" : "x86", "type" : "storage", "size" : "20GB", "price" : 0.0196 }, { "arch" : "arm", "type" : "cpuMemory", "size" : "4U8G", "price" : 0 }, { "arch" : "arm", "type" : "storage", "size" : "20GB", "price" : 0 }, { "arch" : "arm", "type" : "storage", "size" : "10GB", "price" : 0 }, { "arch" : "arm", "type" : "storage", "size" : "5GB", "price" : 0 } ], "status" : "success"}

响应参数 状态码： 200 表3 响应Body参数 参数 参数类型 描述 result Boolean 返回值 status String 状态 状态码： 403 表4 响应Body参数 参数 参数类型 描述 error_msg String 错误描述 error_code String 错误码 状态码： 404 表5 响应Body参数 参数 参数类型 描述 error_msg String 错误描述 error_code String 错误码 状态码： 406 表6 响应Body参数 参数 参数类型 描述 error_msg String 错误描述 error_code String 错误码 状态码： 500 表7 响应Body参数 参数 参数类型 描述 error_msg String 错误描述 error_code String 错误码

响应参数 状态码： 200 表2 响应Body参数 参数 参数类型 描述 prices Array of ResourcePrice objects 技术栈价格列表 status String 状态 表3 ResourcePrice 参数 参数类型 描述 arch String cpu架构 x86|arm 枚举值： x86 arm price Float 价格 size String 规格。 类型为'storage'时，size值可以为5GB，10GB，20GB。 类型为'cpuMemory'时，arch为'x86'，size值可以为1U1G，2U4G，4U8G；arch为'arm'，size值可以为4U8G。 type String 类型。目前可以取值storage，cpuMemory 状态码： 403 表4 响应Body参数 参数 参数类型 描述 error_msg String 错误描述 error_code String 错误码 状态码： 404 表5 响应Body参数 参数 参数类型 描述 error_msg String 错误描述 error_code String 错误码 状态码： 406 表6 响应Body参数 参数 参数类型 描述 error_msg String 错误描述 error_code String 错误码 状态码： 500 表7 响应Body参数 参数 参数类型 描述 error_msg String 错误描述 error_code String 错误码

请求消息头 附加请求头字段，如指定的URI和HTTP方法所要求的字段。例如定义消息体类型的请求头“Content-Type”，请求鉴权信息等。 如下公共消息头需要添加到请求中。 名称 描述 是否必选 备注 Content-Type 消息体的类型（格式） 是 默认取值为“application/json”，有其他取值时会在具体接口中专门说明。 X-Auth-Token 用户Token 否 用户Token也就是调用获取用户Token接口的响应值，该接口是唯一不需要认证的接口。 X-Project-ID 子项目ID 否 在多项目场景中使用 X-Domain-ID 账号ID - - 公有云API同时支持使用AK/SK认证，AK/SK认证是使用SDK对请求进行签名，签名过程会自动往请求中添加Authorization（签名认证信息）和X-Sdk-Date（请求发送的时间）请求头。 AK/SK认证的详细说明请参加AK/SK认证。 对于获取用户Token接口，由于不需要认证，所以只添加“Content-Type”即可，添加消息头后的请求如下所示。 POST https://iam.cn-north-1.myhuaweicloud.com/v3/auth/tokens Content-Type: application/json

请求消息体 请求消息体通常以结构化格式发出，与请求消息头中Content-type对应，传递除请求消息头之外的内容。若请求消息体中参数支持中文，则中文字符必须为UTF-8编码。 每个接口的请求消息体内容不同，也并不是每个接口都需要有请求消息体（或者说消息体为空），GET、DELETE操作类型的接口就不需要消息体，消息体具体内容需要根据具体接口而定。 对于获取用户Token接口，您可以从接口的请求部分看到所需的请求参数及参数说明。将消息体加入后的请求如下所示，加粗的斜体字段需要根据实际值填写，其中username为用户名，domainname为用户所属的账号名称，********为用户登录密码，xxxxxxxxxx为project的名称，如cn-north-1，您可以从地区和终端节点中获取。 scope参数定义了Token的作用域，下面示例中获取的Token仅能访问project下的资源。您还可以设置Token的作用域为某个账号下所有资源或账号的某个project下的资源，详细定义请参见获取用户Token。 POST https://iam.cn-north-1.myhuaweicloud.com/v3/auth/tokens Content-Type: application/json { "auth": { "identity": { "methods": [ "password" ], "password": { "user": { "name": "username", "password": "********", "domain": { "name": "domainname" } } } }, "scope": { "project": { "name": "xxxxxxxx" } } } } 到这里为止这个请求需要的内容就具备齐全了，您可以使用curl、Postman或直接编写代码等方式发送请求调用API。对于获取用户Token接口，返回的响应消息头中“x-subject-token”就是需要获取的用户Token。有了Token之后，您就可以使用Token认证调用其他API。

请求URI 尽管请求URI包含在请求消息头中，但大多数语言或框架都要求您从请求消息中单独传递它，所以在此单独强调。 请求URI由四部分构成：{URI-scheme} :// {Endpoint} / {resource-path} ? {query-string} 各参数含义如下： 参数 说明 URI-scheme 表示用于传输请求的协议，当前所有API均采用HTTPS协议。 Endpoint 指定承载REST服务端点的服务器 域名 或IP，不同服务不同区域的Endpoint不同，您可以从终端节点中获取。例如， IAM 服务在华北-北京一区域的Endpoint为iam.cn-north-1.myhuaweicloud.com。 resource-path 资源路径，即API访问路径，从具体API的URI模块获取。例如，获取用户Token接口的resource-path为/v3/auth/tokens。 query-string 查询参数，是可选部分，并不是每个API都有查询参数。查询参数前面需要带一个？，形式为参数名=参数取值。例如，limit=10表示查询不超过10条数据。 例如，您需要获取IAM在“华北-北京一”区域的Token，则需使用“华北-北京一”区域的Endpoint（iam.cn-north-1.myhuaweicloud.com），并在获取用户Token的URI部分找到resource-path（/v3/auth/tokens），拼接起来如下所示。 https://iam.cn-north-1.myhuaweicloud.com/v3/auth/tokens 图1 URI示意图 为查看方便，在每个具体API的URI部分，只给出resource-path部分，并将请求方法写在一起。这是因为URI-scheme都是HTTPS，而Endpoint在同一个区域也相同，所以简洁起见将这两部分省略。

请求方法 HTTP请求方法（也称为操作或动词），它告诉服务你正在请求什么类型的操作。 请求方法 说明 GET 请求服务器返回指定资源。 PUT 请求服务器更新指定资源。 POST 请求服务器新增资源或执行特殊操作。 DELETE 请求服务器删除指定资源，如删除对象等。 HEAD 请求服务器资源头部。 PATCH 请求服务器更新资源的部分内容。 当资源不存在的时候，PATCH可能会去创建一个新的资源。 在获取用户Token的URI部分，您可以看到其请求方法为“POST”，则其请求为： POST https://iam.cn-north-1.myhuaweicloud.com/v3/auth/tokens

API概览 表1 CodeArts IDE Online接口说明 分类 接口 IDE实例管理 查询IDE实例名是否重复 查询某个IDE实例 修改IDE实例 删除IDE实例 启动IDE实例 停止IDE实例 创建IDE实例 查询某个租户下的IDE实例列表 查询IDE实例列表 外部第三方集成商创建IDE实例 查询用户是否有权限访问某个IDE实例 刷新IDE实例活跃状态 查询某个IDE实例的状态 技术栈管理 按region获取标签所有技术栈 获取技术栈计费信息 模板管理 查询技术栈模板工程 账号权限管理 查询当前账号访问权限 插件管理 查询ide实例对插件的授权情况 设置ide实例对插件的授权 插件市场 上传插件 添加插件评论 添加评论回复、回复评论回复 添加新评星 举报评论,举报回复 删除评论 删除回复 查询插件列表 查询插件详细信息 查询插件评价 查询插件评星 查询插件分类 插件发布 获取插件检测结果 获取当前用户下的发布商列表 文件上传归一化 codebreeze CreateAcceptance接口 Create Request接口 Show Result接口 CreateLogin接口 CreateJoinRequest接口 CreateEvent接口

SDK列表 在开始使用之前，请确保您安装的是最新版本的SDK。使用过时的版本可能会导致兼容性问题或无法使用最新功能。您可以在 SDK中心 查询版本信息。 表1提供了IMS服务支持的SDK列表，您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 SDK列表 编程语言 Github地址 参考文档 Java huaweicloud-sdk-java-v3 Java SDK使用指导 Python huaweicloud-sdk-python-v3 Python SDK使用指导 Go huaweicloud-sdk-go-v3 Go SDK使用指导 NodeJs huaweicloud-sdk-nodejs-v3 NodeJs SDK使用指导 .NET huaweicloud-sdk-net-v3 .Net SDK使用指导 PHP huaweicloud-sdk-php-v3 PHP SDK使用指导 C++ huaweicloud-sdk-cpp-v3 C++ SDK使用指导

FPGA开发和应用运行 使用FP1开发套件进行硬件和应用开发过程详细记录在开源套件的README中，请根据您的开发需求，按照README中的描述开启的您开发之旅。 如果需要获取FP1历史版本，请参见release_note.md，并下载对应的tag。 表1 FP1历史版本对照表 序号 tag 高性能架构Shell ID 通用型架构Shell ID 1 V1.0.0 01010023 01210002 2 V1.0.1 01010023 01210002 3 V1.1.0 01010028 01210005 4 V1.1.1 01010028 01210005 5 V1.1.2 01010028 01210006 6 V1.2.0 01010029 01210101 7 V1.2.1 01010029 01210101 8 V1.3.0 0101002e 01210106 如何获取Shell ID，请参见《FPGA镜像加载工具使用说明》查询FPGA卡镜像状态章节。

概述 FPGA加速云服务器（FPGA Accelerated Cloud Server, FA CS ）提供FPGA（Field Programmable Gate Array）开发和使用的工具及环境，让您可以更加方便地开发FPGA加速器和部署基于FPGA加速的业务，为您提供易用、经济、敏捷和安全的FPGA云服务。 FPGA加速型弹性云服务器类型如下： 高性能架构 基于DPDK的高性能交互框架，支持流计算模型，支持数据流并发，主要用于RTL开发场景，满足用户高带宽低时延的要求。 通用型架构 基于SDAccel的通用型交互框架，支持块计算模块，支持Xilinx SGDMA（Scatter-Gather DMA）数据传输框架，主要用于高级语言开发或已有算法移植，满足用户快速上线的需求。

使用场景 使用FPGA加速云服务器提供硬件开发套件（Hardware Develop Kit，HDK）和应用开发套件（Software Develop Kit，SDK），可以进行AEI（Accelerated Engine Image）的开发和应用。 FPGA加速云服务器提供现场可编程门阵列（FPGA）及较高的计算性能配置的实例，可以适用于并行计算要求较高的应用，例如机器学习、搜索引擎、人工智能等场景。

基本概念 硬件开发套件（HDK）：HDK包括加速器示例、编码环境、仿真平台、自动化编译工具、代码加密和调试工具包等必备工具。 应用开发套件（SDK）：SDK包括应用示例、硬件抽象接口、加速器抽象接口、加速器驱动和runtime、版本管理工具等必备工具。 现场可编程门阵列（FPGA）：一种入门级可编程的器件，通过硬件描述语言（Verilog或VHDL）所完成的电路设计，经过综合与布局，实现复杂的组合或者时序逻辑功能 镜像：弹性云服务镜像。

解决方案 治理：提供OS合规性自动化定时巡检能力，打造开箱即用体验，同时保留客户自定义能力，及时发现OS合规性问题并输出合规性报告； 运维：基于合规性报告触发补丁修复，通过增量迭代方式保证OS合规性全覆盖，保证OS合规性问题闭环SLA； 图1 一站式资源运维 补丁管理：COC提供OS补丁管理能力，支持对Linux下的Huawei Cloud EulerOS、CentOS、EulerOS三种系统进行补丁扫描和修复，并且支持ECS节点和CCE集群两种场景。COC通过补丁基线中的规则，对主机的OS补丁进行扫描并且提供合规性报告。COC提供三条公共补丁基线，同时支持用户自定义创建补丁基线。用户可以自定义补丁安装规则、补丁的合规性级别、补丁例外。 使用补丁管理包含以下步骤： 创建补丁基线，基于操作系统及对应的补丁扫描基线。 补丁扫描，基于扫描基线对资源进行补丁扫描。 查看摘要，扫描完成后可以查看资源的扫描合规性。 补丁修复，不合规的资源可以执行批量修复。 定时运维：COC提供自动化运维能力，包含脚本管理、作业管理、定时运维三种能力。 脚本管理：COC提供公共脚本和自定义脚本，用户可以自定义创建脚本，支持shell、python、bat三种类型。 作业管理：用户可以将云服务API、公共作业、自定义作业、作业控制编排成自定义作业。 定时运维：定时运维向客户提供了定时或周期性的向特定实例执行特定脚本或者作业的功能。

解决方案 混沌演练驱动主动运维：从客户实际业务场景出发，按照风险分析、应急预案、演练执行、复盘改进4个维度，提供端到端混沌演练能力； 沉淀故障模式：首创基于容错视角的故障场景分析方法，沉淀华为云SRE多年的故障模式库，内置300个+典型故障模式。 图1 全旅程混沌工程 风险分析：分析应用架构，找出风险点。 应急预案：针对风险点，制定应急预案。 故障演练：针对风险分析的结果和应急预案，制定演练方案，进行故障演练。 复盘改进：演练完成后，对演练进行复盘总结，输出演练报告和改进事项。

名词解释 弹性云服务器 ECS：是一种云上可随时自助获取、可弹性伸缩的计算服务，可帮助您打造安全、可靠、灵活、高效的应用环境。 虚拟私有云 VPC：是用户在华为云上申请的隔离的、私密的虚拟网络环境。用户可以基于VPC构建独立的云上网络空间，配合弹性公网IP、云连接、云专线等服务实现与Internet、云内私网、跨云私网互通，帮您打造可靠、稳定、高效的专属云上网络。 弹性公网IP EIP：提供独立的公网IP资源，包括公网IP地址与公网出口带宽服务。可以与弹性云服务器、裸金属服务器、虚拟IP、弹性负载均衡、NAT网关等资源灵活地绑定及解绑，提供访问公网和被公网访问能力。 对象存储服务 OBS：是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力。 函数工作流 FunctionGraph：是一项基于事件驱动的函数托管计算服务。使用FunctionGraph函数，只需编写业务函数代码并设置运行的条件，无需配置和管理服务器等基础设施，函数以弹性、免运维、高可靠的方式运行。此外，按函数实际执行资源计费，不执行不产生费用。 AI开发平台 ModelArts：面向开发者的一站式AI开发平台，可快速创建和部署模型，管理全周期AI工作流，助力千行百业智能升级。 统一身份认证 服务 IAM：是华为云提供权限管理、访问控制和身份认证的基础服务，您可以使用IAM创建和管理用户、用户组，通过授权来允许或拒绝对云服务和资源的访问，通过设置安全策略提高账号和资源的安全性，同时IAM为您提供多种安全的访问凭证。

快速部署 本章节主要帮助用户快速部署“基于PyTorch NPU快速部署开源大模型”解决方案。 表1 参数说明（制作镜像） 参数名称 类型 是否可选 参数解释 默认值 vpc_name string 必填 虚拟私有云名称，该模板使用新建VPC，不允许重名。取值范围：1-54个字符，支持中文、英文字母、数字、_（下划线）、-（中划线）、.（点）。 model-inference-based-on-npus-demo secgroup_name string 必填 安全组名称，该模板新建安全组，请参考安全组规则修改进行配置。取值范围：1-64个字符，支持字母、数字、中文、下划线（_）、中划线（-）、英文句号（.）。 model-inference-based-on-npus-demo ecs_name string 必填 云服务器实例名称，不支持重名。取值范围：1-60个字符，支持中文、英文字母、数字、_（下划线）、-（中划线）、.（点）。 model-inference-based-on-npus-demo swr_name string 必填 swr组织名称，不支持重名。取值范围：2-64个字符，小写字母开头，支持小写字母、数字、-（中划线），小写字母或数字结尾。 model-inference-based-on-npus-demo entry_instructions string 必填 swr临时登录指令，注意开头和结尾需要加英文双引号（"）,示例："docker login -u cn-southwest-2@xxx -p xxx swr.cn-southwest-2.myhuaweicloud.com"，请参考获取临时登录指令。 空 ecs_password string 必填 云服务器密码，长度为8-26位，密码至少必须包含大写字母、小写字母、数字和特殊字符（!@$%^-_=+[{}]:,./?）中的三种，仅支持小写字母、数字、中划线（-）、英文句号（.）。修改密码，请参考重置云服务器密码登录ECS控制台修改密码。管理员账户默认root。 空 表2 参数说明（部署模型） 参数名称 类型 是否可选 参数解释 默认值 functiongraph_name string 必填 函数工作流 Functiongraph函数名称，不支持重名。取值范围：长度为2-57个字符，支持字母、数字、_（下划线）和-（中划线），以字母开头，以字母或数字结尾。 model-inference-based-on-npus-demo domain_username string 必填 IAM用户所属的华为云账号名称。取值范围：6-30 个字符，以字母开头，支持字母、数字、下划线（_）、中划线（-）。 空 username string 必填 IAM用户名。取值范围：1-64个字符，支持字母、数字、下划线（_）、中划线（-）、点（.）不能以数字或空格开头，如果您的华为云账号已升级为华为账号，将不支持获取账号Token，建议您为自己创建一个IAM用户，授予该用户必要的权限，获取IAM用户Token。 空 password string 必填 IAM用户密码。取值范围：8-32个字符，支持字母、数字、特殊字符，不能包含空格，为避免 获取Token 失败，请务必保证密码输入正确。 空 model_obs_path string 必填 模型所在的OBS路径。路经格式：https://桶名.obs.cn-southwest-2.myhuaweicloud.com/模型文件路径/。 空 environment_swr_path string 必填 模型运行的SWR环境路径，请参考获取镜像地址，示例：swr.cn-southwest-2.myhuaweicloud.com/xxx/pytorch_2_1_ascend:909。 空 service_name string 必填 在线服务名称。支持1-64位字符，可包含字母、中文、数字、中划线、下划线。 model-inference-based-on-npus-demo service_running_time string 必填 服务运行的时间。单位：小时。取值范围：1-24的正整数。例如：1小时后停止服务，此参数填1。 1 specification string 必填 在线服务资源规格。当前版本仅支持公共资源池的规格，可选modelarts.vm.cpu.2u/modelarts.vm.gpu.pnt004(需申请)/modelarts.vm.ai1.snt3(需申请)/custom(仅支持在部署到专属资源池时使用)，需申请的规格请提交工单，由ModelArts运维工程师添加权限。 modelarts.bm.arm.snt9b1 instance_count string 必填 在线服务模型部署的实例数。取值范围：1-128的正整数，当前限制最大实例数为128，如需使用更多的实例数，需提交工单申请。 1 ascend_rt_visible_devices string 必填 在线服务NPU卡的数量，单卡设为0，4卡设为0,1,2,3。 0 model_path string 必填 在线服务模型路径，格式为/home/mind/model/权重文件夹名称，例如：/home/mind/model/Qwen-7B-Chat。 /home/mind/model/Qwen-7B-Chat 登录华为云解决方案实践，选择“基于PyTorch NPU快速部署开源大模型”，单击“一键部署（制作镜像）”，跳转至解决方案创建资源栈界面。 图1 解决方案实践 在选择模板界面中，单击“下一步”。 图2 选择模板 在配置参数界面中，请按下面的描述完成对应参数填写。参考表1 参数说明（制作镜像）完成自定义参数填写，单击“下一步”。 图3 配置参数 在资源设置界面中，在权限委托下拉框中选择“rf_admin_trust”委托（可不选），单击“下一步”。 图4 资源栈设置 在配置确认界面中，单击“创建执行计划”。 图5 配置确认 在弹出的创建执行计划框中，自定义填写执行计划名称，单击“确定”。 图6 创建执行计划 单击“部署”，并且在弹出的执行计划确认框中单击“执行”。 图7 执行计划 图8 执行计划确认 待“事件”中出现“Apply required resource success”，表示该解决方案已经部署完成。 图9 部署完成 参考制作镜像，获取镜像地址。 访问华为云解决方案实践，选择“基于PyTorch NPU快速部署开源大模型”，单击“一键部署（部署模型）”，跳转至解决方案创建资源栈界面，其余部署参考以上步骤2-8，（注：步骤3参考表2 参数说明（部署模型）完成自定义参数填写）。 父主题： 实施步骤

方案架构 该解决方案使用主流开源大模型，帮助用户快速搭建基于Standard适配PyTorch NPU的推理系统。 图1 方案架构图 该解决方案会部署如下资源： 创建1台弹性云服务器 ECS，用于帮助用户制作镜像并上传。 创建1个弹性公网IP EIP，并关联弹性云服务器 ECS，提供访问公网和被公网访问能力。 创建一个安全组，通过配置安全组规则，为云服务器提供安全防护。 创建一个 容器镜像服务 组织，用于上传镜像。 使用函数工作流 FunctionGraph创建一个函数，用于调用AI应用、在线服务接口，实现在AI开发平台ModelArts上快速部署推理服务。 使用AI开发平台ModelArts，创建AI应用，部署在线服务、用于获取推理结果。 在统一身份认证服务 IAM上创建一个委托，用于授权FunctionGraph，获取IAM用户Token，访问ModelArts在线服务和对象存储服务 OBS桶。

创建rf_admin_trust委托（可选） 进入华为云官网，打开控制台管理界面，鼠标移动至个人账号处，打开“统一身份认证”菜单。 图1 控制台管理界面 图2 统一身份认证菜单 进入“委托”菜单，搜索“rf_admin_trust”委托。 图3 委托列表 如果委托存在，则不用执行接下来的创建委托的步骤 如果委托不存在时执行接下来的步骤创建委托 单击步骤2界面中的“创建委托”按钮，在委托名称中输入“rf_admin_trust”，委托类型选择“云服务”，选择“ RFS ”，单击“下一步”。 图4 创建委托 在搜索框中输入“Tenant Administrator”权限，并勾选搜索结果，单击“下一步”。 图5 选择策略 选择“所有资源”，并单击“下一步”完成配置。 图6 设置授权范围 “委托”列表中出现“rf_admin_trust”委托则创建成功。 图7 委托列表

给rf_admin_trust委托添加IAM Agency Management FullAccess权限（可选） 打开“统一身份认证”菜单。 图12 统一身份认证菜单 进入“委托”菜单，选择rf_admin_trust委托。 图13 委托列表 进入“授权记录”菜单，单击“授权”按钮。 图14 授权记录 在搜索框输入IAM Agency Management FullAccess，勾选过滤出来的记录，单击下一步，并确认完成权限的配置。 图15 配置IAM Agency Management FullAccess策略 配置好后的情况：rf_admin_trust委托拥有Tenant Administrator和IAM Agency Management FullAccess权限。 图16 授权记录列表

资源和成本规划 该解决方案主要部署如下资源，以下费用仅供参考，具体请参考华为云官网价格详情，实际收费以账单为准。 表1 成本预估 华为云服务 配置示例 每月预估花费 弹性云服务器 ECS 区域：西南-贵阳一 按需计费：0.31元/小时 规格：鲲鹏通用计算增强型 kc1 | 2核 | 4GB 镜像：EulerOS 系统盘：高IO | 100GB 购买量：1 222.48元 弹性公网IP EIP 区域：西南-贵阳一 按需计费：0.80元/GB 计费模式：按需计费 线路：动态BGP 公网带宽：按流量计费 带宽大小：300Mbit/s 购买量：1 0.80元/GB AI开发平台 ModelArts 区域：西南-贵阳一 按需计费：21.72元/小时 计费模式：按需计费 业务类型：AI全流程开发 资源类型：公共资源池 规格：ModelArts昇腾AI加速型(B1)1卡实例 购买个数：1 15,635.52元 函数工作流 FunctionGraph 区域：西南-贵阳一 产品：函数 请求次数： 0-100万次： 0元/100万次 100万次以上 ： 1.33元/100万次 计量时间： 0-400,000 GB/秒： 0元/GB-秒 400,000 GB/秒以上 ：0.00011108元/GB-秒 费用包括请求次数、计量时间两部分，详细请参考每月账单。 合计 - 15858元 + 弹性公网IP EIP费用 +OBS费用+函数工作流费用

手动卸载 删除在线服务：访问ModelArts 在线服务控制台，按下图所示，依次单击“更多”“删除”，在弹出的确认窗口中单击“确定”。 图4 删除在线服务 图5 确认删除在线服务 删除AI应用：访问ModelArts AI应用控制台，如下图所示，单击“删除”，在弹出的确认窗口中单击“确定”。 图6 删除AI应用 图7 确认删除AI应用 （可选）删除手动创建的OBS桶：登录对象存储服务 OBS控制台，查找在3.1准备工作步骤1创建的OBS桶，单击“删除”，在弹出的确认窗口中单击“确定”（注意：删除桶需桶中无文件）。

部署模型 进入函数工作流控制台选择此方案创建的函数，单击函数名称进入函数主页。 图3 进入函数主页 单击“测试”在弹出窗口中选择“空白模板”单击“创建”配置测试事件 图4 函数主页 图5 配置测试事件 在函数主页，单击“测试”调用函数，通过SDK获取token，创建modelarts委托，配置授权、创建AI应用，部署在线服务。（若出现右侧提示，为函数执行时间较长，调用正常，请继续执行下面的步骤。） 图6 调用函数 在函数主页，依次单击“监控”，“日志”，请求日志，查看Modelarts资源创建相关日志信息，无红色字体错误信息，显示如下图，则表示资源创建完成。 图7 日志信息 访问AI开发平台ModelArts在线服务控制台单击在线服务名称，进入在线服务管理页面，单击“预测”。 图8 ModelArts在线服务控制台 图9 在线服务管理页面 在在线服务预测界面中，输入请求路径“generate”预测代码中填写 {"prompt": "你好", "temperature":0, "max_tokens":20}，单击"预测"即可获取返回结果。（若以openai接口启动服务，请求路径：“/v1/completions”，输入预测代码“{"prompt": "你是谁","model": "${model_path}","max_tokens": 50,"temperature":0}”，单击“预测”既可看到预测结果。model_path为表2中model_path的值） 图10 预测 按下图所示，在调用指南中获取API接口公网地址，参考右侧调用指南，实现通过API接口调用在线服务。 图11 调用指南

安全组规则修改（可选） 该解决方案使用22端口用来以SSH方式远程登录云服务器，若需远程登录云服务器，请参考修改安全组规则，配置IP地址白名单，以便能正常访问服务。 安全组实际是网络流量访问策略，包括网络流量入方向规则和出方向规则，通过这些规则为安全组内具有相同保护需求并且相互信任的云服务器、云容器、云数据库等实例提供安全保护。 如果您的实例关联的安全组策略无法满足使用需求，比如需要添加、修改、删除某个TCP端口，请参考以下内容进行修改。 添加安全组规则：根据业务使用需求需要开放某个TCP端口，请参考添加安全组规则添加入方向规则，打开指定的TCP端口。 修改安全组规则：安全组规则设置不当会造成严重的安全隐患。您可以参考修改安全组规则，来修改安全组中不合理的规则，保证云服务器等实例的网络安全。 删除安全组规则：当安全组规则入方向、出方向源地址/目的地址有变化时，或者不需要开放某个端口时，您可以参考删除安全组规则进行安全组规则删除。

Kafka实例的存储空间估算参考 Kafka实例支持多副本存储，存储空间用于存储消息（包括副本中的消息）、日志和元数据。您在创建Kafka实例，选择初始存储空间时，建议根据业务消息体积预估、副本数量以及预留磁盘大小选择合适的存储空间。每个Kafka代理会预留33GB的磁盘空间，用于存储日志和元数据。 例如：业务消息体积预估100GB，副本数为2，Kafka实例的代理数为3，则磁盘容量最少应为100GB*2+33GB*3=299GB。 Kafka实例支持对存储进行扩容，根据业务增长，随时扩容，节约成本。

Kafka实例Topic数量计算 Kafka实例对Topic分区数之和设置了上限，当达到上限之后，用户无法继续创建Topic。 所以，Topic数量和实例分区数上限、每个Topic的分区数有关，其中，每个Topic分区数可在创建Topic时设置，如图1，实例分区数上限参考表1。 图1 Topic的分区数 kafka.2u4g.cluster * 3 broker实例的分区数上限为750。 如果该实例下每个Topic的分区个数都为3，则Topic个数为750/3=250个。 如果该实例下每个Topic的分区个数都为1，则Topic个数为750/1=750个。

副本（Replica） 消息的备份存储。为了确保消息可靠，Kafka创建Topic时，每个分区会分别从代理中选择1个或多个，对消息进行冗余存储。 Topic的所有消息分布式存储在各个分区上，分区在每个副本存储一份全量数据，副本之间的消息数据保持同步，任何一个副本不可用，数据都不会丢失。 每个分区都随机挑选一个副本作为Leader，该分区所有消息的生产与消费都在Leader副本上完成，消息从Leader副本复制到其他副本（Follower）。

新老规格对应关系 2种Kafka实例规格对比，新老规格的对应关系如表2所示。 表2 Kafka实例新老规格对应关系 老规格 对应的新规格 规格类型 实例网络总流量 规格类型 实例网络总流量 100MB/s 100MB/s kafka.2u4g.cluster.small * 3 120MB/s 300MB/s 300MB/s kafka.2u4g.cluster * 3 300MB/s 600MB/s 600MB/s kafka.4u8g.cluster * 3 600MB/s 1200MB/s 1200MB/s kafka.4u8g.cluster * 6 1250MB/s 新老规格区别如下： 老规格使用的非独享资源，在高负载情况下容易出现资源抢占情况。新规格（kafka.2u4g.cluster.small除外）使用的独占资源，性能更优，性价比更高。 新规格支持最新的功能，例如：分区平衡、动态开启SSL、重平衡日志可观测等。 新规格支持规格灵活变更，例如：Broker规格的扩缩容。 新规格的磁盘大小选择更加灵活，磁盘大小不与实例规格进行绑定，仅与Broker数量相关。 新规格选择粒度更细，根据Broker规格和数量进行灵活的规格选择，并且最大规格可以达到10000MB/s以上。 新规格除了原有的磁盘类型，还支持通用型SSD、极速型SSD等多种磁盘类型，客户选择更加灵活。

Kafka实例规格参考 kafka.2u4g.cluster.small，三个代理 Kafka客户端连接数在6000以内，消费组个数在45个以内，业务TPS为60000以内时推荐选用。 kafka.2u4g.cluster，三个代理 Kafka客户端连接数在6000以内，消费组个数在60个以内，业务TPS为90000以内时推荐选用。 kafka.4u8g.cluster，三个代理 Kafka客户端连接数在12000以内，消费组个数在300个以内，业务TPS为300000以内时推荐选用。 kafka.8u16g.cluster，三个代理 Kafka客户端连接数在12000以内，消费组个数在450个以内，业务TPS为450000以内时推荐选用。 kafka.12u24g.cluster，三个代理 Kafka客户端连接数在12000以内，消费组个数在600个以内，业务TPS为600000以内时推荐选用。 kafka.16u32g.cluster，三个代理 Kafka客户端连接数在12000以内，消费组个数在600个以内，业务TPS为750000以内时推荐选用。