数智融合计算服务-华为云

数智融合计算服务-Ray场景

Ray场景 Ray是一款高性能分布式执行框架，它使用了和传统分布式计算系统不一样的架构，提供了分布式计算的抽象方式。 Ray集群采用全托管独享模式，用户无需关心后台的资源管理，提供基于Ray的分布式作业执行能力，完全兼容开源版本，用户无需对脚本进行复杂的适配就可以使用，并且开放原生的dashboard能力，保证用户的使用习惯。相比开源ray，Fabric服务做了一些列的安全加固，保证用户数据安全，如grpc通道加密、dashboard认证访问等。购买Ray资源管理镜像包创建Ray集群查看Ray集群概览创建Ray Job 运行Ray Job 管理Ray Job 查看Ray dashboard 删除Ray集群退订Ray资源查看指标

数智融合计算服务

数智融合计算服务-管理镜像包:新增镜像包版本

新增镜像包版本在“镜像包管理”页面的“操作”列，单击目标镜像包对应的“查看版本列表”。在“当前镜像包版本列表”页面，单击“新增版本”。在新增镜像包版本页面，配置相关信息，然后单击“确认”。界面参数说明请参见创建镜像包版本参数说明。图4 创建镜像包版本表2 创建镜像包版本参数说明参数参数说明版本名称镜像包支持有多个版本，请根据当前创建信息填入一个版本名称。镜像包版本需要和选择的OBS文件的包版本号一致。路径当前创建版本所在的OBS路径。请选择到包含metadata.yaml文件的父级目录。

数智融合计算服务

数智融合计算服务-查看指标:操作步骤

操作步骤登录应用运维管理平台。选择指标预览，指标源选择Prometheus_ AOM _Default。图1 配置指标源全量指标中输入指标名称进行查询。表1 监控指标指标名称描述 fabric_dpu_cpu_usage 该指标用于统计Ray集群head和worker的cpu资源使用率。单位：百分比。 fabric_dpu_mem_usage 该指标用于统计Ray集群head和worker的内存资源使用率。单位：百分比。

数智融合计算服务 Ray场景

数智融合计算服务-配置Fabric服务委托权限:操作步骤

操作步骤登录Fabric工作空间管理台，单击“服务授权”。图1 服务授权界面在服务授权页面配置授权委托。用户可以根据实际需要参照委托策略进行配置委托权限。图2 服务授权配置表1 委托策略委托策略名称权限项是否必须功能 FABRIC_COMMON_POLICY iam:tokens:assume iam:groups:listGroups iam:users:listUsers iam:roles:listRoles iam:groups:listGroupsForUser iam:agencies:listAgencies iam:roles:getRole iam:permissions:listRolesForAgency obs:bucket:ListAllMyBuckets obs:bucket:GetLifecycleConfigurationd obs:bucket:GetBucketLocation obs:bucket:ListBucket obs:object:GetObjectVersion obs:object:GetObject DataArtsFabric:workspace:list DataArtsFabric:endpoint:list DataArtsFabric:endpoint:show DataArtsFabric:endpoint:listRoute 是 IAM 相关权限：仅委托部分只读权限，保证服务能够比较当前用户的委托和服务需要的委托，用于提示用户进行委托更新。 OBS相关权限：服务所有业务，包括作业，推理，都需要OBS文件的读取权限，保证后续能够从用户的OBS桶拉取到作业文件进行执行，模型文件进行部署。针对OBS的权限，用户可以在IAM的委托界面手动修改fabric_admin_trust委托中OBS相关的部分，限制服务可以访问的OBS资源，具体如何设置参考IAM权限，OBS自定义策略样例。 FABRIC_AOM_POLICY aom:alarm:put 否 Fabric服务使用运维管理服务所需的权限。如果需要指标监控和告警能力，需要开启。 FABRIC_LAKEFORMATION_POLICY lakeformation:accessTenant:grant lakeformation:access:delete lakeformation:access:create lakeformation:access:describe lakeformation:agreement:grant lakeformation:agreement:describe lakeformation:agreement:cancel lakeformation:agency:create lakeformation:agency:drop lakeformation:agency:describe 否 Fabric服务使用LakeFormation服务所需的权限。如果需要对接LakeFormation，则需要开启。 FABRIC_ SMN _POLICY smn:topic:publish 否 Fabric服务使用消息通知服务所需的权限。如果需要消息通知能力，则需要开启。除必选的委托，其他委托权限都支持取消。

数智融合计算服务准备工作

数智融合计算服务-创建模型:约束与限制

约束与限制创建模型的通用约束如下：需要是Fabric支持的基模型，否则不支持，基模型列表如下：表1 基模型列表基模型类型描述 QWEN_2_72B Qwen2在包括语言理解、生成、多语言能力、编码、数学和推理在内的多个基准测试中，超越了大多数以前的开放权重模型，与专有模型表现出竞争力，参数规模为720亿。 GLM_4_9B GLM-4-9B是智谱AI推出的最新一代预训练模型GLM-4系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中表现出较高的性能，参数规模为90亿。模型格式需要为safetensors的格式。safetensors是Huggingface推出的一种可靠、易移植的机器学习模型存储格式，用于安全地存储Tensor，而且速度快。样例如下：图1 模型文件样例

数智融合计算服务创建我的推理服务进行推理

数智融合计算服务-创建工作空间:操作步骤

操作步骤登录华为云控制台后，在页面左上角单击，在服务列表中选择“Fabric”。图1 Fabric服务单击“创建工作空间”，参照创作工作空间填写页面参数说明输入必要参数后，单击“直接创建”。创建工作空间完成后会返回工作空间管理台界面。图2 创建工作空间表1 创作工作空间填写页面参数说明参数说明工作空间名称请输入工作空间名称，同一账号下集群不可重名。工作空间描述可选，请输入工作空间描述。 Metastore 可选，需要绑定的lakeformation实例。企业项目选择某个企业项目后，集群和集群安全组将会创建在该企业项目下。您可以通过企业项目服务（EPS）管理集群及其他资源（节点、ELB、以及节点的安全组等）。标签可选，通过为资源添加标签，可以对资源进行自定义标记，实现资源的分类。您可以在TMS中创建“预定义标签”，预定义标签对所有支持标签功能的服务资源可见，通过使用预定义标签可以提升标签创建和迁移效率。具体请参见创建预定义标签。标签键只能包含中文、英文字母、数字、空格和特殊字符(-_.:=+@)，且首尾不能包含空格，不能以_sys_开头，长度不超过128个字符。资源标签键不可以为空。标签值只能包含中文，英文字母、数字、空格和特殊字符(-_.:/=+@)，长度不超过255个字符。资源标签值可以为空。单击已创建的工作空间中的“进入工作空间”，弹出用户协议时，用户可查看声明协议，确认后单击“同意授权”，后续即可正常进入创建好的工作空间。

数智融合计算服务

数智融合计算服务-Fabric使用流程

Fabric使用流程 Fabric平台提供了一个serverless化的从数据到模型部署的AI全流程开发体验，针对每个环节，其使用是相对独立自由的。本章节梳理了Fabric使用流程详解，您可以选择其中一种方式完成AI开发。表1 使用流程说明流程说明详细指导创建工作空间创建一个工作空间，后续所有的能力都承载在工作空间中。创建工作空间创建端点创建一个端点，根据业务类型不同，创建不同类型的端点。创建推理端点注册模型用户可以将存储在OBS的微调模型文件，在模型管理的界面注册为自己的微调模型。创建模型部署服务 Fabric支持部署用户基于基模型微调的微调模型创建推理服务访问服务微调模型部署完成后，用户可以使用Fabric提供的推理接口直接进行推理。使用推理服务进行推理

数智融合计算服务

数智融合计算服务-查看公共推理服务

查看公共推理服务推理端点试用期内，可以直接使用公共推理服务进行推理。目前的公共推理服务是基于开源大模型部署的，列表如下（实际的推理服务以服务为准）：表1 公共推理服务名称描述免费额度最大上下文长度 prompt模板长度最大输出token QWEN_2_72B Qwen2在包括语言理解、生成、多语言能力、编码、数学和推理在内的多个基准测试中，超越了大多数以前的开放权重模型，与专有模型表现出竞争力。该模型参数规模为720亿。公测期间提供100万token免费配额，超过配额不可用，也没办法再购买；有效期为服务开通90天内，超过时间则失效。 16k 23 16360 父主题：用公共推理服务进行推理

数智融合计算服务

数智融合计算服务-大模型推理场景介绍

大模型推理场景介绍常见的大模型包括大语言模型、多模态大模型、文生图大模型等，其中大语言模型支持文本生成，可以根据用户输入的提示词（prompt）进行推理，可广泛应用于以下领域：问答系统：大语言模型可以处理自然语言，理解用户的意图，回答用户提出的问题。内容生产：大语言模型可以基于给定的文本或主题生成连贯的文章、故事、对话等。文本摘要：大语言模型可以对长文本进行摘要，提取关键信息，方便用户快速了解文本内容。机器翻译：大语言模型可以处理多种语言之间的翻译任务，实现跨语言交流。当前Fabric提供以下两种方式进行推理：用公共推理服务进行推理：Fabric提供基于开源大语言模型（Qwen2、GLM4等）的公共推理服务，用户可以在推理端点查看公共端点，选择自己想用的端点进行开通，然后就可以在试验场使用公共推理服务。该方式无需部署，开通后即可使用常见的开源大模型进行推理。创建我的推理服务进行推理：Fabric支持用户创建自己专属的推理服务进行部署，用户可以上传自己的大语言模型，也可以使用公共的大语言模型进行部署。在Fabric模型页面创建的模型是仅自己可见，其他用户不可见。用户可以查看和删除模型，也可以对模型版本进行管理，包括新增、查看和删除模型版本。父主题：大模型推理场景

数智融合计算服务大模型推理场景

数智融合计算服务-在试验场进行推理:约束与限制

约束与限制使用公共推理服务时的通用约束限制如下： Token配额约束：每种公共推理服务都有免费配额限制，超过配额不可用，也无法再购买。每种公共推理服务的配额为当前用户在当前局点下所有工作空间共享；时间约束：有效期为服务开通90天内，超过时间则失效。同一个推理服务在不同工作空间下面开通，以首次开通为准。不同的模型有不同的上下文长度约束，请见表公共推理服务。不保证SLA，如果想要更高的性能，建议创建自己的推理服务进行推理；

数智融合计算服务用公共推理服务进行推理

数智融合计算服务-权限管理:Fabric控制台功能依赖的角色或策略

Fabric控制台功能依赖的角色或策略表4 Fabric控制台依赖服务的角色或策略控制台功能依赖服务需配置角色/策略服务授权统一身份认证管理IAM IAM用户设置了IAM Agency Management FullAccess权限后才能在服务授权界面进行授权。创建工作空间湖仓构建服务LakeFormation 设置了DataArtsFabricFullPolicy的用户可以创建工作空间，配置了LakeFormation ReadOnlyAccess后可以在创建工作空间时指定metastore为lakeformation metastore。创建模型对象存储服务 OBS IAM用户设置了DataArtsFabricFullPolicy之后，还需要设置OBS OperateAccess才能在模型管理界面创建模型并指定模型文件所在的OBS路径。创建消息通知策略统一身份认证管理IAM 消息通知服务SMN IAM用户设置了DataArtsFabricFullPolicy之后，还需要设置IAM Agency Management ReadOnly权限和SMN ReadOnlyAccess权限才能在消息通知页面创建消息通知策略。

数智融合计算服务

数智融合计算服务-计费模式

计费模式 Fabric服务提供包年包月、按需计费两种计费模式供您灵活选择。包年包月：一种预付费模式，即先付费再使用，按照订单的购买周期进行结算。购买周期越长，享受的折扣越大。一般适用于计算资源需求量长期稳定的成熟业务。按需：一种后付费模式，即先使用再付费，按照ModelArts计算资源的实际使用时长计费，秒级计费，按小时结算。按需计费模式允许您根据实际业务需求灵活地调整资源使用，无需提前预置资源，从而降低预置过多或不足的风险。一般适用于资源需求波动的场景，可以即开即停。详细的计费区别请参考表1。表1 Fabric服务计费模式计费模式付费方式计费周期适用计费项包年包月预付费按照订单的购买周期结算。按订单的购买周期计费。 RAY资源。按需后付费按照云服务器实际使用时长计费。按照资源实际使用量，每小时出话单扣费。 RAY资源、MU时。 Fabric服务不同业务场景的计费模式如图1所示。图1 Fabric计费模式父主题：计费说明

数智融合计算服务

数智融合计算服务-权限管理:角色与策略权限管理

角色与策略权限管理 Fabric服务支持角色与策略授权。默认情况下，管理员创建的IAM用户没有任何权限，需要将其加入用户组，并给用户组授予策略或角色，才能使得用户组中的用户获得对应的权限，这一过程称为授权。授权后，用户就可以基于被授予的权限对云服务进行操作。 Fabric部署时通过物理区域划分，为项目级服务。授权时，“授权范围”需要选择“指定区域项目资源”，然后在指定区域（如华北-北京四）对应的项目（cn-north-4）中设置相关权限，并且该权限仅对此项目生效；如果“授权范围”选择“所有资源”，则该权限在所有区域项目中都生效。访问Fabric时，需要先切换至授权区域。下表列出了Fabric所有的系统权限。表2 Fabric系统权限系统角色/策略名称描述类别依赖关系 DataArtsFabricFullPolicy Fabric服务的所有权限。系统策略 IAM Agency Management FullAccess OBS OperateAccess LakeFormation ReadOnlyAccess DataArtsFabricConsoleFullPolicy 在控制台页面使用Fabric服务的所有权限，包含DataArtsFabricFullPolicy的全部权限，以及部分在控制台页面需要的权限。系统策略 IAM Agency Management FullAccess OBS OperateAccess LakeFormation ReadOnlyAccess DataArtsFabricReadOnlyPolicy Fabric服务的只读访问权限。系统策略 LakeFormation ReadOnlyAccess 下表列出了Fabric常用操作与系统权限的授权关系，您可以参照该表选择合适的系统权限。表3 Fabric常用操作与系统权限的授权关系操作 DataArtsFabricConsoleFullPolicy DataArtsFabricFullPolicy DataArtsFabricReadOnlyPolicy 查询Workspace列表 √ √ √ 创建Workspace √ √ × 修改Workspace √ √ × 修改Workspace监控配置 √ √ × 删除Workspace √ √ × 查询计算资源 √ √ √ 创建计算资源 √ √ × 修改计算资源 √ √ × 删除计算资源 √ √ × 查询Workspace的Endpoint列表 √ √ √ 创建Workspace的Endpoint √ √ × 查询Workspace的Endpoint详情 √ √ √ 修改Workspace的Endpoint √ √ × 删除Workspace的Endpoint √ √ × 查询作业列表 √ √ √ 创建作业 √ √ × 查询作业 √ √ √ 修改作业 √ √ × 删除作业 √ √ × 查询服务列表 √ √ √ 创建服务 √ √ × 修改服务 √ √ × 查询服务 √ √ √ 删除服务 √ √ × 创建模型 √ √ × 查询模型列表 √ √ √ 查询模型 √ √ √ 删除模型 √ √ × 修改模型 √ √ × 创建标签 √ √ × 删除标签 √ √ × 获取标签列表 √ √ √ 查询指定资源标签 √ √ √ 标签查询资源列表 √ √ √ 创建消息通知策略 √ √ × 查询消息通知策略列表 √ √ √ 删除消息通知策略 √ √ × 查询运行作业列表 √ √ √ 运行作业 √ √ × 查询运行作业 √ √ √ 删除运行作业 √ √ × 取消运行作业 √ √ × 调用推理服务实例 √ √ × 查询路由列表 √ √ √ 查询Session信息 √ √ √ 订阅公共端点 √ √ ×

数智融合计算服务

数智融合计算服务-约束与限制:大模型LICENSE约束

大模型LICENSE约束不同的开源大模型有不同的LICENSE约束，详细请见下表：表1 大模型LICENSE约束模型名称 LICENSE地址 Llama 3 8B Chinese Instruct https://github.com/meta-llama/llama/blob/main/LICENSE Llama 3 70B https://github.com/meta-llama/llama/blob/main/LICENSE Llama 3.1 8B Chinese Chat https://huggingface.co/meta-llama/Meta-Llama-3.1-8B/blob/main/LICENSE Llama 3.1 70B https://huggingface.co/meta-llama/Meta-Llama-3.1-8B/blob/main/LICENSE Qwen 2 72B Instruct https://huggingface.co/Qwen/Qwen2-72B-Instruct/blob/main/LICENSE Glm 4 9B Chat https://huggingface.co/THUDM/glm-4-9b-chat/blob/main/LICENSE

数智融合计算服务

数智融合计算服务-变更配置

变更配置当前Fabric服务计费项仅支持修改RAY资源，其他业务场景都是按使用量按需计费，不涉及订单变更流程，且暂时不支持计费方式变更，因此变更配置只涉及Ray资源大小变更场景。修改Ray资源大小对费用影响如表1所示：表1 费用影响当前计费模式变更场景对费用的影响按需 RAY资源数量变更（升配/降配）变更成功后，新的计费方式将立即生效。包年包月 RAY资源数量增加（补差价升配）升配后新资源数量将在原来已有的时间周期内立即生效。需按照与原规格的价格差异，结合已使用的时间周期，补上差价。例如：（以下价格仅作示例，实际价格以价格详情为准）客户于2024/11/1 购买了数量为1，规格为fabric.compute.dpu.d1x的RAY资源，购买时长为1个月，此时价格为18.4元/月，客户使用余额支付18.4元，实付金额为18.4元。客户在2018/11/24 将Ray资源数量升级为5，价格为92元/月。这时，剩余天数为 30 - 24 = 6天，升配费用=92 / 30 * 6 - 18.4 / 30 * 6 = 14.72元。了解更多变更资源计费信息，请参见变更资源费用说明。包年包月 RAY资源数量减少（即时降配）降配成功后新的资源大小将在原来已有的时间周期内立即生效。按照与原规格的价格差异，结合已使用的时间周期，退款差价。例如：（以下价格仅作示例，实际价格以价格详情为准）客户于2024/11/1 购买了数量为5，规格为fabric.compute.dpu.d1x的RAY资源，购买时长为1个月，此时价格为18.4元/月，客户使用余额支付92元，实付金额为92元。客户在2018/11/24 将Ray资源数量降级为4，价格为18.4元/月。这时，剩余天数为 30 - 24 = 6天，降配退差价=92 / 30 * 6 - 18.4 / 30 * 6 = 14.72元。了解更多变更资源计费信息，请参见变更资源费用说明。父主题：计费说明

数智融合计算服务

云服务器内容精选

数智融合计算服务

7*24

备案

专业服务

退订

建议反馈

售前咨询热线