检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不同区域支持的AI引擎有差异,请以实际环境为准。 推理支持的AI引擎 在ModelArts创建模型时,如果使用预置镜像“从模板中选择”或“从OBS中选择”导入模型,则支持如下常用引擎及版本的模型包。 标注“推荐”的Runtime来源于统一镜像,后续统一镜像将作为主流的推理基础镜像
在ModelArts的Notebook的Jupyterlab可以安装插件吗? Jupyter可以安装插件。 目前jupyter插件多数采用wheel包的形式发布,一次性完成前后端插件的安装,安装时注意使用jupyter服务依赖的环境“/modelarts/authoring/no
EndpointsRes objects 服务器的私有IP信息。 image ServerImageResponse object 服务器镜像信息。 category String 服务器归属类型。 HPS:超节点服务器 SPOD:整柜服务器 SERVER:单台服务器 server_hps ServerHpsInfo
EndpointsRes objects 服务器的私有IP信息。 image ServerImageResponse object 服务器镜像信息。 category String 服务器归属类型。 HPS:超节点服务器 SPOD:整柜服务器 SERVER:单台服务器 server_hps ServerHpsInfo
动停止的时间。 图3 选择计算节点规格 图4 设置自动停止 参数填写完毕之后,单击运行状况右边的“继续运行”,单击确认弹窗中的“确定”即可继续完成工作流的运行。 步骤五:预测分析 运行完成的工作流会自动部署为相应的在线服务,您只需要在相应的服务详情页面进行预测即可。 在服务部署节
在LLM推理应用中,经常会面临具有长system prompt的场景以及多轮对话的场景。长system prompt的场景,system prompt在不同的请求中但是相同的,KV Cache的计算也是相同的;多轮对话场景中,每一轮对话需要依赖所有历史轮次对话的上下文,历史轮次中的KV Cache在后续每一轮中
Gallery,单击右上角“我的Gallery > 我的资产 > 模型”,进入“我的模型”页面。 选择“我的订阅”页签,进入个人订阅的模型列表。 在模型列表选择需要推送的模型,单击“应用控制台”列的服务名称将模型推送至不同应用控制台。 图2 选择应用控制台 如果订阅的是ModelArts模
用户名密码认证模式 本模式支持OBS管理、训练管理、模型管理、服务管理的鉴权。 示例代码 账号与用户的概念介绍,请参见IAM基本概念。获取您的账号、用户名等信息,请参见获取用户名、用户ID、项目名称、项目ID。 使用账号认证 “username”填写您的账号名。 1 2 from modelarts
创建ModelArts委托 功能介绍 创建包含OBS、SWR、IEF等依赖服务的ModelArts委托。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /
instruction:描述模型应执行的任务。指令中的每一条都是唯一的。 input:任务的可选上下文或输入。instruction 对应的内容会与 input 对应的内容拼接后作为指令,即指令为 instruction\ninput。 output:生成的指令的答案。 system:系统提
务。 部署为在线服务 部署为批量服务 访问服务 服务部署完成后,针对在线服务和边缘服务,您可以访问并使用服务,针对批量服务,您可以查看其预测结果。 访问在线服务 查看批量服务预测结果
创建自定义策略时,建议将项目级云服务和全局级云服务拆分为两条策略,便于授权时设置最小授权范围。此处的“trainJob”为项目级云服务、“trainJobobs”为全局级云服务。了解更多 创建用户组并加入用户,步骤请参考Step1 创建用户组并加入用户。 给用户组授权策略。 在IAM服务的用户组列表页
EndpointsRes objects 服务器的私有IP信息。 image ServerImageResponse object 服务器镜像信息。 category String 服务器归属类型。 HPS:超节点服务器 SPOD:整柜服务器 SERVER:单台服务器 server_hps ServerHpsInfo
EndpointsRes objects 服务器的私有IP信息。 image ServerImageResponse object 服务器镜像信息。 category String 服务器归属类型。 HPS:超节点服务器 SPOD:整柜服务器 SERVER:单台服务器 server_hps ServerHpsInfo
功能介绍 配置ModelArts授权。若没有授权,ModelArts训练管理、开发环境、数据管理、在线服务等功能将不能正常使用。该API支持管理员给IAM子用户设置委托,支持设置当前用户的访问密钥。调用该API需要在IAM系统里配置Security Administrator权限。 调试
查询OS的配置参数 功能介绍 获取ModelArts OS服务的配置参数,如网络网段,用户资源配额等。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1
解除API对APP的授权 功能介绍 解除指定的API对APP的授权,请求用户对API所属服务必须有更新权限。同URL:/v1/{project_id}/app-auth/{service_id}/apis/{api_id}/auths 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API
单击左上角返回在线服务,在对应的服务名称所在行,单击选择操作列的“更多>停止”,停止该服务。 图7 停止服务 清除OBS中的数据。 在控制台左侧导航栏的服务列表,选择“对象存储服务OBS”,进入OBS服务详情页面。 在左侧导航栏选择“桶列表”,在列表详情,找到自己创建的OBS桶,单击桶名称,进入OBS桶详情。
单击左上角返回在线服务,在对应的服务名称所在行,单击选择操作列的“更多>停止”,停止该服务。 图7 停止服务 清除OBS中的数据。 在控制台左侧导航栏的服务列表,选择“对象存储服务OBS”,进入OBS服务详情页面。 在左侧导航栏选择“桶列表”,在列表详情,找到自己创建的OBS桶,单击桶名称,进入OBS桶详情。
支持的模型列表 表1 支持的大语言模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理 是否支持W4A16量化 是否支持W8A8量化 是否支持W8A16量化 是否支持 kv-cache-int8量化 开源权重获取地址 1 llama-7b √ √ √ √ √ https://huggingface