检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
部署在线服务 部署在线服务包括： 已部署为在线服务的初始化。 部署在线服务predictor。 部署批量服务transformer。 部署服务返回服务对象Predictor，其属性包括服务管理章节下的所有功能。 示例代码 在ModelArts notebook平台，Session
参数优先级高于服务层级的cluster_id；当该参数未配置时，会使用服务层级的cluster_id参数。 pool_name 否 String real-time和batch服务类型可选。部署服务时使用的AI专属资源池弹性集群的资源池ID，使用专属资源池部署服务时需确保集群状态
简称CES）监控在线服务和对应模型负载，执行自动实时监控、告警和通知操作。CES的更多信息请参见《云监控服务用户指南》。 与云审计的关系 ModelArts使用云审计服务（Cloud Trace Service，简称CTS）记录ModelArts相关的操作事件，便于日后的查询、审计和回溯。C
复制完整资产名称 获取待上传的文件名 获取待上传的文件在服务器的绝对路径。 上传单个文件 在服务器执行如下命令，可以将服务器上的文件上传到AI Gallery仓库里面。 gallery-cli upload {repo_id} {文件名} 如下所示，表示将服务器上的文件“D:\workp
ModelArts支持从DWS导入表格数据，用户需要选择对应的DWS集群，并输入需要对应的数据库名、表名以及用户名和密码。所导入表的schema(列名和类型)需要跟数据集相同。DWS的详细功能说明，请参考DWS用户指南。 图1 从DWS导入数据 集群名称：系统自动将当前账号下的DWS集群展现在列表中，您可以在下拉框中选择您所需的DWS集群。
参数优先级高于服务层级的cluster_id；当该参数未配置时，会使用服务层级的cluster_id参数。 pool_name 否 String real-time和batch服务类型可选。部署服务时使用的AI专属资源池弹性集群的资源池ID，使用专属资源池部署服务时需确保集群状态
简称CES）监控在线服务和对应模型负载，执行自动实时监控、告警和通知操作。CES的更多信息请参见《云监控服务用户指南》。 与云审计的关系 ModelArts使用云审计服务（Cloud Trace Service，简称CTS）记录ModelArts相关的操作事件，便于日后的查询、审计和回溯。C
查看在线服务的事件 服务的（从用户可看见部署服务任务开始）整个生命周期中，每一个关键事件点在系统后台均有记录，用户可随时在对应服务的详情页面进行查看。 方便用户更清楚的了解服务部署和运行过程，遇到任务异常时，更加准确的排查定位问题。可查看的事件点包括： 表1 事件 事件类型 事件
py编写有误，可以通过查看服务运行日志，定位具体原因进行修复。 拉取镜像失败 服务启动失败，提示拉取镜像失败，请参考服务部署、启动、升级和修改时，拉取镜像失败如何处理？ 资源不足，服务调度失败 服务启动失败，提示资源不足，服务调度失败，请参考服务部署、启动、升级和修改时，资源不足如何处理？
查看批量服务的事件 服务的（从用户可看见部署服务任务开始）整个生命周期中，每一个关键事件点在系统后台均有记录，用户可随时在对应服务的详情页面进行查看。 方便用户更清楚的了解服务部署和运行过程，遇到任务异常时，更加准确的排查定位问题。可查看的事件点包括： 表1 事件 事件类型 事件
推理请求 使用命令测试推理服务是否正常启动。服务启动命令中的参数设置请参见表1。 方式一：通过OpenAI服务API接口启动服务使用以下推理测试命令。${docker_ip}替换为实际宿主机的IP地址。${container_model_path}请替换为实际使用的模型名称。 curl
更新模型服务的单个属性 功能介绍 更新模型服务的单个属性，目前只支持instance_count(更新模型服务实例数量)，仅运行中、告警、异常状态下的在线服务可以执行该操作。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生
--block-size：kv-cache的block大小，推荐设置为128。当前仅支持64和128。 --host=${docker_ip}：服务部署的IP，${docker_ip}替换为宿主机实际的IP地址。 --port：服务部署的端口。 --gpu-memory-utilization：NPU使用的显存比例，复用原vLLM的入参名称，默认为0
Standard推理服务访问公网方案 本章节提供了推理服务访问公网的方法。 应用场景 推理服务访问公网地址的场景，如： 输入图片，先进行公网OCR服务调用，然后进行NLP处理； 进行公网文件下载，然后进行分析； 分析结果回调给公网服务终端。 方案设计 从推理服务的算法实例内部，访问公网服务地址的方案。如下图所示：
而实现快速响应。 您可以在服务详情页的“调用指南”页签（如图5）获取API接口公网地址（对应下文示例中的在线服务的调用地址url）和AppKey/AppSecret（对应下文示例中的app_key、app_secret）和AppCode（对应下文示例中的app_code）。请注意
目前仅支持自定义镜像导入模型，部署的服务支持高速访问通道。 操作步骤 使用VPC直连的高速访问通道访问在线服务，基本操作步骤如下： 将专属资源池的网络打通VPC VPC下创建弹性云服务器 获取在线服务的IP和端口号 通过IP和端口号直连应用 将专属资源池的网络打通VPC 登录ModelArts控制台，进入“AI专属资源池
Studio大模型即服务平台。 在ModelArts Studio左侧导航栏中，选择“模型部署”进入服务列表。 选择“我的服务”页签。 单击服务名称，进入部署模型服务详情页面，可以查看服务信息。 “详情”：可以查看服务的基本信息，包括服务、模型、资源等设置信息。 “监控”：可以查看服务监控和资源监控信息。
通过Token认证的方式访问在线服务 如果在线服务的状态处于“运行中”，则表示在线服务已部署成功，部署成功的在线服务，将为用户提供一个可调用的API，此API为标准Restful API。在集成至生产环境之前，需要对此API进行调测，您可以使用以下方式向在线服务发起预测请求： 方
用户如何设置默认的kernel？ 用户希望打开Notebook默认的kernel为自己自定义的kernel。 解决方式: 在Terminal里执行如下命令在镜像里指定环境变量。 # python-3.7.10这里指用户想设置的kernel名称 export KG_DEFAULT_
--block-size：kv-cache的block大小，推荐设置为128。当前仅支持64和128。 --host=${docker_ip}：服务部署的IP，${docker_ip}替换为宿主机实际的IP地址，默认为None，举例：参数可以设置为0.0.0.0。 --port：服务部署的端口。 --gp
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
