检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
建议您前往OBS服务，了解OBS计费详情，创建相应的OBS桶用于存储ModelArts使用的数据。 ModelArts标注完样本集后，如何保证退出后不再产生计费？ 标注样本集本身不计费，数据集存储在OBS中，收取OBS的费用。建议您前往OBS控制台，删除存储的数据和OBS桶，即可停止收费。
multi-step参数设置 启动推理服务时，使用multi-step调度需要配置的参数如下表所示。 表1 开启multi-step调度参数配置 服务启动方式 配置项 取值类型 配置说明 offline num_scheduler_steps int 连续运行模型的步数。 默认为1，推荐设置为8 offline
者环境变量中密文存放，使用时解密，确保安全； # 本示例以password保存在环境变量中来实现身份验证为例，运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_PASSWORD。 __PASSWORD = os.environ["HUAWEICLOUD_SDK_PASSWORD"]
create_time Long 数据处理任务的创建时间。 deleted_sample_count Integer 处理后删除的图片数量。 description String 数据处理任务的版本描述。 duration_seconds Integer 数据处理任务的运行时间，单位秒。 inputs
7-ubuntu_18.04-x86_64引擎。 对于用户希望优化的超参，需在“超参”设置中定义，可以给定名称、类型、默认值、约束等，具体设置方法可以参考表6。 单击勾选“自动搜索”，为算法设置算法搜索功能。自动搜索作业运行过程中，ModelArts后台通过指标正则表达式获取搜索
业名称进入“标注作业详情页”，单击右上角“团队标注>验收”，发起验收。 图5 发起验收 在弹出的对话框中，设置“抽样策略”，可设置为“按百分比”，也可以设置为“按数量”。设置好参数值后，单击“确定”启动验收。 “按百分比”：按待验收图片总数的一定比例进行抽样验收。 “按数量”：按一定数量进行抽样验收。
multi-step参数设置 启动推理服务时，使用multi-step调度需要配置的参数如下表所示。 表1 开启multi-step调度参数配置 服务启动方式 配置项 取值类型 配置说明 offline num_scheduler_steps int 连续运行模型的步数。 默认为1，推荐设置为8 offline
默认无限制，支持设置1~60000。 分钟 推理服务GPU规格使用时长（单节点为统计基础单元） 默认无限制，支持设置1~60000。 分钟 训练作业CPU规格训练核数 默认无限制，支持设置1~10000。 核 训练作业GPU规格训练卡数 默认无限制，支持设置1~1000。 卡 训练作业RAM规格训练内存大小
当上传的文件夹下内容为空或者该文件夹下包含多个文件夹且有文件夹下内容有空时，OBS对应路径下不产生该空文件夹。 dst_obs_dir 是 String 上传的目标OBS桶地址，必须以“obs://”作为前缀，上传的目标文件夹后缀必须以“/”结尾。 表2 失败响应参数说明 参数 参数类型 描述 error_code
SSH插件手工配置连接信息，连接云上实例。 安装VS Code软件 使用VS Code连接开发环境时，首先需要安装VS Code软件。 VS Code下载方式： 下载地址: https://code.visualstudio.com/updates/v1_85 图1 VS Code的下载位置 VS Code版本要求：
py编写指导请见模型推理代码编写说明）。 确认该cuda版本与您安装的mmcv版本是否匹配。 部署时是否需要使用GPU，取决于的模型需要用到CPU还是GPU，以及推理脚本如何编写。 父主题： 服务部署
/home/ma-user/work/code/YOLOX/ && /home/ma-user/anaconda3/envs/pytorch/bin/pip install -r requirements.txt && /bin/sh tools/run.sh 资源池：在“专属资源池”页签选择GPU规格的专属资源池。
为避免产生按需消费，建议通过设置套餐包剩余量预警，以确保在套餐包用尽前及时接收预警。设置套餐包剩余量预警步骤如下： 进入控制台“费用中心 > 资源包”，单击右上角“剩余量预警”。 在“剩余量预警”弹窗中，设置套餐包阈值类型，并在套餐包列表中打开需开启剩余量预警的套餐包开关、设置阈值类型和剩余量阈值。
支持的模型列表 表1 支持的大语言模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理 是否支持W4A16量化 是否支持W8A8量化 是否支持W8A16量化 是否支持 kv-cache-int8量化 开源权重获取地址 1 llama-7b √ √ √ √ √ https://huggingface
限期使用。如果打开时长限制，除了设置资产免费使用的时长，还可以设置到期后是否续订。 如果是更新已发布资产的版本。 “发布方式”选择“添加资产版本”。 在“资产标题”下拉框中选择已有资产名称。支持搜索资产名称。 设置“ModelArts区域”。 设置可以使用该资产的ModelArts区域，以控制台实际可选值为准。
在线体验”，进入“模型体验”页面。 在“模型体验”右上角，单击“参数设置”，拖动或直接输入数值配置推理参数。单击“恢复默认”可以将参数值调回默认值。 图1 设置推理参数 表1 参数设置 参数 说明 温度/Temperature 设置推理温度。 数值较高，输出结果更加随机。 数值较低，输出结果更加集中和确定。
"result_property": 0, "result_descriptions": [] }, {
name 否 String 工作流名称。填写1-64位，仅包含英文、数字、下划线（_）和中划线（-），并且以英文开头的名称。 description 否 String 工作流描述信息。 请求参数 无 响应参数 状态码：200 表3 响应Body参数 参数 参数类型 描述 total
作镜像时安装。 操作步骤 下载MLNX_OFED_LINUX-4.3-1.0.1.0-ubuntu16.04-x86_64.tgz。 进入地址，单击“Download”，选择“Archive Versions”，“Version”选择“4.3-1.0.1.0”，“OS Distr
”页面。 在选择模型及配置中，单击“增加模型版本进行灰度发布”添加新版本。 图1 灰度发布 您可以设置两个版本的流量占比，服务调用请求根据该比例分配。其他设置可参考参数说明。完成设置后，单击下一步。 确认信息无误后，单击“提交”部署在线服务。 父主题： Standard推理部署
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
