正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
样本加入到数据集时,会根据样本在OBS上的最后修改时间(精确到天)建立索引,此处可以根据此时间进行搜索。可选值如下: month:搜索往前30天至今天内添加的样本 day:搜索昨天(往前1天)至今天内添加的样本 yyyyMMdd-yyyyMMdd:搜索指定时间段内添加的样本,格式为
保存完模型后,需要上传到OBS目录才能发布。发布时需要带上“config.json”配置以及“customize_service.py”,定义方式参考模型包规范介绍。 推理代码 在模型代码推理文件customize_service.py中,需要添加一个子类,该子类继承对应模型类型的父类,
5-72B-Chat-AWQ 参数说明: model:模型路径。 Step3 启动AWQ量化服务 参考Step3 启动推理服务,在启动服务时添加如下命令。 --q awq 或者--quantization awq 父主题: 推理模型量化
每种探针下会显示以下字段:检查方式、健康检查URL(检查方式为“HTTP请求检查”时显示)、健康检查命令(检查方式为“执行命令检查”时显示)、健康检查周期、延迟时间、超时时间、最大失败次数。 AI应用说明 显示创建AI应用时添加的AI应用说明文档信息。 系统运行架构 显示系统运行架构。 推理加速卡类型
保存完模型后,需要上传到OBS目录才能发布。发布时需要带上config.json配置和推理代码customize_service.py。config.json编写请参考模型配置文件编写说明,推理代码请参考推理代码。 推理代码 在模型代码推理文件customize_service.py中,需要添加一个子类,该子类
型须为kubernetes.io/dockerconfigjson类型。 若需添加多个密钥,可以单击“+”新增密钥数。 添加镜像预热配置 若需添加多个镜像,可单击此按键。 图2 预置镜像预热 图3 预置镜像选择 图4 自定义镜像预热 创建密钥所需的仓库地址、用户名、密码、可以参考对应租户的SWR登录指令。
CLI配置工具支持将单个超过5GB的文件从本地上传至AI Gallery仓库中。 约束限制 Gallery CLI配置工具下载文件时依赖集群的公网访问权限,所以在使用CLI时要求集群配置NAT网关,具体操作请参见公网NAT网关。 只有托管到AI Gallery仓库的资产才支持使用Gallery
确认框中单击“确定”即可完成运行记录的删除。 编辑:如果您想对您当前的工作流下的所有运行记录进行区分,您可以单击“编辑”,对每一条运行记录添加相应的标签予以区分。 重新运行:可以单击“重新运行”直接在某条记录上运行该工作流。 您可以对该条工作流的所有运行记录进行筛选和对比。 筛选
能支持查看的文件类型请以界面显示为准。 编辑版本 选择“版本”页签,单击右上方的“编辑”进入编辑模式。 单击“版本说明”列的,添加版本说明,单击完成添加。 编辑数据集的版本信息便于区分数据集信息。 编辑限制 选择“限制”页签,单击右上方的“编辑”进入编辑模式。 在“谁可以看”右侧
--tokenizer-model : tokenizer路径。 Megatron转HuggingFace参数说明 若用户需要自动转换,则在训练作业中,添加变量CONVERT_MG2HF并赋值True。若用户后续不需要自动转换,则在环境变量中必须删除CONVERT_MG2HF变量。 Megat
描述 model 是 无 Str 通过OpenAI服务API接口启动服务时,推理请求必须填写此参数。取值必须和启动推理服务时的model ${model_path}参数保持一致。 通过vLLM服务API接口启动服务时,推理请求不涉及此参数。 prompt 是 - Str 请求输入的问题。
--tokenizer-model : tokenizer路径。 Megatron转HuggingFace参数说明 如果用户需要自动转换,则在训练作业中,添加变量CONVERT_MG2HF并赋值True。如果用户后续不需要自动转换,则在环境变量中必须删除CONVERT_MG2HF变量。 Mega
包含错误码,如:Ecs.0000时,可查看弹性云服务器 ECS_错误码查看详细的错误信息及处理措施。 包含错误码,如:BMS.0001时,可查看裸金属服务器 BMS_错误码查看详细的错误信息及处理措施。 包含错误码,如:CCE.01400001时,可查看云容器引擎 CCE_错误码查看详细的错误信息及处理措施
5-72B-Chat-AWQ 参数说明: model:模型路径。 Step3 启动AWQ量化服务 参考Step6 启动推理服务,在启动服务时添加如下命令。 -q awq 或者--quantization awq 父主题: 推理模型量化
t8的scale系数的抽取和加载。 Step3 启动kv-cache-int8量化服务 在使用OpenAI接口或vLLM接口启动推理服务时添加如下参数: --kv-cache-dtype int8 #只支持int8,表示kvint8量化 --quantization-param-path
响int8的scale系数的抽取和加载。 Step3 启动kv-cache-int8量化服务 参考Step3 启动推理服务,启动推理服务时添加如下命令。 --kv-cache-dtype int8 #只支持int8,表示kvint8量化 --quantization-param-path
如果部署为推理服务,则“推理任务类型”选择“自定义” 自定义模型规范(训练) 当托管自定义模型到AI Gallery时,如果模型要支持AI Gallery的模型微调,则需要在“模型文件”添加gallery_train文件夹,文件夹内容参考表1。 gallery_train文件夹必须是一级目录直
响int8的scale系数的抽取和加载。 Step3 启动kv-cache-int8量化服务 参考Step3 启动推理服务,启动推理服务时添加如下命令。 --kv-cache-dtype int8 #只支持int8,表示kvint8量化 --quantization-param-path
响int8的scale系数的抽取和加载。 Step3 启动kv-cache-int8量化服务 参考Step3 启动推理服务,启动推理服务时添加如下命令。 --kv-cache-dtype int8 #只支持int8,表示kvint8量化 --quantization-param-path
如果您设置多个条件,同时满足所有条件时,该策略才生效。 示例: "StringEndWithIfExists":{"g:UserName":["specialCharacter"]}:表示当用户输入的用户名以"specialCharacter"结尾时该条statement生效。 Resource: