检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
仅支持FP16和BF16数据类型推理。 本案例仅支持在专属资源池上运行。 专属资源池驱动版本要求23.0.6。 支持的模型列表和权重文件 本方案支持vLLM的v0.5.0版本。不同vLLM版本支持的模型列表有差异,具体如表1所示。 表1 支持的模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理 是否支持W4A16量化
可能是OBS桶设置了自动加密导致此问题。 解决方法: 需要新建OBS桶重新上传数据,或者取消桶加密后,重新上传数据。 筛选数据 在标注作业详情页面,默认展示作业中全部未标注的数据,您可以在“全部”、“未标注”或“已标注”页签下,在筛选条件区域,单击,添加筛选条件,快速过滤出您想要查看的数据。
”,其他类型任务均设为“false”或不设。可选值如下: true:创建任务时同步创建一个任务版本 false:创建任务时不创建任务版本(默认值) data_source 否 ProcessorDataSource object 数据来源,与inputs二选一。数据源路径不支持设置为KMS加密桶中的OBS路径。
部署本地服务Predictor时,取值为1。 envs 否 Map<String, String> 运行模型需要的环境变量键值对,可选填,默认为空。 表3 部署本地服务predictor返回参数说明 参数 是否必选 参数类型 描述 predictor 是 Predictor对象
用户项目ID,获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 每一页的数量,默认不限制。 offset 否 Integer 分页记录的起始位置偏移量。 请求参数 无 响应参数 状态码:200 表3 响应Body参数 参数
表2 Query参数 参数 是否必选 参数类型 描述 locale 否 String 语言。可选值如下: zh-cn:中文 en-us:英文(默认值) sample_state 否 String 样本状态。可选样本状态如下: __ALL__:已标注 __NONE__:未标注 __UNCHECK__:待验收
产品变更公告 网络调整公告 预测API的域名停用公告
参数 是否必选 参数类型 描述 workspace_id 否 String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 请求参数 无 响应参数 状态码:200 表3 响应Body参数 参数 参数类型 描述
为其中包含了AOE的转化过程耗时较长。您也可以指定调优时间,一般情况下时间越长效果会越好,一般10h以内即可,推荐在后台执行。调优完成后,默认将AOE生成的知识库保存在“/root/Ascend/latest/data/aoe”路径下,同时会在aoe_output路径下输出对应的
Clone仓库成功 异常处理 Clone仓库失败。可能是网络原因问题。可以在JupyterLab的Terminal中通过执行git clone https://github.com/jupyterlab/extension-examples.git测试网络连通情况。 图6 Clone仓库失败 如
Standard自动学习 ModelArts通过机器学习的方式帮助不具备算法开发能力的业务开发者实现算法的开发,基于迁移学习、自动神经网络架构搜索实现模型自动生成,通过算法实现模型训练的参数自动化选择和模型自动调优的自动学习功能,让零AI基础的业务开发者可快速完成模型的训练和部署。
示例 参数说明 RUN_TYPE pretrain、sft、lora 数据预处理区分: 预训练场景下数据预处理,默认参数:pretrain 微调场景下数据预处理,默认:sft / lora ORIGINAL_TRAIN_DATA_PATH /home/ma-user/work/t
示例 参数说明 RUN_TYPE pretrain、sft、lora 数据预处理区分: 预训练场景下数据预处理,默认参数:pretrain 微调场景下数据预处理,默认:sft / lora ORIGINAL_TRAIN_DATA_PATH /home/ma-user/ws/tra
示例 参数说明 RUN_TYPE pretrain、sft、lora 数据预处理区分: 预训练场景下数据预处理,默认参数:pretrain 微调场景下数据预处理,默认:sft / lora ORIGINAL_TRAIN_DATA_PATH /home/ma-user/ws/tra
示例 参数说明 RUN_TYPE pretrain、sft、lora 数据预处理区分: 预训练场景下数据预处理,默认参数:pretrain 微调场景下数据预处理,默认:sft / lora ORIGINAL_TRAIN_DATA_PATH /home/ma-user/work/t
示例 参数说明 RUN_TYPE pretrain、sft、lora 数据预处理区分: 预训练场景下数据预处理,默认参数:pretrain 微调场景下数据预处理,默认:sft / lora ORIGINAL_TRAIN_DATA_PATH /home/ma-user/work/t
Lite Server资源配置 Lite Server资源配置流程 配置Lite Server网络 配置Lite Server存储 配置Lite Server软件环境
Lite Cluster资源配置 Lite Cluster资源配置流程 配置Lite Cluster网络 配置kubectl工具 配置Lite Cluster存储 (可选)配置驱动 (可选)配置镜像预热
专属资源池驱动版本要求23.0.6。 适配的CANN版本是cann_8.0.rc3。 支持的模型列表和权重文件 本方案支持vLLM的v0.5.0版本。不同vLLM版本支持的模型列表有差异,具体如表1所示。 表1 支持的模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理 是否支持W4A16量化
表2 Query参数 参数 是否必选 参数类型 描述 locale 否 String 语言。可选值如下: zh-cn:中文 en-us:英文(默认值) sample_state 否 String 样本状态。可选样本状态如下: __ALL__:已标注 __NONE__:未标注 __UNCHECK__:待验收