检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
扩缩容Standard专属资源池 升级Standard专属资源池驱动 修复Standard专属资源池故障节点 修改Standard专属资源池支持的作业类型 迁移Standard专属资源池和网络至其他工作空间 配置Standard专属资源池可访问公网 使用TMS标签实现资源分组管理 管理Standard专属资源池的游离节点
JupyterLab文件默认存储路径,为创建Notebook实例时,系统自动分配的EVS空间。 在文件列表的所有文件读写操作都是基于所选择的EVS下的内容操作的。使用EVS类型的挂载,可将大数据挂载至“~/work”目录下。 父主题: Standard Notebook
是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 task_id 是 String 数据处理任务ID。 version_id 是 String 数据处理任务的版本ID。 表2 Query参数 参数 是否必选 参数类型 描述
len,推荐使用4096或8192。 --dtype:模型推理的数据类型。支持FP16和BF16数据类型推理。float16表示FP16,bfloat16表示BF16。 如果不指定,则根据输入数据自动匹配数据类型。使用不同的dtype会影响模型精度。如果使用开源权重,建议不指定d
update_dataset(dataset_name = "new-dataset-name") 参数说明 表1 请求参数 参数 是否必选 参数类型 描述 dataset_name 否 String 新的数据集名称。 description 否 String 数据集描述信息。 父主题:
练的精度。 在数据集管理中,对难例的管理有如下场景。 智能标注后,确认难例 将数据集中的数据标注为难例 目前只有“图像分类”和“物体检测”类型的数据集支持难例发现功能。 智能标注后,确认难例 “智能标注”任务执行过程中,ModelArts将自动识别难例,并完成标注。当智能标注结束
为指定模型,如"llama"。 2、当前社区vllm只支持float8的kv_cache量化,抽取脚本中dtype类型是"float8_e4m3fn"。dtype类型不影响int8的scale系数的抽取和加载。 Step3 启动kv-cache-int8量化服务 参考Step3
Turbo文件系统。 图1 创建SFS Turbo 其中,文件系统类型推荐选用500MB/s/TiB或1000MB/s/TiB,应用于AI大模型场景中。存储容量推荐使用 6.0~10.8TB ,以存储更多模型文件。 图2 SFS类型和容量选择 ModelArts网络关联SFS Turbo OBS-SFS
Turbo文件系统。 图1 创建SFS Turbo 其中,文件系统类型推荐选用500MB/s/TiB或1000MB/s/TiB,应用于AI大模型场景中。存储容量推荐使用 6.0~10.8TB ,以存储更多模型文件。 图2 SFS类型和容量选择 ModelArts网络关联SFS Turbo OBS-SFS
修改为指定模型,如"llama"。 当前社区vllm只支持float8的kv_cache量化,抽取脚本中dtype类型是"float8_e4m3fn"。dtype类型不影响int8的scale系数的抽取和加载。 Step3 启动kv-cache-int8量化服务 参考Step3
Browser+上传数据或上传文件夹。上传的数据需满足此类型自动学习项目的数据集要求。 在上传数据时,请选择非加密桶进行上传,否则会由于加密桶无法解密导致后期的训练失败。 用于训练的音频,至少有2种以上的分类,每种分类的音频数据数不少20条。 创建数据集 数据准备完成后,需要创建相应项目支持的类型的数据集,具体操作请参考创建ModelArts数据集。
为指定模型,如"llama"。 2、当前社区vllm只支持float8的kv_cache量化,抽取脚本中dtype类型是"float8_e4m3fn"。dtype类型不影响int8的scale系数的抽取和加载。 Step3 启动kv-cache-int8量化服务 在使用OpenA
修改为指定模型,如"llama"。 当前社区vllm只支持float8的kv_cache量化,抽取脚本中dtype类型是"float8_e4m3fn"。dtype类型不影响int8的scale系数的抽取和加载。 Step3 启动kv-cache-int8量化服务 参考Step3
[ascend_context] input_shape=data:[-1,3,224,224] dynamic_dims=[1],[2],[3] 表3 参数说明 参数名称 功能描述 参数类型 是否必填 默认值 备注 --model_path 指定onnx模型路径。 string 是 - - --config_path
export_data("/obs-gaia-test/data/output/export-test/") 参数说明 表1 请求参数 参数 是否必选 参数类型 描述 path 是 String 数据导出的OBS路径。 父主题: 导出任务管理
len,推荐使用4096或8192。 --dtype:模型推理的数据类型。支持FP16和BF16数据类型推理。float16表示FP16,bfloat16表示BF16。 如果不指定,则根据输入数据自动匹配数据类型。使用不同的dtype会影响模型精度。如果使用开源权重,建议不指定d
修改为指定模型,如"llama"。 当前社区vllm只支持float8的kv_cache量化,抽取脚本中dtype类型是"float8_e4m3fn"。dtype类型不影响int8的scale系数的抽取和加载。 Step3 启动kv-cache-int8量化服务 在使用OpenA
修改为指定模型,如"llama"。 当前社区vllm只支持float8的kv_cache量化,抽取脚本中dtype类型是"float8_e4m3fn"。dtype类型不影响int8的scale系数的抽取和加载。 Step3 启动kv-cache-int8量化服务 在使用OpenA
URI DELETE /v2/{project_id}/algorithms/{algorithm_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 algorithm_id 是 String
URI DELETE /v2/{project_id}/datasets/{dataset_id} 表1 路径参数 参数 是否必选 参数类型 描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。