检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
只支持布尔(bool)数据类型,或者为None。 query的shape仅支持 [B, N1, S1, D],其中N1≤ 2048,D≤ 512并且dim== 4。 对于GQA,key的shape是 [B, N2, S2, D],其中 N2 ≤ 2048,并且N1是N2的正整数倍。 不满足以上场景,则不能实现NPU_Flash_Attn功能。
类型,或者为None。 query的shape仅支持 [B, N1, S1, D],其中N1≤ 2048,D≤ 512并且dim== 4。 对于GQA,key的shape是 [B, N2, S2, D],其中N2 ≤ 2048,并且N1是N2的正整数倍。 不满足以上场景,则不能实现NPU_Flash_Attn功能。
只支持布尔(bool)数据类型,或者为None。 query的shape仅支持 [B, N1, S1, D],其中N1≤ 2048,D≤ 512并且dim== 4。 对于GQA,key的shape是 [B, N2, S2, D],其中 N2 ≤ 2048,并且N1是N2的正整数倍。 不满足以上场景,则不能实现NPU_Flash_Attn功能。
Fine-tuning):是一种利用有标签数据进行模型训练的方法。 它基于一个预先训练好的模型,通过调整模型的参数,使其能够更好地拟合特定任务的数据分布。 与从头开始训练模型相比,监督式微调能够充分利用预训练模型的知识和特征表示,从而加速训练过程并提高模型的性能。 训练阶段下有不同的训练策略,分为全参数训练、部
训练作业失败,如何使用开发环境调试训练代码? 在创建训练作业前,推荐您先使用ModelArts开发环境调试训练代码,避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE(Pycharm或者VsCode)联接云上环境调试请参考使用本地IDE开发模型。
“创建”,进入创建Notebook页面。“公共镜像”选择“MindSpore”的,其他参数默认。具体操作请参考创建Notebook实例。 创建完成后Notebook的状态为“运行中”,单击“操作列”的“打开”,自动进入JupyterLab界面,打开Terminal。 在Notebook中制作自定义镜像
ss使用humaneval数据集时,需要执行模型生成的代码。请仔细阅读human_eval/execution.py文件第48-57行的注释,内容参考如下。了解执行模型生成代码可能存在的风险,如果接受这些风险,请取消第58行的注释,执行下面步骤6进行评测。 # WARNING #
of DataSource objects 数据集输入位置,用于将此目录及子目录下的源数据(如图片/文件/音频等)同步到数据集。对于表格数据集,该参数为导入目录。表格数据集的工作目录不支持为KMS加密桶下的OBS路径。目前仅支持传入单个DataSource。 dataset_name
String 操作路径,符合标准的Json PATCH格式,代表以服务详情的Json返回体为基准,想要执行替换的值的目标路径(Json PATH)。当前支持且仅支持对模型相关所有参数的替换更新,因此前缀固定为“/config/”。例如,当期望更新第一个模型中的实例数量,则路径为“/co
strings 订阅的主题。 entity String 订阅的主体。 events Array of strings 订阅的事件。 请求示例 创建消息订阅。设置订阅的主题为“fengbin26”,订阅的主题为“238947895793875835893490”,订阅的事件为“[ "*:failed
String 用户GaussDB(DWS)集群的IP地址。 port 否 String 用户GaussDB(DWS)集群的端口。 queue_name 否 String 表格数据集,DLI队列名。 subnet_id 否 String MRS集群的子网ID。 table_name 否 String
算法名称。限制为1-64位只含数字、字母、下划线和中划线的名称。 description String 对算法的描述,默认为“NULL”,字符串的长度限制为[0, 256]。 workspace_id String 指定算法所处的工作空间,默认值为“0”。“0” 为默认的工作空间。 ai_project
ken的值)。 响应参数 状态码:200 表3 响应Body参数 参数 参数类型 描述 model_version String 模型版本。 source_job_version String 来源训练作业的版本。 source_location String 模型所在的OBS路径或SWR镜像的模板地址。
描述 max_quota Integer 配额允许设置的最大值。 update_time Integer 最后修改时间,UTC。如用户未修改过该资源配额,则该值默认为该工作空间的创建时间。 resource String 资源的唯一标识。 quota Integer 当前配额值。配额值为-1代表不限制配额。
存在创建并使用的工作空间,以实际取值为准。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 表3 请求Body参数
Token接口获取(响应消息头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 tags 是 Array of TmsTagForDelete objects 要删除的标签列表。 表4 TmsTagForDelete 参数 是否必选
工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 表4 Apps 参数 是否必选 参数类型 描述 app_id 否 String APP的编号,可通过查询APP列表获取。 响应参数 状态码:200 表5 响应Header参数
数据处理任务的工作目录。 workspace_id 否 String 工作空间ID。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 表3 ProcessorDataSource 参数 是否必选 参数类型 描述 name 否 String 数据集的名称。 source
ntainer_ip参数,每台机器上的rank_table_file.json文件内容一致。在步骤三:创建rank_table_file.json步骤中会用到。 server_count:节点个数。当前默认为2。 device_ip:当前卡的IP地址,2台机器共16张卡。device_ip查询命令
ingFace的目录格式。即上传的HuggingFace权重文件存放目录。如果使用了量化功能,则使用量化章节转换后的权重。如果使用的是训练后模型转换为HuggingFace格式的地址,还需要有Tokenizer原始文件。 --max-num-seqs:最大同时处理的请求数,超过后在等待池等候处理。