检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“数据集输入位置”：AI Gallery的数据集下载到OBS的路径，此位置会作为数据集的数据存储路径，数据集输入位置不能和输出位置相同。 “名称”默认生成“data-xxxx”形式的数据集名称，该数据集将同步在ModelArts数据集列表中。 “描述”可以添加对于该数据集的相关描述。 图2 下载数据集（至ModelArts）
的“子目录挂载” 图3 选择SFS Turbo 作业日志选择OBS中的路径，训练作业的日志信息则保存该路径下。 提交训练作业，训练完成后，生成的权重文件自动保存在SFS Turbo中，保存路径为：/home/ma-user/work/llm_train/saved_dir_for
的“子目录挂载” 图3 选择SFS Turbo 作业日志选择OBS中的路径，训练作业的日志信息则保存该路径下。 提交训练作业，训练完成后，生成的权重文件自动保存在SFS Turbo中，保存路径为：/home/ma-user/work/llm_train/saved_dir_for
true 用于指定是否覆盖缓存。如果设置为"overwrite_cache"，则在训练过程中覆盖缓存。这通常在数据集发生变化，或者需要重新生成缓存时使用 preprocessing_num_workers 16 用于指定预处理数据的工作线程数。随着线程数的增加，预处理的速度也会提高，但也会增加内存的使用。
true：只读权限 false：默认值，读写权限 请求示例 如下以查询“job_id”为10，“version_id”为10的作业为例。 GET https://endpoint/v1/{project_id}/training-jobs/10/versions/10 响应示例 成功响应示例
设置模型的参数，如图11所示。 元模型来源：从容器镜像中选择。 容器镜像所在的路径：单击选择镜像文件。具体路径查看5SWR地址。 容器调用接口：选择HTTPS。 host：设置为8443。 部署类型：选择在线服务。 图11 设置模型参数 填写启动命令，启动命令内容如下： sh /home/ma-user/infer/run
查看数据集资产发布信息 在数据集列表中，单击某个数据集名称进入数据集详情页。选中右上角“发布 > 资产发布列表”，可以查看资产发布记录。 发布成功后，会生成资产链接，用户可以单击链接跳转到资产的详情页面。 删除发布的数据集 当您需要删除发布在AI Gallery中的数据集时，可以执行如下步骤进行删除。
传至OBS桶。 上传OBS的文件规范： 文件名规范：不能有+、空格、制表符。 如不需要提前上传训练数据，请创建一个空文件夹用于存放工程后期生成的文件。如：“/bucketName/data-cat”。 如需要提前上传待标注的图片，请创建一个空文件夹，然后将图片文件保存在该文件夹下
您可以单击训练作业名称，进入详情页面，了解训练作业的“配置信息”、“日志”、“资源占用情况”和“评估结果”等信息。您也可以在配置的“训练输出位置”对应的OBS目录下获得训练生成的模型。 步骤4：创建AI应用 在训练作业详情页的右上角单击“创建AI应用”，进入创建AI应用页面。 也可以在ModelArts管理控制台，选择“资产管理
在本文档中，采用通过OBS管理控制台将数据上传至OBS桶。 OBS上传文件的规范： 如不需要提前上传训练数据，请创建一个空文件夹用于存放工程后期生成的文件。 如需要提前上传待标注的文件，请创建一个空文件夹，然后将文本文件保存在该文件夹下，文本文件的目录结构如：“/bucketName/data/text
“特征分析”是指基于图片或目标框对图片的各项特征，如模糊度、亮度进行分析，并绘制可视化曲线，帮助处理数据集。 “数据处理”是指从大量的、杂乱无章的、难以理解的数据中抽取或者生成对某些特定的人们来说是有价值、有意义的数据。“数据处理”又分为“数据校验”、“数据清洗”、“数据选择”和“数据增强”四类。 “数据校验”表示对数据集进行校验，保证数据合法。
create_time Long 训练作业创建时间戳，单位为毫秒，创建成功后由ModelArts生成返回，无需填写。 user_name String 训练作业创建用户的用户名，创建成功后由ModelArts生成返回，无需填写。 annotations Map<String,String> 训
间不会造成额外费用增加。更多信息，请参见导入AI应用对镜像大小的约束限制。 自动学习项目中，在完成模型部署后，其生成的模型也将自动上传至AI应用列表中。但是自动学习生成的AI应用无法下载，只能用于部署上线。 Standard推理服务部署 只支持使用专属资源池部署的在线服务使用Cl
搜索指标的名称。需要与您在代码中打印的搜索指标参数保持一致。 优化方向 可选“最大化”或者“最小化”。 指标正则 填入正则表达式。您可以单击智能生成功能自动获取正则表达式。 设置自动化搜索参数 从已设置的“超参”中选择可用于搜索优化的超参。优化的超参仅支持float类型，选中自动化搜索参数后，需设置取值范围。
%s", self.model_outputs) def _preprocess(self, data): # https两种请求形式 # 1. form-data文件格式的请求对应：data = {"请求key值":{"文件名":<文件io>}}
配套CANN8.0.RC1镜像 无 算子，包名：AscendCloud-OPP Scatter、Gather算子性能提升，满足MoE场景 昇腾随机数生成算子与GPU保持一致 支持GroupNorm+transpose+BMM融合算子 FFN推理算子支持geglu激活函数 支持配套pybind推理的10+算子（matmul
true 用于指定是否覆盖缓存。如果设置为"overwrite_cache"，则在训练过程中覆盖缓存。这通常在数据集发生变化，或者需要重新生成缓存时使用 preprocessing_num_workers 16 用于指定预处理数据的工作线程数。随着线程数的增加，预处理的速度也会提高，但也会增加内存的使用。
<NNODES=1> <NODE_RANK=0> sh scripts/llama2/0_pl_sft_13b.sh localhost 1 0 训练完成后，生成的权重文件保存路径为：/home/ma-user/ws/llm_train/saved_dir_for_output/llama2-13b/saved_models/。
--tokenizer-name-or-path：tokenizer的存放路径，与HF权重存放在一个文件夹下。 --handler-name：生成数据集的用途，这里是生成的指令数据集，用于微调。 GeneralPretrainHandler：默认。用于预训练时的数据预处理过程中，将数据集根据key值进行简单的过滤。
--tokenizer-name-or-path：tokenizer的存放路径，与HF权重存放在一个文件夹下。 --handler-name：生成数据集的用途，这里是生成的指令数据集，用于微调。 GeneralPretrainHandler：默认。用于预训练时的数据预处理过程中，将数据集根据key值进行简单的过滤。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
