检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ModelLink预训练数据集预处理参数说明 预训练数据集预处理脚本scripts/llama2/1_preprocess_data.sh 中的具体参数如下： --input：原始数据集的存放路径。 --output-prefix：处理后的数据集保存路径+数据集名称（例如：moss-003-sft-data）。
训练的数据集预处理说明 以llama2-13b举例，使用训练作业运行：obs_pipeline.sh 训练脚本后，脚本自动执行数据集预处理，并检查是否已经完成数据集预处理。 如果已完成数据集预处理，则直接执行训练任务。如果未进行数据集预处理，则会自动执行scripts/llama2/1_preprocess_data
String APP名称。 app_remark String APP描述，默认为空。不超过200个字符。 app_secret String APP密钥。 app_type String APP类型。枚举值如下： APIC：该APP注册在roma connect网关上 APIG：该APP注册在共享API网关上
String APP名称。 app_remark String APP描述，默认为空。不超过200个字符。 app_secret String APP密钥。 app_type String APP类型。枚举值如下： APIC：该APP注册在roma connect网关上 APIG：该APP注册在共享API网关上
钟时，会发生超时的错误。 图1 报错提示 解决方法 1. 需要保证磁盘IO带宽正常，可以在36分钟内将文件保存到磁盘。单个节点内，最大只有60G（实际应该在40G以下）的文件内容，只要在36分钟内保存完成，就不会报超时错误。 2. 忽略该报错，因为报错不影响实际报错的权重。 父主题：
mark，支持训练、性能对比、下游任务评测、loss和下游任务对比能力。对比结果以excel文件呈现。方便用户验证发布模型的质量。所有配置都通过yaml文件设置，用户查看默认yaml文件即可知道最优性能的配置。 目前仅支持SFT指令监督微调训练阶段。 代码目录 benchmark
objects 表格数据对应的schema映射信息。 source_info SourceInfo object 导入表格数据源所需的信息。 with_column_header Boolean 文件中首行是否是列名，用于表格数据集。可选值如下： true：文件首行为列名 false：文件首行不为列名
mark，支持训练、性能对比、下游任务评测、loss和下游任务对比能力。对比结果以excel文件呈现。方便用户验证发布模型的质量。所有配置都通过yaml文件设置，用户查看默认yaml文件即可知道最优性能的配置。 目前仅支持SFT指令监督微调训练阶段。 代码目录 benchmark
Session() # 查询数据集列表 dataset_list = Dataset.list_datasets(session) print(dataset_list) # 打印出查询结果 示例二：根据数据集类型查询数据集列表 # 查询图像分类数据集 dataset_list =
”。 图1 获取API接口地址 APIG.0201 请求体内容过大 请求体内容过大时，APIG（API网关）会拦截请求，报错“APIG.0201”:“Request entity too large”。请减少预测请求内容后重试。 当使用API调用地址预测时，请求体的大小限制是12MB，超过12MB时，请求会被拦截。
报错日志 从上图报错日志判断，预测失败是模型推理代码编写有问题。 解决方法 根据日志报错提示，append方法中缺少必填参数，修改模型推理代码文件“customize_service.py”中的代码，给append方法中传入合理的参数。 如需了解更多模型推理代码编写说明，请参考模型推理代码编写说明。
创建数据集时，此OBS路径下的数据会导入数据集，后续如果直接在OBS中修改数据，会造成数据集的数据与OBS的数据不一致，可能导致部分数据不可用。如果需要在数据集中修改数据，建议使用同步数据源或4章节从OBS目录导入数据到数据集功能。 超出数据集的样本和标签配额，会导致数据无法正常导入。
1：置信度偏低。 2：基于训练数据集的聚类结果和预测结果不一致。 3：预测结果和训练集同类别数据差异较大。 4：连续多张相似图片的预测结果不一致。 5：图像的分辨率与训练数据集的特征分布存在较大偏移。 6：图像的高宽比与训练数据集的特征分布存在较大偏移。 7：图像的亮度与训练数据集的特征分布存在较大偏移。
传统LLM推理主要依赖于自回归式（auto-regressive）的解码（decoding）方式，每步解码只能够产生一个输出token，并且需要将历史输出内容拼接后重新作为LLM的输入，才能进行下一步的解码。为了解决上述问题，提出了一种投机式推理方式，其核心思想是通过计算代价远低于LLM的小模型
objects 表格数据对应的schema映射信息。 source_info SourceInfo object 导入表格数据源所需的信息。 with_column_header Boolean 文件中首行是否是列名，用于表格数据集。可选值如下： true：文件首行为列名 false：文件首行不为列名
Administrator权限，否则将无法成功部署边缘服务。具体可参见IEF的权限说明。 处理方法1 在ModelArts管理控制台，选择“权限管理”。 在用户名对应的“授权内容”列，单击“查看权限”，确认用户的委托权限是否已包含Tenant Administrator。 图1 查看委托权限详情 是，重新“启动”边
${work_dir}:${container_work_dir} 代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统。work_dir为宿主机中工作目录，目录下存放着训练所需代码、数据等文件。container_work_dir为要挂载到的容器中的目录。为方便两个地址可以相同。 容器不能挂
准备AscendFactory训练代码、分词器Tokenizer和推理代码。 准备数据 准备训练数据，可以用本案使用的数据集，也可以使用自己准备的数据集。 准备镜像 准备训练模型适用的容器镜像。 训练 预训练/微调 介绍如何进行预训练，包括训练数据处理、超参配置、创建训练任务及性能查看。 父主题： 主流开源大模型基于Lite
准备AscendSpeed训练代码、分词器Tokenizer和推理代码。 准备数据 准备训练数据，可以用本案使用的数据集，也可以使用自己准备的数据集。 准备镜像 准备训练模型适用的容器镜像。 预训练 预训练 介绍如何进行预训练，包括训练数据处理、超参配置、训练任务、性能查看。 微调训练 SFT全参微调
准备AscendSpeed训练代码、分词器Tokenizer和推理代码。 准备数据 准备训练数据，可以用本案使用的数据集，也可以使用自己准备的数据集。 准备镜像 准备训练模型适用的容器镜像。 预训练 预训练 介绍如何进行预训练，包括训练数据处理、超参配置、训练任务、性能查看。 微调训练 SFT全参微调
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
