检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
23版本。 移除节点、删除节点、重置节点和缩容节点会导致与节点关联的本地持久存储卷类型的PVC/PV数据丢失,无法恢复,且PVC/PV无法再正常使用。移除节点、删除节点、重置节点和缩容节点时使用了本地持久存储卷的Pod会从待删除、重置的节点上驱逐,并重新创建Pod,Pod会一直处于
per_device_train_batch_size 1 指定每个设备的训练批次大小 gradient_accumulation_steps 8 可修改。指定梯度累积的步数,这可以增加批次大小而不增加内存消耗。可根据自己要求适配。取值可参考表1中梯度累积值列。 num_train_epochs
配。 per_device_train_batch_size 1 指定每个设备的训练批次大小 gradient_accumulation_steps 8 指定梯度累积的步数,这可以增加批次大小而不增加内存消耗。可根据自己要求适配 num_train_epochs 5 表示训练轮次
RUN_TYPE pretrain、sft、lora 数据预处理区分: 预训练场景下数据预处理,默认参数:pretrain 微调场景下数据预处理,默认:sft / lora ORIGINAL_TRAIN_DATA_PATH /home/ma-user/ws/training_data/${用户自定义的数据集路径和名称}
RUN_TYPE pretrain、sft、lora 数据预处理区分: 预训练场景下数据预处理,默认参数:pretrain 微调场景下数据预处理,默认:sft / lora ORIGINAL_TRAIN_DATA_PATH /home/ma-user/ws/training_data/${用户自定义的数据集路径和名称}
RUN_TYPE pretrain、sft、lora 数据预处理区分: 预训练场景下数据预处理,默认参数:pretrain 微调场景下数据预处理,默认:sft / lora ORIGINAL_TRAIN_DATA_PATH /home/ma-user/ws/llm_train/AscendS
数据预处理区分: 预训练场景下数据预处理,默认参数:pretrain 微调场景下数据预处理,默认:sft / lora ORIGINAL_TRAIN_DATA_PATH /home/ma-user/work/training_data/finetune/moss_LossCompare.jsonl
数据预处理区分: 预训练场景下数据预处理,默认参数:pretrain 微调场景下数据预处理,默认:sft / lora ORIGINAL_TRAIN_DATA_PATH /home/ma-user/work/training_data/finetune/moss_LossCompare.jsonl
日志配置”。 在“配额设置”页签下可以查看您当前使用日志大小、存储时长。 如果在AOM中已创建日志接入LTS规则,则实际的日志存储时长以LTS中“日志管理”界面设置的“日志存储时间(天)”为准,“配置设置”界面的“日志存储时长”不生效。 图1 查看日志配额 超额继续采集日志:开启后
重新加域失败如何处理? 导致重新加域失败的原因较多,此处以重新加域失败提示错误码为“1332”为例,描述如何处理。 重新加域失败提示错误码为“1332”,可能是计算机在AD服务器中被删除了导致,对应可参考如下步骤处理。如果依然提示加域失败,请提交工单,获取技术支持。 使用administrator帐号登录AD服务器。
StorageClassType 可选 参数解释: 复制时设置对象的存储类别。 约束限制: 无 取值范围: 可选择的存储类型参见StorageClassType。 默认取值: 无,如果未设置此头域,则对象的存储类型默认为桶的存储类型。 Metadata object 可选 参数解释: 目
图片处理 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 OBS为用户提供了稳定、安全、高效、易用、低成本的图片处理服务。当要下载的对象是图片文件时,您可以通过传入图片处理参数对
生成创建桶的URL 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 static void test_create_bucket_auth() { // 创建并初始化option obs_options option;
日志会存储到冷存储中,到第12天时,第2天的日志会存储到冷存储中,以此类推。 图1 冷存储 问题:冷存储的日志是否能重新变成标准存储日志? 答:不能,冷存储的日志不支持重新转为标准存储。 问题:标准存储的日志转换成冷存储的生效周期有多久? 答:1个小时内。 问题:日志存储一段时间
选择集群使用场景。 当前仅支持存储迁移场景。 节点创建 Master节点ECS规格 用于管理迁移节点和列举节点,默认创建,无需配置。 规格与迁移节点规格一致 迁移节点ECS规格 迁移节点用于执行迁移和对比的动作,推荐规格为C系列规格,大小是8U16G。 规格选定后,后续无法更改。 设置的节点数量需要同时满足如下要求:
在左侧导航树上依次选择“作业管理 > 多方安全计算”,打开多方安全计算页面。 在多方安全计算页面查找待删除的作业,单击“删除”。 删除操作无法撤销,请谨慎操作。 图1 删除作业 父主题: 多方安全计算作业
选择“关闭”,则不记录迁移失败的对象。如果迁移失败,只能全量重传。 选择“开启”,记录迁移失败的对象。如果迁移失败,支持只对迁移失败对象进行重传。 说明: 单个迁移任务或迁移任务组任务,都会将迁移失败的对象记录在一个以任务名称命名的失败对象列表文件中,并将该文件上传到目的端桶的“oms/failed_object_lists/”路径下。
布尔类型:返回为“false”表示未通过校验,即校验失败,若需要配置错误提示信息,则直接设置界面上“校验错误信息”参数。返回值为“true”,表示通过校验。 对象类型:返回为“{result:false, message:'对应错误提示信息'}”,表示未通过校验,message值为错误提示信息。返回为“{res
进入只读模式阈值 当集群存储达到某一阈值后,如果继续向存储写入数据,存储会写满,可能会导致性能以及其他功能问题。因此需要给集群设置阈值,当达到设置的阈值后,集群进入只读模式,并发出告警提示用户及时处理集群状态。阀值默认值是85%,取值范围70到90之间。 说明: Core节点存储规格为“普通IO”时,不支持只读模式。
https://huggingface.co/datasets/mit-han-lab/pile-val-backup/resolve/main/val.jsonl.zst。 --scale-output:量化系数保存路径。 --scale-input:量化系数输入路径,如果之前