检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在需要查看的事件左侧，单击展开该事件的详细信息。 单击需要查看的事件“操作”列的“查看事件”，可以在弹窗中查看该操作事件结构的详细信息。 更多关于云审计服务事件结构的信息，请参见《云审计服务用户指南》。 父主题： 使用CTS审计ModelArts服务
of bounds nanosecond timestamp: 1-01-02 13:20:00 原因分析 出现该问题的可能原因如下： 时间值越界，请参考官方文档。 处理方法 校验时间数据，pandas以纳秒表示时间戳。 最小时间：1677-09-22 00:12:43.145225
准备数据 本教程使用到的训练数据集是Alpaca数据集。您也可以自行准备数据集。 Alpaca数据集 本教程使用Alpaca数据集，数据集的介绍及下载链接如下。 Alpaca数据集是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令数据
return code: 137 原因分析 日志显示训练进程的退出码为137。训练进程表示用户的代码启动后的进程，所以这里的退出码是用户的训练作业代码返回的。常见的错误码还包括247、139等。 退出码137或者247 可能是内存溢出造成的。请减少数据量、减少batch_size，优化代码，合理聚合、复制数据。
解决方法： 通过打印所有Pod的信息，并找到命名有scheduler字段的Pod。 kubectl get pod -A -o wide 重启该Pod，通过delete的方式删除，但随后会自动重新启动。 kubectl delete pod -n kube-system ${pod_scheduler_name}
dtypes for data must be int, float or bool 原因分析 出现该问题的可能原因如下： 训练数据中出现了非int、float、bool类型数据。 处理方法 可参考如下代码，将错误列进行转换： from sklearn import preprocessing
service_predict.py # 发送请求的服务。支持vllm的openai，atb的tgi模板 ├── ... ├──benchmark_tools #性能评测 ├── benchmark.py # 可以基于默认的参数跑完静态benchmark和动态benchmark
图2 volcano资源争抢 解决方法： 通过打印所有Pod的信息，并找到命名有scheduler字段的Pod。 kubectl get pod -A -o wide 重启该Pod，通过delete的方式删除，但随后会自动重新启动。 kubectl delete pod -n kube-system
--loader：权重转换要加载检查点的模型名称。 --tensor-model-parallel-size：张量并行数，需要与训练脚本中的配置一样。 --pipeline-model-parallel-size：流水线并行数，需要与训练脚本中的配置一样。 --saver：检查模型保存名称。
在Notebook实例中，使用pip install时，提示“ReadTimeoutError...”或者“Read timed out...”的错误。 解决办法 建议先尝试使用pip install --upgrade pip，再使用pip install。 父主题： Notebook实例常见错误
获取“repo_id”和待上传的文件名。 获取“repo_id” 在AI Gallery页面的资产详情页，单击复制完整的资产名称，如图1所示，获取到的信息即为“repo_id”。例如，复制出的信息为“ur5468675/test_cli_model1”，则该资产的“repo_id”为“u
根据报错信息判断，在创建训练作业时，同一个“训练输出路径”在被其他作业使用。 处理方法 一个“训练输出路径”只能被一个处于“运行中”、“排队中”或“初始化”状态的作业使用。 当出现此报错时，建议检查并重新填写训练作业的“训练输出路径”，以避免创建作业失败。 父主题： 云上迁移适配故障
infer_type 否 String 推理方式，取值为：real-time/batch/edge，默认不过滤推理方式。 offset 否 Integer 分页列表的起始页，默认为：“0”。 limit 否 Integer 指定每一页返回的最大条目数，默认为：“1000”。 service_status
导入AI应用账号欠费导致被冻结； 导入AI应用账号没有对应工作空间的权限； 导入AI应用账号为子账号，主账号没有给子账号赋予AI应用相关权限。 权限说明请参见：策略及授权项说明； 处理方法 确认是账号欠费冻结，补交对应欠费，等待账号解冻即可； 如果是导入AI应用没有对应的工作权限，可以参考创建自定义策略对相应账号赋予导入AI应用相关权限。
Server在日常操作与维护过程中涉及的高危操作，需要严格按照操作指导进行，否则可能会影响业务的正常运行。 高危操作风险等级说明： 高：对于可能直接导致业务失败、数据丢失、系统不能维护、系统资源耗尽的高危操作。 中：对于可能导致安全风险及可靠性降低的高危操作。 低：高、中风险等级外的其他高危操作。 表1
该报错信息表示验证集中有label在训练集中不存在，可能由于在发布数据集版本进行数据切分时，训练集比例填写为0导致发布的数据全部为验证集，所以出现上述报错。 处理方法 重新发布数据，切分比例为0.8 或者0.9重新创建训练作业进行训练。 父主题： 训练作业运行失败
图1 运行代码报错 原因分析 根据报错提示，需要排查是否将大量数据被保存在“/tmp”中。 处理方法 进入到“Terminal”界面。在“/tmp”目录下，执行命令du -sh *，查看该目录下的空间占用情况。 sh-4.3$cd /tmp sh-4.3$du -sh * 4.0K
查看训练作业事件 训练作业的（从用户可看见训练任务开始）整个生命周期中，每一个关键事件点在系统后台均有记录，用户可随时在对应训练作业的详情页面进行查看。 方便用户更清楚的了解训练作业运行过程，遇到任务异常时，更加准确的排查定位问题。当前支持的作业事件如下所示： 训练作业创建成功 训练作业创建失败报错：
VIDIA驱动后，需要重新加载新版本的内核模块才能使变更生效。 此外，若使用了多个NVIDIA显卡，每个显卡都需要加载相应的内核模块才能正常工作。在这种情况下，也需要手动执行“nvidia-modprobe”命令来加载所有必要的内核模块。 处理方法 方案1：操作系统内核重新加载nvidia_uvm。
（1）已卸载原有版本NVIDIA驱动和CUDA版本，且已安装新版本的NVIDIA驱动和CUDA版本 （2）执行nvidia-smi失败，提示Failed to initialize NVML: Driver/library version mismatch 处理方法 执行命令：lsmod | grep
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
