检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
be int, float or bool” 问题现象 训练过程中出现如下报错: DataFrame.dtypes for data must be int, float or bool 原因分析 出现该问题的可能原因如下: 训练数据中出现了非int、float、bool类型数据。
显示为空。 input_params params结构数组 模型的输入参数集,默认为空 output_params params结构数组 模型的输出参数集,默认为空 dependencies dependency结构数组 运行代码及模型需安装的包。 model_metrics String
cpu_core_usage Float 已使用CPU核数。 cpu_core_total Float 总CPU核数。 cpu_memory_usage Integer 已使用内存,单位MB。 cpu_memory_total Integer 总内存,单位MB。 gpu_usage Float 已使用GPU个数。
0105 问题现象 在线服务预测报错DL.0105,报错日志:“TypeError:‘float’object is not subscriptable”。 原因分析 根据报错日志分析,是因为一个float数据被当做对象下标访问了。 处理方法 将模型推理代码中的x[0][i]修改为x[i],重新部署服务进行预测。
input_params 否 params结构数组 模型推理输入参数列表,默认为空。如果已在模型配置文件中配置apis信息时,则可不填,后台自动从配置文件的apis字段中读取输入参数信息。 output_params 否 params结构数组 模型推理输出参数列表,默认为空。如果已在
input_params 否 params结构数组 模型推理输入参数列表,默认为空。如果已在模型配置文件中配置apis信息时,则可不填,后台自动从配置文件的apis字段中读取输入参数信息。 output_params 否 params结构数组 模型推理输出参数列表,默认为空。如果已在
对于优化的超参数类型,TPE算法本身是没有限制的,但出于面对普通用户节省资源的目的,ModelArts在前端限制了TPE的超参数必须是float,如果想离散型和连续型参数混用的话,可以调用rest接口。 父主题: 功能咨询
n,否则会导致训练时找不到OBS桶。具体操作可参见查看OBS桶与ModelArts是否在同一区域。 创建OBS桶时,桶的存储类别请勿选择“归档存储”,归档存储的OBS桶会导致模型训练失败。 OBS桶路径和文件夹命名要求如下: {OBS桶}:OBS对象桶,用户可以自定义名称,例如:test-modelarts-xx
04-x86_64和tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64,并且优化的超参类型为float类型,ModelArts支持用户使用超参搜索功能。 在0代码修改的基础下,实现算法模型的超参搜索。需要完成以下步骤: 准备工作 创建算法
服务实例只能调度到指定节点,指定节点不存在则失败。preferred表示弱亲和,服务实例倾向于调度到指定节点,指定节点不满足调度条件,则会调度到其他节点。 pool_infos 否 Array of AffinityPoolInfo objects 配置亲和策略到指定的集群,并指定集群的节点。
Point)和FP16(Float16)都是使用的半精度浮点数格式,但它们在结构和适用性上有一些重要的区别。 BF16:具有8个指数位和7个小数位。在处理大模型时有优势,能够避免在训练过程中数值的上溢或下溢,从而提供更好的稳定性和可靠性,在大模型训练和推理以及权重存储方面更受欢迎。 F
Point)和FP16(Float16)都是使用的半精度浮点数格式,但它们在结构和适用性上有一些重要的区别。 BF16:具有8个指数位和7个小数位。在处理大模型时有优势,能够避免在训练过程中数值的上溢或下溢,从而提供更好的稳定性和可靠性,在大模型训练和推理以及权重存储方面更受欢迎。 F
参数") float类型参数 from modelarts import workflow as wf wf.Placeholder(name="placeholder_float", placeholder_type=wf.PlaceholderType.FLOAT, default=0
参数 参数类型 描述 service_id String 服务ID。 service_name String 服务名称。 logs log结构数组 服务的更新记录。 表2 log结构 参数 参数类型 描述 update_time Long 更新时间,距'1970.1.1 0:0:0 UTC'的毫秒数。
dependency结构数组说明 参数 是否必选 参数类型 描述 installer 是 String 安装方式,当前只支持“pip”。 packages 是 package结构数组 依赖包集合,package结构数组说明如表7所示。 表7 package结构数组说明 参数 是否必选
服务实例只能调度到指定节点,指定节点不存在则失败。preferred表示弱亲和,服务实例倾向于调度到指定节点,指定节点不满足调度条件,则会调度到其他节点。 pool_infos 否 Array of AffinityPoolInfo objects 配置亲和策略到指定的集群,并指定集群的节点。
发布Workflow到ModelArts 发布Workflow到ModelArts有两种方式,这两种方式的区别在发布Workflow至运行态后,需要在Workflow页面配置输入输出等参数;而发布Workflow至运行态并运行通过对代码进行改造,用户直接在SDK侧发布并运行工作流,节省了前往控制台进行配置运行的操作。
gpu_memory_total Float gpu总显存,单位MB。 gpu_memory_usage Float 已使用gpu显存,单位MB。 npu_total Float 总NPU个数。 npu_usage Float 已使用NPU个数。 npu_memory_total Float npu总显存,单位MB。
数据存储 如何对OBS的文件重命名? Notebook停止或者重启后,“/cache”下的文件还存在么?如何避免重启? 如何使用pandas库处理OBS桶中的数据? 在Notebook中,如何访问其他账号的OBS桶? JupyterLab默认工作路径是什么? 父主题: Standard
从Manifest文件导入数据到数据集 前提条件 已存在创建完成的数据集。 准备需要导入的数据,具体可参见从Manifest文件导入规范说明。 需导入的数据,已存储至OBS中。Manifest文件也需要存储至OBS。 确保数据存储的OBS桶与ModelArts在同一区域,并确保用户具有OBS桶的操作权限。