检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Schema信息表示表格的列名和对应类型,需要跟导入数据的列数保持一致。 若您的原始表格中已包含表头,需要开启“导入是否包含表头”开关,系统会导入文件的第一行(表头)作为列名,无需再手动修改Schema信息。 若您的原始表格中没有表头,需要关闭“导入是否包含表头”开关,从OBS
和类型)需与数据集一致,支持自动获取所选择表的schema。DLI的详细功能说明,请参考DLI用户指南。 图1 DLI导入数据 队列名称:系统自动将当前账号下的DLI队列展现在列表中,用户可以在下拉框中选择需要的队列。 数据库名称:根据选择的队列展现所有的数据库,请在下拉框中选择您所需的数据库。
的名字、路径、后缀名都不满足训练算法的要求;图片也可能有部分损坏,造成无法解码、无法被算法处理的情况。因此,数据校验非常重要,可以帮助人工智能开发者提前发现数据问题,有效防止数据噪声造成的算法精度下降或者训练失败问题。 数据清洗:数据清洗是指对数据进行去噪、纠错或补全的过程。 数
服务流量限制 服务流量限制是指每秒内一个服务能够被访问的次数上限。 运行日志输出 默认关闭,在线服务的运行日志仅存放在ModelArts日志系统。 启用运行日志输出后,在线服务的运行日志会输出存放到云日志服务LTS。LTS自动创建日志组和日志流,默认缓存7天内的运行日志。如需了解L
LOps打通了算法开发到交付运维的全流程。和以往的开发交付不同,以往的开发与交付过程是分离的,算法工程师开发完的模型,一般都需要交付给下游系统工程师。MLOps和以往的开发交付不同,在这个过程中,算法工程师参与度还是非常高的。企业内部一般都是有一个交付配合的机制。从项目管理角度上
接经VPC对等连接发送到实例处理,访问速度更快。 由于请求不经过推理平台,所以会丢失以下功能: 认证鉴权 流量按配置分发 负载均衡 告警、监控和统计 图1 VPC直连的高速访问通道示意图 约束限制 调用API访问在线服务时,对预测请求体大小和预测时间有限制: 请求体的大小不超过12MB,超过后请求会被拦截。
接经VPC对等连接发送到实例处理,访问速度更快。 由于请求不经过推理平台,所以会丢失以下功能: 认证鉴权 流量按配置分发 负载均衡 告警、监控和统计 图1 VPC直连的高速访问通道示意图 约束限制 调用API访问在线服务时,对预测请求体大小和预测时间有限制: 请求体的大小不超过12MB,超过后请求会被拦截。
查看ModelArts相关审计日志 在您开启了云审计服务后,系统会记录ModelArts的相关操作,且控制台保存最近7天的操作记录。本节介绍如何在云审计服务管理控制台查看最近7天的操作记录。 操作步骤 登录云审计服务管理控制台。 在管理控制台左上角单击图标,选择区域。 在左侧导航
勾选“无条件自动重启”后,只要系统检测到训练异常,就无条件重启训练作业。为了避免无效重启浪费算力资源,系统最多只支持连续无条件重启3次。 系统支持自动监控作业进程的状态和资源利用率来判定作业是否卡死,开启“作业卡死重启”开关后,支持将标记为卡死的作业进行进程级自动重启,以提高资源使用率。因系统无法核实
obs:bucket:ListAllMyBuckets 创建批量服务。 按需配置。 边缘服务 CES ces:metricData:list 查看服务的监控指标。 按需配置。 IEF IEF Administrator 管理边缘服务。 按需配置。 创建自定义策略时,建议将项目级云服务和全局级云
batch为批量服务,批量服务可对批量数据进行推理,完成数据处理后自动停止。 edge表示边缘服务,通过华为云智能边缘平台,在边缘节点将模型部署为一个Web Service,需提前在IEF(智能边缘服务)创建好节点。 是 str service_name 服务名称,支持1-64位可见字符(含
委托查询失败 系统错误,请联系技术支持。 400 ModelArts.0421 Failed to create agency. 委托创建失败 系统错误,请联系技术支持。 400 ModelArts.0422 Failed to query users. 查询用户列表失败 系统错误,请联系技术支持。
下发维度,NPU上分布式训练使用syncBN性能较差。 schedule - affinity api 下发维度,自动识别可替换的亲和API(融合算子API如rms_norm,亲和优化器如NpuFusedAdamw)。 communication - small packet 通信维
每个样本由多少人标注,最少为1。 synchronize_auto_labeling_data 否 Boolean 是否同步更新智能标注数据。可选值如下: true:同步更新智能标注数据 false:不同步更新智能标注数据 synchronize_data 否 Boolean 是否同步更新:如上传文件、同步数据
搜索指标的名称。需要与您在代码中打印的搜索指标参数保持一致。 优化方向 可选“最大化”或者“最小化”。 指标正则 填入正则表达式。您可以单击智能生成功能自动获取正则表达式。 设置自动化搜索参数 从已设置的“超参”中选择可用于搜索优化的超参。优化的超参仅支持float类型,选中自动化搜索参数后,需设置取值范围。
is_synchronize_auto_labeling_data Boolean 是否同步更新智能标注数据。可选值如下: true:同步更新智能标注数据 false:不同步更新智能标注数据 is_synchronize_data Boolean 是否同步更新数据:如上传文件、同
is_synchronize_auto_labeling_data Boolean 是否同步更新智能标注数据。可选值如下: true:同步更新智能标注数据 false:不同步更新智能标注数据 is_synchronize_data Boolean 是否同步更新数据:如上传文件、同
创建桶不收取费用,按实际使用的存储容量和时长收费 消息通知(不开启则不计费) 消息通知服务 订阅消息使用消息通知服务,在事件列表中选择需要监控的节点/Workflow状态,在事件发生时发送消息通知。 如果想使用消息通知,需要提前在自动学习、Workflow中开启消息通知功能。 具体计费可见消息通知服务价格详情。
参数说明: -v ${work_dir}:${container_work_dir}:代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统。work_dir为宿主机中工作目录,目录下可存放项目所需代码、数据等文件。container_work_dir为要挂载到的容器中的目录。为方便两个地址可以相同。
ignore 系统已自动过跳过这张图片,不需要用户处理。 2 tf-decode failed 图片无法被TensorFlow解码且不能修复 ignore 系统已跳过这张图片,不需要用户处理。 3 size over 图片大于5MB resize to small 系统已将图片压缩到5MB以内处理,不需要用户处理。