检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
format_exc()) # 关闭workflowClient workflowClient.close() 相关链接 关于查询工作流列表的API说明,请参见查询工作流列表。 查询工作流列表过程中返回的错误码含义、问题原因及处理措施可参考OBS错误码。 父主题: 工作流管理
大数据场景下使用OBS实现存算分离 大数据场景下使用OBS实现存算分离方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
查询工作流实例列表 功能介绍 本接口用于查询用户工作流的实例列表。 请求消息样式 GET /v2/workflowexecutions?x-workflow-next-marker={marker}&x-workflow-limit={limit}&x-workflow-grap
Metadata:元数据,即对象的描述信息,包括系统元数据和用户元数据,这些元数据以键值对(Key-Value)的形式被上传到OBS中。 系统元数据由OBS自动产生,在处理对象数据时使用,包括Date,Content-length,Last-modify,ETag等。 用户元数据由用户在上
format_exc()) # 关闭workflowClient workflowClient.close() 相关链接 关于查询工作流实例列表的API说明,请参见查询工作流实例列表。 查询工作流实例列表过程中返回的错误码含义、问题原因及处理措施可参考OBS错误码。 父主题: 工作流实例管理
getObjectMetadata接口获取目标对象大小和最后修改时间,再与数据源进行比较: 如果两者大小一致且目标对象的最后修改时间晚于数据源的最后修改时间则表明上传成功,否则上传失败。 ObsClient.getObjectMetadata接口的使用可参见18.4-获取对象元数据。 父主题: 常见问题(Java SDK)
查询华为云算子模板列表 功能介绍 本接口用于查询已有预置Action模板列表。 请求消息样式 GET /v2/actiontemplates/{template_name_prefix}?x-workflow-category={category}&x-workflow-prefix
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
dinator(接受client的查询和管理查询执行)。 node-scheduler.include-coordinator:coordinator是否也作为work。对于大型集群来说,在coordinator里做worker的工作会影响查询性能。 http-server.http
查询账单时,为什么会有大量的公网流出流量? 根据账单的使用量类型来区分,OBS的公网流出流量主要包含标准存储公网流出流量、低频访问存储公网流出流量、归档存储公网流出流量、深度归档存储公网流出流量。 这几种公网流出流量产生的流量费用来源如下: 标准存储公网流出流量:通过互联网下载标
OBS中的数据可以让其他用户访问吗? 可以。 对于桶,可以通过桶ACL和桶策略授予其他用户桶的读取权限,其他用户即可访问该桶。 对于对象,可以通过对象ACL,对象策略和桶策略来授予其他用户对象的读取权限,或者设置对象分享功能,其他用户即可访问该对象。 父主题: 产品咨询
后台工程师能否导出我存储在OBS中的数据? 后台工程师无法导出用户数据。 访问桶或对象时,如果桶或对象未公开,只有桶或对象的拥有者才能够访问,访问时需要提供访问密钥(AK/SK)。 父主题: 数据安全、迁移和备份
自定义函数开发规范 Data+已下线,如果需要使用数据处理服务,可使用数据工坊 DWR。 详情请参见数据工坊 DWR。 用户在自行开发自定义函数时,函数的输入参数和输出参数需要遵守本节的开发规范。 自定义函数的编译方式请参考FunctionGraph的《开发指南》。 函数输入参数
用、函数异常 动态参数 metadata_sync 视频解析处理模式。 排队处理:查询后仅返回任务ID,还需进一步调用查询视频解析任务接口才能获取到视频元数据。 同步处理:查询后将直接返回视频元数据。 metadata_outbucket 视频解析输出桶,用于保存解析后的视频。
为什么会有碎片产生? 桶中不完整的数据称之为碎片,通常是由于数据上传失败而产生的。 桶中不完整的数据称之为碎片。OBS采用分段上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生碎片。 网络条件较差,与OBS的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。
碎片管理 背景信息 对象存储服务采用分块上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生垃圾数据,因此需要清理这些碎片数据来释放空间。 网络条件较差,与OBS 对象存储的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。
文件产生的回源流量费用。 公网流出流量包用于抵扣通过互联网从OBS下载数据到本地所产生的公网流出流量费用。 不同场景产生的流量类型如下: 用户在控制台执行对象下载和其他查询类操作(列举对象、获取桶或对象的元数据等),或者在公网使用工具、SDK不经过CDN直接下载对象都会产生公网流出流量。
目录分享 如果您想将一个文件夹分享给其他人,同时希望能够指定有效期,OBS Browser+提供文件夹分享和授权码登录的功能,轻松为你完成数据分享。 首先,您登录OBS Browser+后,选择您要分享的目录右键或者单击操作栏的分享按钮。 然后,选择分享链接的有效期,并输入提取码
ge下载整个多段上传对象的某部分数据。 合并完成的多段上传数据可以通过已有的删除对象接口,删除整个多段上传对象的所有分段数据,删除后不可恢复。 合并完成的多段上传数据不记录整个对象的MD5作为Etag,在下载多段数据或List桶内对象看到的多段数据其Etag的生成方式为:MD5(
当前小时对上小时产生的费用进行结算,输出账单 资源包 > 按需计费 低频访问存储数据容量 按需计费 归档存储数据容量 资源包 > 按需计费 深度归档存储数据容量 按需计费 请求费用 所有类型的请求次数 小时 当前小时对上小时产生的费用进行结算,输出账单 按需计费 流量费用 内/公网流入流量