检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置OBS客户端 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可通过初始化参数对ObsClient进行配置,可以配置的参数见下表: 参数 描述 建议值 access_key_id
访问Hue原生页面时间长,文件浏览器报错Read timed out 问题 访问Hue原生页面时页面加载时间较长,访问Hue的HDFS文件浏览器报错Read timed out,如何解决。 回答 检查HDFS服务中是否安装Httpfs实例。 否,请联系运维人员处理。 是,重启HttpFS实例解决。
大数据场景下使用OBS实现存算分离 大数据场景下使用OBS实现存算分离方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
OBS / HDFS / DLI GS_138110058 错误码: Invalid option %s. 解决方案:此上下文中的有效选项为:%s。 level: ERROR GS_138110072 错误码: Need type option for the server. 解决方案:此处的有效选项为:%s。
上传文件或文件夹 上传文件操作可将本地文件或文件夹存储至OBS,对象的存储类别默认与桶的存储类别一致。 背景信息 OBS Browser+使用分段上传功能上传文件。通过分段上传功能,OBS Browser+支持上传最大为48.8TB的单个文件。 文件或文件夹名称长度不能超过102
复制到目标桶: Windows操作系统 obsutil cp obs://src-bucket obs://dst-bucket -f -r -crr Linux操作系统 ./obsutil cp obs://src-bucket obs://dst-bucket -f -r -crr
删除无用的文件或文件夹可节省空间和成本。 用户上传到OBS的某些文件,可能需要定期删除,对于这类删除文件的场景,可通过OBS的生命周期管理功能实现,也可通过OBS的生命周期管理功能一次性清空桶里面所有文件或文件夹。详情请参见生命周期管理。 操作步骤 登录OBS Browser+。 选中待配置的桶,进入文件列表。
OBSUtil上传 obsutil是一款用于访问管理华为云对象存储服务(Object Storage Service,OBS)的命令行工具,您可以使用该工具对OBS进行常用的配置管理操作,如创建桶、上传文件/文件夹、下载文件/文件夹、删除文件/文件夹等。对于熟悉命令行程序的用户,
在hdfs命令行显式添加要访问的OBS文件系统。 例如: 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 例如,执行以下命令访问“mrs-word001”并行文件系统,返回文件列表即表示访问OBS成功,如图1所示: hadoop
如何获取访问密钥(Python SDK) OBS通过用户账户中的AK和SK进行签名验证,确保通过授权的账户才能访问指定的OBS资源。以下是对AK和SK的解释说明: AK:Access Key ID,接入键标识,用户在对象存储服务系统中的接入键标识,一个接入键标识唯一对应一个用户,
是否支持统计文件夹内的文件数目及大小 OBS Browser+不支持统计文件夹内的文件数目及大小,可以使用obsutil列举对象命令,指定前缀为需要查看的文件夹进行列举。 以Linux操作系统为例,运行./obsutil ls obs://bucket-test/test/ -du
运行模式:选择HDFS连接的运行模式。 步骤3:创建OBS连接 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,连接器类型选择“对象存储服务(OBS)”后,单击“下一步”配置OBS连接参数,如图3所示。 名称:用户自定义连接名称,例如“obslink”。 OBS终端节点、端口:配置为OBS实际的地址信息。
OBS授权给DLI服务 功能介绍 用户主动授权OBS桶的操作权限给DLI服务,用于保存用户作业的checkpoint、作业的运行日志等。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1.0/{project
为什么OBS存储的数据丢失了? 如果您的OBS中存储的数据丢失了,请按照以下原因排查: 请检查桶中是否设置了生命周期过期删除规则,符合规则的对象会被删除。 请检查桶是否授权了其他用户桶的写权限,被授权的用户都可以删除对象。如果您开启了日志记录功能,可以通过日志记录查询到删除对象的用户。
"very good." 上传数据到OBS 上传数据到OBS。 将待导入的数据源文件存储在OBS桶中。 登录OBS管理控制台。 单击“服务列表”,选择“对象存储服务”,打开OBS管理控制台页面。 创建桶。 如何创建OBS桶,具体请参见《对象存储服务控制台指南》中的创建桶章节。 例如
0及以上,如果不是,将无法享受OBS针对CDN回源流量的特殊计费和流量包优惠,将按照公网流出费用进行结算。 CDN和OBS可以共用流量包吗? 不可以,CDN流量包抵扣CDN节点流入、流出的流量,OBS侧的流量由OBS流量包抵扣,各自单独计费。 OBS桶域名能否作为加速域名? 不可以,OBS桶域名是加
NONE:不加密,直接写入数据。 KMS:使用数据加密服务中的KMS进行加密。如果启用KMS加密则无法进行数据的MD5校验。 toJobConfig.kmsID 否 String 上传时加密使用的密钥。需先在密钥管理服务中创建密钥。 toJobConfig.projectID 否
动态卸载OBS 功能介绍 卸载后,OBS存储中的对象保持不变,Notebook容器中无法再操作OBS对象。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
图1 创建触发器 配置以下参数。 表2 OBS触发器参数说明 参数名称 参数说明 取值样例 触发器类型 必选参数。 选择“对象存储服务(OBS)”。 对象存储服务(OBS) 桶 必选参数。 用作事件源的OBS存储桶,创建成功后不支持修改。 obs-cff 事件 必选参数。 选择触发函