检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
obsClient, err := obs.New(ak, sk, endPoint, obs.WithSignature(obs.SignatureObs)/*, obs.WithSecurityToken(securityToken)*/) if err !
图2 存算分离方案中的OBSFileSystem OBS服务支持对象存储桶(对象语义)和并行文件系统(POSIX文件语义),在大数据场景下建议选择并行文件系统。
folder_url 在本地文件系统路径中创建文件夹时必选 本地文件系统中的文件夹路径,支持绝对路径和相对路径。 config 附加参数,可选 运行当前命令时的自定义配置文件,可支持的配置参数请参考配置参数说明。 e 附加参数,可选 指定终端节点。
'key' => getenv('ACCESS_KEY_ID'), 'secret' => getenv('SECRET_ACCESS_KEY'), 'endpoint' => 'https://your-endpoint', 'signature
目前接口仅在并行文件系统支持,创建并行文件系统的方法详见请求示例:创建并行文件系统。 请求消息样式 PUT /ObjectName?
'key' => getenv('ACCESS_KEY_ID'), 'secret' => getenv('SECRET_ACCESS_KEY'), 'endpoint' => 'https://your-endpoint', 'signature
约束限制: 由密钥值经过MD5加密再经过Base64编码后得到,示例:4XvB3tbNTN+tIEVa0/fGaQ== 默认取值: 无 objectUrl str 参数解释: 合并段后得到的对象的全路径。
System.out.println("stringToSign: " + stringToSign); String auth = "OBS " + ak + ":" + AbstractAuthentication.calculateSignature
Hadoop对接OBS 概述 Hadoop系统提供了分布式存储、计算和资源调度引擎,用于大规模数据处理和分析。
针对同一个对象或桶的操作,比如多个客户端对同一个对象并行上传、查询和删除时,具体操作结果依赖于操作到达系统的时间和系统内部处理的时延,可能返回不一致的结果。比如,当多个客户端并行上传同一个对象时,系统最后收到的上传请求会覆盖前一个上传的对象。 详情请参考并发一致性说明。
目前接口仅在并行文件系统支持,创建并行文件系统的方法详见请求示例:创建并行文件系统。重命名对象操作为非幂等操作。 请求消息样式 POST /ObjectName?
obsClient, err := obs.New(ak, sk, endPoint, obs.WithSignature(obs.SignatureObs)/*, obs.WithSecurityToken(securityToken)*/) if err !
目前接口仅在并行文件系统支持,创建并行文件系统的方法详见请求示例:创建并行文件系统。 请求消息样式 PUT /ObjectName?
从系统环境变量查找访问密钥时,OBS_ACCESS_KEY_ID对应ak,OBS_SECRET_ACCESS_KEY对应sk,OBS_SECURITY_TOKEN对应token。
系统对数据做的扫描仅限于判断数据块是否存在和被损坏(如有损坏,会启动修复),不会读取具体的内容。 父主题: 数据安全、迁移和备份
使用建议 对于并行文件系统目录,大数据场景下(目录层级深、目录下文件多)的删除,可能会因超时而删除失败,建议使用: hadoop 客户端(嵌套OBS客户端插件OBSA)删除目录:hadoop fs - rmr obs://{并行文件系统名}/{目录名} 给目录配置生命周期规则,通过生命周期后台删除
卸载OBS Browser+ 在Windows系统的“控制面板 > 程序 >程序和功能”中,找到“obs-browser-plus xxx”,单击右键,选择“卸载”,根据提示即可完成卸载。
后续处理 OBS Browser的“系统配置”,请参见系统配置。 如果希望通过OBS Browser管理多个账号拥有的对象,可单击账号名,并选择“账号管理”添加多个账号信息。单击想要登录的账号即可切换当前登录的账号。详细的账号管理,请参见账号管理。
操作步骤 系统默认勾选“自动检测软件新版本”,每次登录OBS Browser时,都会自动检查软件当前版本是否为最新版本。用户仅需根据界面提示更新软件即可。
列举接口是否支持保存结果到本地文件 obsutil工具本身的列举相关操作不支持直接将结果保存在本地文件,但是可以通过操作系统提供的重定向操作实现将列举结果从屏显的标准输出重定向到指定的本地结果文件中;以列举桶内对象为例: Windows操作系统(在命令行cmd下执行该重定向操作)