检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
obs://bucket-test/test5.txt obs://bucket-test/test6.txt 只列举bucket-test桶根目录下的文件和子目录,不进行递归操作,即不列举子目录下的内容,列举命令如下: ./obsutil ls obs://bucket-test -d 返回结果按照对象名和版本号以字典序排列后,结果如下:
夹上传,详见5。 图1 上传对象 单击“选择文件”,打开本地浏览框。选择待上传文件后,单击“打开”。 您最多可同时选择500个文件或文件夹进行上传。 如果待上传至OBS的文件存放在Microsoft OneDrive中,建议这些待上传文件的名称不要超过32位,以保证兼容性。 单击
如果该值不为空,如果该值以“/”结尾,则以该值作为对象名前缀归档日志,对象名为该值+obsutil_log.zip;否则,将该值作为对象名进行归档; config 附加参数,可选 运行当前命令时的自定义配置文件,可支持的配置参数请参考配置参数说明。 e 附加参数,可选 指定终端节点。
文件系统管理OBS上的对象。 在本地挂载目录新增任何文件,都支持直接同步上传至OBS。 并行文件系统中的对象支持同步至本地挂载目录,在本地进行拷贝、修改、重命名及截断等操作。 约束与限制 本地挂载目录可以不为空,但是挂载后此目录下原有的内容将不可用,取消挂载后即可恢复。建议使用空目录作为挂载目录。
versionId String 否 参数解释: 待恢复归档或深度归档存储对象的版本号。 约束限制: 无 取值范围: 无 默认取值: 无,如果不设置则默认指定最新版本的对象。 请求消息头 该请求使用公共消息头,具体请参见表3。 请求消息元素 表1 请求消息元素表 元素名称 元素类型 是否必选
获取对象ACL 功能介绍 用户执行获取对象ACL的操作,返回信息包含指定对象的权限控制列表信息。用户必须拥有对指定对象读ACP(access control policy)的权限,才能执行获取对象ACL的操作。 多版本 默认情况下,获取最新版本的对象ACL。如果最新版本的对象是删
获取桶ACL 功能介绍 用户执行获取桶ACL的操作,返回信息包含指定桶的权限控制列表信息。用户必须拥有对指定桶READ_ACP的权限或FULL_CONTROL权限,才能执行获取桶ACL的操作。 请求消息样式 1 2 3 4 GET /?acl HTTP/1.1 Host: bucketname
https://obs.regionID.myhuaweicloud.com/${bucketname}/query )。您需要使用桶域名标准方式进行访问,即 https://${bucketname}.obs.regionID.myhuaweicloud.com/query。 父主题:
问OBS的目的,详细操作请参见: 在Linux ECS上使用obsutil通过内网访问OBS 当在ECS上通过内网访问OBS时,即可在内网进行数据读取、备份归档等业务,而不影响外网带宽。 资源成本及规划 最佳实践中涉及的资源如下: 表1 资源说明 资源 资源说明 弹性云服务器(ECS)
建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; 本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_AK和HUAWEICLOUD_SDK_SK。*/ public static String
建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; 本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_AK和HUAWEICLOUD_SDK_SK。*/ public static String
该参数可以通过列举分段上传任务获取到。 fr 附加参数,删除单个分段上传任务时可选 删除单个分段上传任务时生成结果清单文件。 f 附加参数,可选 强制操作,不进行询问提示。 r 附加参数,批量删除分段上传任务时必选 按指定的对象名前缀批量删除分段上传任务。 j 附加参数,批量删除分段上传任务时可选
但是OBS实现的HDFS协议不支持租约Lease机制(并发写同一个文件时将产生不可确定的状态),所以在flume场景下可以通过文件命名规则进行解决。 如sink文件的命名规则:hostname-sinkname作为文件的前缀,如果一个主机上部署了多个flume agent,不同的agent要有不同的sinkname。
批量删除对象时,如果该参数为空,则表示删除桶中所有的对象。 fr 附加参数,删除单个对象时可选 删除单个对象时生成结果清单文件。 f 附加参数,可选 强制操作,不进行询问提示。 versionId 附加参数,删除单个对象时可选 待删除对象的版本号。 r 附加参数,批量删除对象时必选 按指定的对象名前缀批量删除对象。
做worker的工作会影响查询性能。 http-server.http.port:指定HTTP端口。Presto使用HTTP来与外部和内部进行交流。 query.max-memory:查询能用到的最大总内存。 query.max-memory-per-node:查询能用到的最大单节点内存。
//是否压缩抽帧图片生成tar包。 Tar: 0, //是否同步处理,同步处理是指不下载全部文件,快速定位到截图位置进行截图。 Mode: 0, //截图参数 ThumbnailParam: &ThumbnailParam{
您可以通过环境变量获取访问密钥AK/SK,也可以使用其他外部引入方式传入。如果使用硬编码可能会存在泄露风险。 // 您可以登录访问管理控制台获取访问密钥AK/SK private static String ak = System.getenv("ACCESS_KEY_ID");
大数据场景下使用OBS实现存算分离方案概述 应用场景 随着大数据技术的飞速发展,对数据价值的认识逐渐加深,大数据已经融入到了各行各业。根据相关调查报告数据显示,超过39.6%的企业正在应用大数据并从中获益;超过89.6%的企业已经成立或计划成立相关的大数据分析部门;超过六成的企业
如何判断是否内网访问OBS? 假设某用户拥有一台华北-北京四区域的ECS,同时拥有一个华北-北京四区域的OBS桶(桶名为example-bucket)。 判断是否内网访问的方法如下: 在ECS中ping需要确认的OBS桶的全局域名,如果响应的IP地址为100网段或214网段,则说明ECS访问此OBS桶为内网访问。
通过obsutil命令行工具快速使用OBS obsutil是一款命令行工具,对于熟悉命令行的用户,obsutil能在执行批量处理、自动化任务的场景中为您带来更优体验。 本章节以Linux操作系统为例,以上传一个文件至“bucket-test”桶为例,帮助您快速通过obsutil使