检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
了进一步提升上传下载性能,可根据文件大小、网络情况等因素进行调整,以获得最大传输效率并能保证传输任务顺利完成。 针对用户侧存在大量小文件(通常大小在几MB以内)的场景下,对应上传下载请求数较多,此时可以通过适当增大最大并行任务数进行调优;由于文件大小较小可能无法触发分段上传/下载
properties文件中增加配置: log4j.logger.com.obs= ERROR 对接步骤 以Spark2.3.3为例。 下载spark-2.3.3-bin-without-hadoop.tgz,并解压到/opt/spark-2.3.3。 在/etc/profile文件中增加配置内容:
重命名对象(Go SDK) 功能说明 重命名对象操作是指将指定并行文件系统内的一个对象重命名为其他对象名。 接口约束 您必须是并行文件系统拥有者或拥有重命名文件的权限,才能重命名文件。建议使用IAM或策略进行授权,如果使用IAM则需授予obs:bucket:PutObject权限
是否支持多个config文件在同一个目录下 不支持。 当前OBSUtil工具支持配置多个不同的config文件,但是需要注意的是由于config文件的加密需要,因此不能在同一个目录下配置多个config文件,否则会造成冲突。 如果需要配置多个config文件,则需要将不同的config配置文件初始化在不同的目录下。
按https://桶名.域名/文件夹目录层级/对象名的方式进行拼接。 如果该对象存在于桶的根目录下,则链接地址将不需要有文件夹目录层级。 各区域对应的域名可以从这里的终端节点查看。 例如需访问区域为“华北-北京四”的桶名为“testbucket”中“test”文件夹下对象名为“test.
OBS支持的region以及region与endPoint的对应关系,详细信息请参见地区与终端节点。 目前接口仅在并行文件系统支持,普通对象并行文件系统不支持,如何创建并行文件系统请参考创建并行文件系统(Java SDK)。 方法定义 obsClient.modifyObject(ModifyObjectRequest
重命名对象(Harmony SDK) 功能说明 对于并行文件系统内的文件,支持对文件的重命名操作。 接口约束 您必须是并行文件系统拥有者或拥有重命名文件的权限,才能重命名文件。建议使用IAM或策略进行授权,如果使用IAM则需授予obs:bucket:PutObject权限,如果使
如何对OBS桶下面的文件夹进行权限控制? 可以创建自定义桶策略,允许对指定的对象前缀配置需要的权限,即通过对象前缀来控制指定的文件夹。 例如:配置前缀为abc/,则表示所配置权限对文件夹abc生效。 具体配置请参考自定义创建桶策略(可视化视图)。 父主题: 权限相关
truncateObject(); 相关链接 关于并行文件系统的更多说明,请参见什么是并行文件系统。 创建并行文件系统过程中返回的错误码含义、问题原因及处理措施可参考OBS错误码。 创建并行文件系统常见问题请参见并行文件系统常见问题。 父主题: 并行文件系统相关接口(Harmony SDK)
truncateObject(); 相关链接 关于并行文件系统的更多说明,请参见什么是并行文件系统。 创建并行文件系统过程中返回的错误码含义、问题原因及处理措施可参考OBS错误码。 创建并行文件系统常见问题请参见并行文件系统常见问题。 父主题: 并行文件系统相关接口(Harmony SDK)
MD5检验 背景知识 文件在上传和下载的过程中,受网络影响可能出现损坏。通过MD5校验,可以验证上传或下载文档的正确性。 OBS Browser开启MD5校验会影响上传下载速度。本章节以上传文件为例介绍MD5校验功能。 桶中文件具有MD5信息,下载文件时才会做MD5校验。 操作步骤
NAS存储提供给应用的是一个文件系统或者是一个文件夹,上层应用通过NFS和CIFS协议进行访问。文件系统要维护一个目录树。 对象存储更加适合web类应用,基于URL访问地址提供一个海量的桶存储空间,能够存储各种类型的文件对象,对象存储是一个扁平架构,无需维护复杂的文件目录。无需考虑存储空
我可以在桶间进行文件复制吗? 可以。 OBS支持使用API、SDK、OBS Browser+、obsutil方式在同一区域内复制对象,详见复制对象。 如果想在不同区域间复制对象,详见跨区域复制。 父主题: 桶和对象相关
果清单文件。 结果清单的任务号是每次运行生成的唯一标识号。 单个结果清单文件最大为30MB且最大可保留的文件个数为1024。 当涉及多文件/文件夹任务时,如需确认失败任务的具体错误信息,可参考结果清单文件夹下的失败结果清单文件及日志路径下的日志文件; 为了避免结果清单文件过多影响批量操作的效率,建议定期对
内网DNS服务器地址。 nameserver 内网DNS服务器地址 内网DNS服务器地址:需要根据ECS所在区域选择内网DNS服务器地址,具体的地址信息请参见华为云提供的内网DNS服务器地址。 新增的DNS服务器地址必须位于所有原有的DNS服务器地址之前。 DNS服务器按照nam
关闭桶日志功能的方法是上传一个带有空的BucketLoggingStatus标签的logging文件。 默认存储类别为低频访问存储或归档存储的桶不能作为存放日志文件的桶。日志文件存放到桶中后,这些日志文件会占用空间,并按照用户存放数据同样的计费策略进行计费。 目标桶开启KMS加密时,需要在委托中授予KMS访问权限。
使用OBS Browser上传下载文件卡死 问题 使用OBS Browser上传下载大文件,上传下载一段时间后提示“max call stack size exceeded”。 使用OBS Browser上传文件夹,其中某个文件在上传完成后,操作系统返回IO状态异常,上传进度一直显示99
修改写对象 功能介绍 修改写对象操作是指将指定文件桶内的一个对象从指定位置起修改为其他内容。 目前接口仅在并行文件系统支持,创建并行文件系统的方法详见请求示例:创建并行文件系统。 请求消息样式 PUT /ObjectName?modify&position=Position HTTP/1
注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差别的:HDFS租约机制可以保证并发写同一个文件时不会产生一致性问题,但是OBS实现的HDFS协议不支持租约Lease机制(并发写同一个文件时将产生不可确定的状态),所以在flume场景下可以通过文件命名规则进行解决。
size_file 指定文件滚动大小(字节)。当文件大小达到设定的值时,会生成一个新的文件。 time_file 设置文件滚动周期(分钟)。当数据写入达到设定周期时,会生成一个新的文件。 prefix 指定文件存储的目录,例如“logstash/”,此时文件会写入到桶的logstash/目录下(注意路径不要以/开头)。