检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎,用于处理有界和无界流式数据。Flink定义了文件系统抽象,OBS服务实现了Flink的文件系统抽象,使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
proxyHost 代理服务器的主机地址。 proxyConfig.proxyHost = @"host" proxyPort 代理服务器的端口号。 proxyConfig.proxyPort = @"port" username 连接代理服务器时使用的用户名。 proxyConfig
单击“确定”,完成自定义策略创建。 创建用户组并授权。 按照IAM文档指导,将前面步骤创建的自定义策略添加到用户组中。 将需要授权的IAM用户加入到创建的用户组中,授权完成。 由于缓存的存在,授予OBS相关的策略后,大概需要等待10~15分钟策略才能生效。 父主题: 对当前账号下多个IAM用户或用户群组授权
支持续订,暂不支持退订。资源包到期后,不会影响您在OBS上的使用和数据安全。您只要保证云服务账号上有足够的余额,系统会自动以按需计费的模式进行结算。 资源包每月重置规则说明: 按订购周期重置,即购买后每月同一天24:00:00重置资源额度。例如:您在4月15日任意时刻购买6个月的公网流出流量包2TB并支付,您
细介绍了每个接口的参数和使用方法。 在OBS中,用户操作的基本数据单元是对象。OBS PHP SDK提供了丰富的对象上传接口,可以通过以下方式上传对象: 文本上传 流式上传 文件上传 分段上传 基于表单上传 SDK支持上传0KB~5GB的对象。流式上传和文件上传的内容大小不能超过
一般情况下,建议就近选择靠近您或者您的目标用户的区域,这样可以减少网络时延,提高访问速度。不过,在基础设施、BGP网络品质、资源的操作与配置等方面,中国大陆各个区域间区别不大,如果您或者您的目标用户在中国大陆,可以不用考虑不同区域造成的网络时延问题。 在除中国大陆以外的亚太地区有业务的用户,可以选择“亚太-曼谷”或“亚太-新加坡”等区域。
在“用户”界面,搜索到用户名。 单击用户名左侧的下拉按钮,查看用户加入的用户组。如果用户没有加入用户组,单击“修改”,选择合适用户组加入。 在左侧导航栏单击“用户组”,搜索到用户加入的用户组,单击用户组名左侧的下拉按钮,然后单击“对象存储服务”的“查看”,检查用户组的权限是否有上传对象权限。如果没
DNS)服务器的地址,具体地址为云解析服务中该公网域名记录集中NS记录的值字段内容信息。 详细的更改域名解析服务器地址的方法请参见配置网站解析章节中的“更改域名的DNS服务器”部分。 更改后的域名解析服务器地址将于48小时内生效,具体生效时间请以域名注册商处的说明为准。 验证 在浏览器中输入访问地址:www
最佳实践中涉及的资源如下: 表1 资源说明 资源 资源说明 应用客户端(APP Client) 最终用户手机上的APP,负责向应用服务器发出申请临时安全凭证的请求,以及访问OBS完成数据上传或下载。 应用服务器(APP Server) 提供该Android/iOS应用的开发者开发的APP后台服务,用于用户管理和授权管理等。
)。如果没有携带此头域 ,则创建的桶为标准存储类型。 当往桶内上传对象时,如果没有指定对象的存储类别(参考PUT上传),则该对象的存储类型取桶的默认存储类型。 OBS标准存储拥有低访问时延和较高的吞吐量,因而适用于有大量热点文件需要频繁访问数据的业务场景,例如:大数据、移动应用、热点视频、社交图片等场景。
新上传。 针对同一个对象或桶的操作,比如多个客户端对同一个对象并行上传、查询和删除时,具体操作结果依赖于操作到达系统的时间和系统内部处理的时延,可能返回不一致的结果。比如,当多个客户端并行上传同一个对象时,系统最后收到的上传请求会覆盖前一个上传的对象。如果需要避免同一个对象被并行
OBS控制台使用相关 控制台浏览器兼容性 出现“客户端与服务器的时间相差15分钟”的报错 下载一个对象名较长的对象到本地后,对象名称改变 使用IE11浏览器下载对象时提示对象无法下载 使用IE9浏览器无法打开OBS管理控制台界面 错误码列表
Unavailable”的错误提示,则可能是因为当前服务器繁忙,请稍后重试。 如果上传文件或文件夹时弹出拒绝访问的错误提示,则有可能是如下几种情况导致的: 通过桶的ACL设置功能,限制了该桶的访问权限(如:该用户无桶的写入权限)。 通过桶的桶策略功能,限制了该桶的访问权限(如:当前时
ls、stat等linux命令需要远程访问OBS服务器,所以性能较差。 一个并行文件系统支持挂载到多台云服务器,但数据一致性需由您自行维护,避免出现多台云服务器同时对一个文件并发写入的情况。 桶级的桶策略和IAM策略对obsfs挂载方式生效,目录级的桶策略和IAM策略对obsfs挂载方式访问不生效。 适用的操作系统
会有带宽浪费。 由于网络延迟,元数据操作(如列举目录)性能较差。 不支持文件或目录的原子性重命名。 支持挂载到多台云服务器,但数据一致性需由您自行维护,避免出现多台云服务器同时对一个文件并发写入的情况。 不支持硬链接。 s3fs与存储服务端交互采用HTTP/HTTPS协议,客户端CPU开销会较大。
可以设置的参数见下表: 表1 obs_options.obs_bucket_context参数 参数 描述 默认值 建议值 host_name 请求使用的主机名,是指存放资源的服务器的域名,就是终端节点endpoint。 NULL - bucket_name 操作的桶名。 NULL
通过SDK或API的PUT上传、POST上传和追加写超过5GB的文件 上传段超过5GB 设置的桶配置超过20KB 超过post表单中policy限制的文件大小(用户可自定义) 通过SDK或API的多段上传以及SDK的断点续传超过48.8TB的文件 修改上传的policy中的条件或者减少对象大小。
获取桶的网站配置信息。 删除桶的网站配置 删除桶的网站配置信息。 设置桶的CORS配置 设置桶的跨域资源共享配置信息。OBS允许在桶内保存静态的网页资源,在正确的使用下,OBS的桶可以成为网站资源。只有进行了适当的CORS配置,OBS中的网站才能响应另一个网站的跨域请求。 获取桶的CORS配置 获取桶的跨域资源共享配置信息。
使用obsutil下载文件到99%后失败 obsutil上传下载速度慢 obsutil cp命令如何开启增量上传、下载和复制? 并行文件系统是否支持挂载到Windows服务器?
去了自建存储服务器带来的资金、时间及人力成本的投入,后期的设备维护也全部交由OBS处理。 华为云提供搬迁方案,帮助用户将自建存储服务器上的数据短时间、低成本、安全、高效地搬迁至OBS。用户可根据数据量、耗时、费用等需求选择适合的方案进行数据搬迁。 搬迁方案 针对不同的搬迁场景及需