检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎，用于处理有界和无界流式数据。Flink定义了文件系统抽象，OBS服务实现了Flink的文件系统抽象，使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
增加hadoop-huaweicloud的jar包。 在CDH集群各节点执行以下命令，命令请根据hadoop-huaweicloud的jar包名字及实际CDH版本进行适配使用。 执行如下命令，将OBSA-HDFS工具的jar包放到/opt/cloudera/parcels/CDH-6.0.1-1.cdh6.0.1
数据迁移。 使用对象存储迁移服务，您只需在控制台填写源端OBS数据信息和目的端OBS数据信息，并创建迁移任务或创建迁移任务组即可，迁移任务与迁移任务组的区别请参见迁移任务与迁移任务组的适用场景。 对象存储迁移服务（OMS）处于免费期，免费期结束后服务将根据您累计使用的迁移流量进行
Flume对接OBS 概述 Flume是一个分布式的、可靠的和高可用的服务，用于收集、聚合以及移动大量日志数据，具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差
支持的大数据组件简介 在华为云大数据存算分离方案中，OBS除了可以与大数据平台对接外，还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下： Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题： 对接大数据组件
Hortonworks HDP对接OBS 部署视图 安装版本 硬件：1master+3core（配置：8U32G，操作系统：CentOS 7.5） 软件：Ambari：2.7.1.0，HDP：3.0.1.0 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具：下载地址。
支持的大数据平台简介 华为云大数据存算分离方案中，OBS支持与多种大数据平台对接，包括华为云MapReduce服务（MRS）、Cloudera CDH和Hortonworks HDP，满足用户业务的灵活诉求。 华为云MapReduce服务（MRS） 华为云MapReduce服务（
下载一个对象名较长的对象到本地后，对象名称改变 问题： 使用OBS管理控制台下载一个对象名较长的对象到本地后，为什么对象名称发生了改变？ 原因： Windows操作系统下允许的文件名长度最大为255字符，包括文件名和扩展名在内。 当对象名称长度超过255字符时，将该对象下载到本地
访问OBS链接提示告警信息的原因和解决办法 原因 因为部分用户使用OBS桶时上传了包含色情、暴恐、涉政等违法违规内容，OBS和第三方平台（微信/支付宝/百度等）检测到后会封禁此资源。第三方平台在封禁此资源的同时，会将OBS域名列为不信任域名，导致其他合法使用OBS域名的用户也受到影响。 解决方案 需
开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 使用OBS客户端进行接口调用操作完成后，没有异常抛出，则表明返回值有效，返回SDK公共响应头实例或其子类实例；如果抛出异常，则说明操作失
本方案介绍了如何将网络资源迁移至华为云对象存储OBS。 具体方案请参见操作教程。 业务割接方案 如涉及业务割接，请参考以下方案。 使用“回源配置方案”迁移增量对象数据 使用“源端/目的端双写方案”方案迁移增量对象数据 使用"多次同步方案"迁移增量对象数据 OBS镜像回源方式 一般情况下，
出现“客户端与服务器的时间相差15分钟”的报错 问题： 使用OBS时出现报错“客户端与服务器的时间相差大于15分钟”或“The difference between the request time and the current time is too large”。 原因：
使用IE浏览器访问带有中文字符的对象URL地址报错如何处理？ 问题描述 使用IE浏览器访问带有中文字符的对象URL地址，报HTTP 400错误。 处理思路 IE浏览器默认不是使用UTF-8发送查询字符串，修改IE浏览器的默认配置可以解决此问题。 处理步骤 打开IE浏览器（以IE 11为例）。
本节介绍在完成SDK的下载和安装后，如何快速上手使用OBS的基础功能，完成创建桶、上传下载对象、列举对象和删除对象。 入门准备 使用SDK管理OBS资源，您需要先完成以下几项准备工作： 使用前须知(Java SDK)：了解并选择合适的SDK版本。 使用前准备(Java SDK)：完成服务环境和开发环境准备。
更多创建桶的信息，请参见创建桶。 创建桶时，如果使用的终端节点归属于默认区域华北-北京一（cn-north-1），则可以不指定区域；如果使用的终端节点归属于其他区域，则必须指定区域，且指定的区域必须与终端节点归属的区域一致。当前有效的区域名称可从这里查询。 您可以使用带参数创建方式，在创建桶时，指定桶的区域位置，详情请参考创建桶
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后，建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容，仅保留文件元数据，数据内容释放后不占用SFS Turbo文件系统上的存储空间，再次访问该文件时，将重新从OBS中加载文件数据内容。
如果设置的server不带协议类型，则默认使用HTTPS协议。 如果启用了长连接模式，使用完OBS客户端后必须调用ObsClient.close方法显式关闭，回收连接资源。 出于DNS解析性能和OBS服务可靠性的考虑，不允许将server设置为IP，必须使用域名访问OBS服务。 配置SDK代理请参见配置SDK代理(Node
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象，您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台，在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中，单击
使用obsutil下载文件夹前期速度正常，下载到90%后速度变慢 出现此种现象有两种场景。 场景一：文件夹中存在部分大对象和大量小对象。对于大对象，下载速度很快；对于大量小对象，下载速度主要受TPS影响。如果下载到90%后都是小对象，此时下载速度一定程度上可能会降低。 场景二：文
至OBS，更多内容请参考数据上云方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后，可以使用数据预热功能，以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
