检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安装datax。 解压datax.tar.gz到/opt/datax目录。 在Github下载hadoop-huaweicloud：下载地址。（建议使用hadoop 2.8.3版本下最新版本的hadoop-huaweicloud版本，例如hadoop-huaweicloud-2.8.3-hw-53
Druid专为需要快速数据查询与摄入的工作流程而设计，在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS，使用OBS提供的OBSA-HDFS工具，无需重新编译druid，将OBS配置为deep storage。 对接步骤 配置Druid。 修改配置：
port:指定HTTP端口。Presto使用HTTP来与外部和内部进行交流。 query.max-memory：查询能用到的最大总内存。 query.max-memory-per-node：查询能用到的最大单节点内存。 discovery-server.enabled：Presto使用Discovery
Hive对接OBS 概述 Hive是一个数据仓库工具，可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载，它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出，在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置：
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎，用于处理有界和无界流式数据。Flink定义了文件系统抽象，OBS服务实现了Flink的文件系统抽象，使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
华为云MRS对接OBS 对接步骤 配置存算分离集群。 详细操作，请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作，请参见使用存算分离集群。 父主题： 对接大数据平台
增加hadoop-huaweicloud的jar包。 在CDH集群各节点执行以下命令，命令请根据hadoop-huaweicloud的jar包名字及实际CDH版本进行适配使用。 执行如下命令，将OBSA-HDFS工具的jar包放到/opt/cloudera/parcels/CDH-6.0.1-1.cdh6.0.1
Flume对接OBS 概述 Flume是一个分布式的、可靠的和高可用的服务，用于收集、聚合以及移动大量日志数据，具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差
Hortonworks HDP对接OBS 部署视图 安装版本 硬件：1master+3core（配置：8U32G，操作系统：CentOS 7.5） 软件：Ambari：2.7.1.0，HDP：3.0.1.0 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具：下载地址。
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”，进入“训练作业”列表。 单击右上角的“创建训练作业”，进入“创建训练作业”页面，在该页面填写训练作业相关参数信息。
下载一个对象名较长的对象到本地后，对象名称改变 问题： 使用OBS管理控制台下载一个对象名较长的对象到本地后，为什么对象名称发生了改变？ 原因： Windows操作系统下允许的文件名长度最大为255字符，包括文件名和扩展名在内。 当对象名称长度超过255字符时，将该对象下载到本地
使用OBS Browser管理对象时，在任务列表中无相关任务显示 问题 为什么使用OBS Browser对对象进行上传、下载、删除等管理操作时，在任务列表中无相关任务显示。 回答 使用OBS Browser对对象进行上传、下载、删除等管理操作时，需要调用OBS Browser内置
出现“客户端与服务器的时间相差15分钟”的报错 问题： 使用OBS时出现报错“客户端与服务器的时间相差大于15分钟”或“The difference between the request time and the current time is too large”。 原因：
源的计费模式。 按需计费 OBS服务默认为按需计费模式，即按实际使用的时长收费，以小时为单位，每小时整点结算，不设最低消费标准。详细信息请参见按需计费。 包年包月 您也可以通过包年包月（资源包）的方式，提前购买使用额度和时长，获取更多的优惠。超出资源包的部分自动转按需计费。详细信息请参见资源包概述。
使用IE浏览器访问带有中文字符的对象URL地址报错如何处理？ 问题描述 使用IE浏览器访问带有中文字符的对象URL地址，报HTTP 400错误。 处理思路 IE浏览器默认不是使用UTF-8发送查询字符串，修改IE浏览器的默认配置可以解决此问题。 处理步骤 打开IE浏览器（以IE 11为例）。
考文档详细介绍了每个接口的参数和使用方法。 使用OBS客户端进行接口调用操作完成后，没有异常抛出，则表明返回值有效，返回SDK公共响应头实例或其子类实例；如果抛出异常，则说明操作失败，此时应从SDK自定义异常实例中获取错误信息。 以下代码展示了使用OBS客户端的通用方式： //
HTTPS两种传输协议。 必选 bucket 请求使用的桶资源路径，在整个系统中唯一标识一个桶。 可选 domain 存放资源的服务器的域名或IP地址。 必选 port 请求使用的端口号。根据软件服务器的部署不同而不同。缺省时使用默认端口，各种传输协议都有默认的端口号，如HTTP
通过控制台快速使用OBS 控制台是网页形式的操作平台，提供更直观的界面操作，简单易上手。 本章节以上传对象至“test-example-bucket”桶为例，帮助您通过控制台快速使用OBS的基础功能，包括创建桶、上传对象、下载对象、分享对象。 准备工作 使用OBS之前，您需要拥有
使用obsutil下载文件夹前期速度正常，下载到90%后速度变慢 出现此种现象有两种场景。 场景一：文件夹中存在部分大对象和大量小对象。对于大对象，下载速度很快；对于大量小对象，下载速度主要受TPS影响。如果下载到90%后都是小对象，此时下载速度一定程度上可能会降低。 场景二：文
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
