检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出，在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置：
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎，用于处理有界和无界流式数据。Flink定义了文件系统抽象，OBS服务实现了Flink的文件系统抽象，使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
Hive对接OBS 概述 Hive是一个数据仓库工具，可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载，它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
Flume对接OBS 概述 Flume是一个分布式的、可靠的和高可用的服务，用于收集、聚合以及移动大量日志数据，具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差
规格：最长64字节 默认值：无 有效字符："a-z"、"A-Z"、"0-9"、"-"、"_"和"." 是 请求消息头 该请求使用公共消息头，具体参见表3。 请求消息元素 此请求消息中不使用消息元素。 响应消息样式 1 2 3 4 5 6 7 8 9 10 11 12 13 14
Content-Length: length Date: date policy json body 请求消息参数 该请求消息中不使用消息参数。 请求消息头 该请求使用公共消息头，具体参见表3。 请求消息元素 表1 请求消息元素 名称 描述 是否必选 rules 策略规则数组。 类型：Container
助。接口参考文档详细介绍了每个接口的参数和使用方法。 文件上传使用本地文件作为对象的数据源。以下代码展示了如何进行文件上传： // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；本示例以ak和sk保存在
增加hadoop-huaweicloud的jar包。 在CDH集群各节点执行以下命令，命令请根据hadoop-huaweicloud的jar包名字及实际CDH版本进行适配使用。 执行如下命令，将OBSA-HDFS工具的jar包放到/opt/cloudera/parcels/CDH-6.0.1-1.cdh6.0.1
GB；当上传较大文件时，请使用分段上传，分段上传每段内容大小不能超过5GB；基于表单上传提供了基于浏览器表单上传对象的方式。 如果上传的对象权限设置为匿名用户读取权限，对象上传成功后，匿名用户可通过链接地址访问该对象数据。对象链接地址格式为：https://桶名.域名/文件夹目录
Hortonworks HDP对接OBS 部署视图 安装版本 硬件：1master+3core（配置：8U32G，操作系统：CentOS 7.5） 软件：Ambari：2.7.1.0，HDP：3.0.1.0 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具：下载地址。
支持的大数据平台简介 华为云大数据存算分离方案中，OBS支持与多种大数据平台对接，包括华为云MapReduce服务（MRS）、Cloudera CDH和Hortonworks HDP，满足用户业务的灵活诉求。 华为云MapReduce服务（MRS） 华为云MapReduce服务（
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”，进入“训练作业”列表。 单击右上角的“创建训练作业”，进入“创建训练作业”页面，在该页面填写训练作业相关参数信息。
支持的大数据组件简介 在华为云大数据存算分离方案中，OBS除了可以与大数据平台对接外，还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下： Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题： 对接大数据组件
该请求消息中不使用消息参数。 请求消息头 该请求使用公共消息头，具体参见表3。 请求消息元素 表1 请求消息元素 名称 描述 是否必选 rules 策略规则数组。 类型：Container 取值范围：[1, 10] 说明： 同一个桶下的不同策略前缀不能重复和起始包含，委托建议使用同一个。
使用IE浏览器访问带有中文字符的对象URL地址报错如何处理？ 问题描述 使用IE浏览器访问带有中文字符的对象URL地址，报HTTP 400错误。 处理思路 IE浏览器默认不是使用UTF-8发送查询字符串，修改IE浏览器的默认配置可以解决此问题。 处理步骤 打开IE浏览器（以IE 11为例）。
以下代码展示了如何使用断点续传上传接口上传文件： // 创建ObsClient实例 var obsClient = new ObsClient({ // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全
ey-MD5一起使用。 取值范围： AES256 默认取值： 无 x-obs-server-side-encryption-customer-key String 否。当使用SSE-C方式时，必选。 参数解释： 在SSE-C加密方式下使用该头域，该头域表示加密使用的密钥。该密钥用于解密对象。
Authorization: authorization 请求消息参数 该请示消息中不带消息参数。 请求消息头 该请求使用公共的请求消息头，具体参见表3。 请求消息元素 该请求消息不使用消息元素。 响应消息样式 1 2 3 4 5 6 7 8 HTTP/1.1 status_code Date:
下载一个对象名较长的对象到本地后，对象名称改变 问题： 使用OBS管理控制台下载一个对象名较长的对象到本地后，为什么对象名称发生了改变？ 原因： Windows操作系统下允许的文件名长度最大为255字符，包括文件名和扩展名在内。 当对象名称长度超过255字符时，将该对象下载到本地
连接OBS的服务地址。可包含协议类型、域名、端口号。示例：https://your-endpoint:443。（出于安全性考虑，建议使用https协议）。 默认取值： 无 N/A ctrCipherGenerator 参数解释： 该加密客户端所使用的 加密套件。 取值范围： CtrRSACipherGenerator
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
