检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Hive。 重命名/opt/hive-2.3.3/conf/hive-env.sh.template为hive-env.sh。 重命名opt/hive-2.3.3/conf/hive-log4j2.properties.template为hive-log4j2.properties。
Windows操作系统 归档到本地 obsutil archive [file_or_folder_url] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] 归档到指定的桶 obsutil archive obs://bucket[/key] [-config=xxx]
Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务，本文介绍DataX如何对接OBS。 对接步骤 下载datax源码，以发布版本datax_v202308为例：下载地址。
项目打包出错 打包时候报如下错误： OBS.framework” did not contain a “archived-expanded-entitlements.xcent” resource. 修复方法： OBS.framework为静态库，请确保Embedded Binaries中不包含OBS
OBS性能优化建议 OBS按照对象名的UTF-8编码范围来进行分区管理，对系统进行水平扩展与动态负载均衡。如果用户在对象命名规则上使用了顺序前缀（如时间戳或字母顺序），可能导致大量对象的请求访问集中于某个特定分区，造成访问热点。热点分区上的请求速率受限，访问时延上升。 推荐使用随
在华为云大数据存算分离方案中，OBS除了可以与大数据平台对接外，还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下： Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题： 对接大数据组件
开启桶日志 您可以通过setBucketLogging开启桶日志功能。 日志目标桶与源桶必须在同一个区域（region）。 已支持日志目标桶的存储类型：低频访问存储或归档存储或标准存储。 开启桶日志 以下代码展示了如何开启桶日志： static OBSClient *client;
开启桶日志 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。 您可以通过set_bucket_logging_configuration_obs开启桶日志功能。 日志目标桶与源桶必须在同一个区域（region）。 如果桶的存储类
obsutil cp命令如何开启增量上传、下载和复制？ 在执行obsutil cp命令进行上传/下载时，可以通过增加“-u”参数开启增量功能。 该参数的含义为：上传/下载/复制每个对象时都会对比源路径和目标路径，仅在目标对象不存在，或者对象大小不一致，或者目标对象的最后修改时间早
如何处理碎片？ OBS中的碎片会占用存储空间，会按照存储空间计费项进行计费。 您可以通过OBS管理控制台或OBS Browser+将桶中碎片清理掉。 如果是由于OBS Browser+分段上传任务中断产生的碎片，继续运行完成任务，碎片将会消失。 当存在运行中断或失败的分段上传任务
日志目标桶与源桶必须在同一个区域（region）。 如果桶的存储类型为低频访问存储或归档存储，则不能作为日志目标桶。 开启桶日志 以下代码展示了如何开启桶日志： // 引入依赖库 require'vendor/autoload.php'; // 使用源码安装时引入SDK代码库 // require 'obs-autoloader
日志目标桶与源桶必须在同一个区域（region）。 如果桶的存储类型为低频访问存储或归档存储，则不能作为日志目标桶。 开启桶日志 以下代码展示了如何开启桶日志： // 创建ObsClient实例 var obsClient = new ObsClient({ // 认证用的ak和sk硬编码到代码中或者明文存储
日志目标桶与源桶必须在同一个区域（region）。 如果桶的存储类型为低频访问存储或归档存储，则不能作为日志目标桶。 开启桶日志 以下代码展示了如何开启桶日志： 其中agency获取，可参考创建委托 // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密
如何获取对象URL？ 按https://桶名.域名/文件夹目录层级/对象名的方式进行拼接。 如果该对象存在于桶的根目录下，则链接地址将不需要有文件夹目录层级。 各区域对应的域名可以从这里的终端节点查看。 例如需访问区域为“华北-北京四”的桶名为“testbucket”中“test”文件夹下对象名为“test
Agency字段为目标桶owner通过统一身份认证服务创建的对OBS服务的委托的名称，创建委托可参考统一身份认证服务委托相关章节。 开启桶日志 以下代码展示了如何开启桶日志： // 初始化配置参数 ObsConfig config = new ObsConfig(); config.Endpoint
我如何选择将数据存储在哪个区域？ 选择区域时，您需要考虑以下几个因素： 地理位置 一般情况下，建议就近选择靠近您或者您的目标用户的区域，这样可以减少网络时延，提高访问速度。不过，在基础设施、BGP网络品质、资源的操作与配置等方面，中国大陆各个区域间区别不大，如果您或者您的目标用户
OBS服务实现了Hadoop的HDFS协议，在大数据场景中可以替代Hadoop系统中的HDFS服务，实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接，为大数据计算提供“数据湖”存储。 HDFS协议：Hadoop中定义了HDFS协议（通过FileSyste
如何进行分段下载？(Java SDK) 在下载对象时，您可以指定下载对象的某一范围内的数据进行分段下载，步骤如下： 您需要以AK、SK、Endpoint先初始化一个客户端ObsClient； 指定桶名和对象名初始化一个GetObjectRequest请求，您可以通过GetObjectRequest
Catalog配置文件（重点） hive connector配置如下: 在etc目录下创建catalog目录 创建一个hive connector的配置文件：hive.properties # hive.properties #连接名 connector.name=hive-hadoop2 #配置hive
流程简介 以下章节介绍如何使用OBS Browser来完成图1中所示的任务。 图1 OBS Browser快速入门 父主题： 入门
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
