检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务,本文介绍DataX如何对接OBS。 对接步骤 下载datax源码,以发布版本datax_v202308为例:下载地址。 修改编译datax。 升级hdfsreader和hdfswri
下载文件或文件夹 操作步骤 登录OBS Browser。 单击待操作的桶,选中需要下载的文件或文件夹后,单击右键选择“下载”。 客户端支持批量下载,选择多个文件或文件夹,单击对象列表上方的“下载”即可批量下载对象。 对于存储类别为归档存储的桶中的文件,需要确认对象的状态为“已恢复”才能对其进行下载。
交issue,或者在华为云对象存储服务论坛中发帖求助。 使用OBS Java SDK对接OBS服务可能会遇到许多问题,您可以通过下面介绍的步骤进行问题分析和定位: 确保使用的是OBS Java SDK的最新版本, 您可以从这里下载最新版本; 确保开启了OBS Java SDK日志
install @obs/esdk-obs-harmony命令执行安装。 方式二:使用源码安装 以安装Harmony SDK最新版本为例,步骤如下: 下载OBS Harmony SDK开发包。 使用DevEco Studio NEXT工具导入开发包,该IDE会自动下载依赖。
如果您已有华为账号,请忽略此步骤。如果您还没有华为账号,请执行以下操作: 注册华为账号并开通华为云。 参考个人账号如何完成实名认证或企业账号如何完成实名认证,完成个人或企业账号实名认证。 为账号充值。 您需要确保账号有足够的余额,才能正常使用OBS等相关资源。请参考账户充值。 操作视频 步骤一:创建桶
至OBS。如图1所示,该方案省去了应用服务器这一步骤,提高了传输效率,不会对服务器产生压力,且服务端签名后直传可以保证传输的安全性。 图1 Web端PostObject直传流程图 前提条件 已创建桶。具体操作请参见创建桶。 操作步骤 配置分为两大步:配置跨域资源共享和使用表单上传。
更方便进行管理数据,OBS提供了一种方式模拟文件夹。通过在对象的名称中增加“/”,将该对象在管理控制台上模拟成一个文件夹的形式展现。 操作步骤 登录OBS Browser+。 单击目标桶名称进入对象管理界面,单击“新建文件夹”。 在对话框中输入文件夹的名称后,单击“确定”,如图1所示。
数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2.3.3-bin.tar.gz,并解压到/opt/hive-2.3.3。 在
创建桶 桶是对象存储中存储对象的容器。您需要先创建一个桶,然后才能在对象存储中存储数据。 操作步骤 登录OBS Browser+。 在页面上区域单击“创建桶”。 在弹出的对象框中根据需要填写桶信息,如图1所示。 图1 创建桶 表1 创建桶 参数 说明 区域 选择新建桶所在的Reg
过对OBS桶资源执行迁出操作,实现桶所属企业项目的修改。 您只需要在桶当前所属的企业项目中找到对应的桶,并迁出至其他企业项目即可。详细操作步骤,请参见迁出企业项目资源。 父主题: 桶和对象相关
上传超过100MB大小的文件。 网络条件较差,和OBS服务端之间的链接经常断开。 上传前无法确定将要上传文件的大小。 分段上传分为如下3个步骤: 初始化分段上传任务。 逐个或并行上传段。 合并段或取消分段上传任务。 分段上传的主要目的是解决大文件上传或网络条件较差的情况。下面的代
清理该标记有利于提高性能。 使用生命周期删除对象规则 关于生命周期规则的元素组成和语法说明可参考生命周期元素说明 配置生命周期规则的具体步骤参见配置生命周期规则 更多生命周期规则示例可参考生命周期配置示例 生命周期相关时间点 生命周期执行的几个关键时间点如下: 对象的最后一次修改时间
利用obsutil帮助命令查找工具功能 obsutil提供了帮助命令(help命令)用于查看各命令的帮助文档。以查询创建桶命令的帮助文档为例,详细的步骤如下: 使用obsutil help命令查看当前支持的所有命令列表。 根据命令列表中的文档说明,找到需要查看的命令缩写,例如创建桶命令缩写为mb。
Presto分为prestoSql(现更名为Trino)和PrestoDB两大分支或是发行版。 Presto on OBS仅支持prestoSql/Trino发行版,下述对接步骤以prestoSql-333版本为例(从prestoSql-332版本开始Presto服务端必须使用JDK 11)。 本章节中的Prest
用户可根据需要删除已创建的桶。 前提条件 待删除的桶为空。 只有桶的所有者才能删除桶。 删除桶之前必须确保桶内的对象已全部删除,并且桶内没有未完成的多段上传任务。 操作步骤 登录OBS Browser+。 选中待删除的桶,单击“删除”。 用户删除桶后,需要等待30分钟才能创建同名桶和并行文件系统。 单击确认框中的“是”后,删除该桶。
打开日志文件obssdk.log文件,查看最近日志,可看到关键报错信息如下所示: 可按照以下步骤排查解决问题: 检查本地DNS服务器是否填写有误,查看windows平台的DNS服务配置步骤如下。 在 "控制面板" 中,查看方式选择“类别”,依次单击"网络和Internet"、“网络和共享中心”和“更改适配器设置”。
本案例介绍如何为华为云账号下的多个IAM用户或用户群组授予OBS所有资源的所有操作权限。拥有本权限的IAM用户可以执行任何OBS操作。 推荐配置方法 IAM自定义策略 配置步骤 使用账号登录华为云,在右上角单击“控制台”。 在控制台页面,鼠标移动至右上方的用户名,在下拉列表中选择“统一身份认证”。 在左侧导航窗格
createPostSignature生成基于表单上传的请求参数。使用代码模拟表单上传的完整代码示例,参见post_object_sample。您也可以通过如下步骤进行表单上传: 使用ObsClient.createPostSignature生成用于鉴权的请求参数。 准备表单HTML页面。 将生成的请求参数填入HTML页面。
要接入OBS服务,您需要拥有一组有效的访问密钥(AK和SK)用来进行签名认证。具体可参考OBS服务环境搭建。 获取AK和SK之后,您便可以按照以下步骤进行初始化。 父主题: 初始化
要接入OBS服务,您需要拥有一组有效的访问密钥(AK和SK)用来进行签名认证。具体可参考OBS服务环境搭建。 获取AK和SK之后,您便可以按照以下步骤进行初始化。 父主题: 初始化