检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
GET:请求服务器返回指定资源,如获取桶列表、下载对象等。 PUT:请求服务器更新指定资源,如创建桶、上传对象等。 POST:请求服务器新增资源或执行特殊操作,如初始化上传段任务、合并段等。 DELETE:请求服务器删除指定资源,如删除对象等。 HEAD:请求服务器返回指定资源的概要,如获取对象元数据等。
中的HDFS服务,本文介绍DataX如何对接OBS。 对接步骤 下载datax源码,以发布版本datax_v202308为例:下载地址。 修改编译datax。 升级hdfsreader和hdfswriter模块依赖的hadoop版本,以升级到2.8.3版本为例。 修改datax\hdfswriter\pom
为桶配置服务端加密后,OBS会对历史对象进行加密吗? 不会。 OBS只对服务器端加密配置生效后上传的对象进行加密,不会加密历史对象。如果您需要加密历史对象,需删除历史对象后重新上传。 父主题: 服务端加密
} }); 配置重定向规则 以下代码展示了如何配置重定向规则: // 创建ObsClient实例 var obsClient = new ObsClient({ // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文
设置托管配置 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient->setBucketWebsite设置桶的托管配置。 配置默认主页和错误页面 以下代码展示了如何配置默认主页和错误页面:
HDP,满足用户业务的灵活诉求。 华为云MapReduce服务(MRS) 华为云MapReduce服务(MRS)是华为云提供的大数据服务,可以在华为云上部署和管理Hadoop系统,一键即可部署Hadoop集群。 MRS提供用户完全可控的一站式企业级大数据集群云服务,完全兼容开源接口,结合华为云计算、存储优势及大
查看托管配置 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 您可以通过get_bucket_website_configuration查看桶的托管配置。以下代码展示了如何查看托管配置: 参数描述 字段名 类型 约束 说明 option
其余地区endpoint请提交工单咨询技术支持。 注意事项 VPC终端节点策略,配置后需等待10分钟才可生效,请耐心等待。 操作步骤 以下提供四种配置双端固定的示例。 配置示例一:只配置VPC终端节点策略 场景描述: 只允许VPC1内的服务器下载桶mybucket中的对象。 其中VPC1的ID为:4d
policy,对应表单中policy字段。 signature,对应表单中的signature字段。 以下代码展示了如何生成基于表单上传的请求参数: // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;本示例以ak和sk保存在环境变量中
清除托管配置 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 您可以通过delete_bucket_website_configuration清除桶的托管配置。以下代码展示了如何清除托管配置: 参数描述 字段名 类型 约束 说明
成为新生产力。企业迫切需要完成数字化转型,提高生产力,使数据资产发挥最大价值。而传统企业在业务未上云之前,业务部署和数据存储往往都在本地IDC机房的多个集群,且一台服务器同时提供计算和存储能力,这种方式导致的如表1所示的几个关键问题,已成为企业数字化转型的阻碍。 表1 传统企业在大数据场景面临的关键问题
工程师接通两端物理线路,华为工程师配合进行连接配置。具体操作步骤请参见开通云专线。 配置VPC终端节点 在VPC终端节点中创建DNS终端节点和OBS终端节点,在本地数据中心配置DNS转发规则、DNS路由以及OBS路由。具体操作参见配置通过内网访问OBS服务的终端节点。 “拉美-墨
如何查看桶内的文件夹大小? 可以使用obsutil列举对象命令,指定前缀为需要查看的文件夹进行列举。 以Linux操作系统为例,运行./obsutil ls obs://bucket-test/test/ -du -limit=0命令,查询桶bucket-test下test文件夹的大小。
所有者的账号ID,即domain_id。 取值范围: 如何获取账号ID请参见如何获取账号ID和用户ID? 默认取值: 无 owner_name str 作为请求参数时可选 参数解释: 所有者的账号用户名。 取值范围: 如何获取账号用户名请参见如何获取用户名? 默认取值: 无 表11 StorageClass
Spark集群对接OBS配置项 Spark应用对接OBS,需要在YARN集群中进行core-site.xml配置,包括:ak、sk、endpoint、impl等。 core-site.xml配置完成后“重启”YARN集群,再重启Spark集群的“部署客户端配置”。 Hive集群对接OBS配置项 H
生命周期:通过为桶配置生命周期规则,可以实现定时转换对象存储类别或定时删除对象。 权限控制:OBS提供IAM权限、桶策略、桶ACL、对象ACL多种权限控制方式,实现对桶和对象更精细化的权限控制。 域名管理:通过配置自定义域名实现通过自定义域名访问桶和对象;配置CDN加速域名实现加速访问桶和对象。
败而产生的。 OBS采用分段上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生碎片。 网络条件较差,与OBS的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。 父主题: 碎片管理
查看托管配置 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.getBucketWebsite查看桶的托管配置。以下代码展示了如何查看托管配置: //
清除托管配置 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.deleteBucketWebsite清除桶的托管配置。以下代码展示了如何清除托管配置: //
单击“立即申请”。 确认购买信息后,单击“提交申请”。 提交申请后,我们会启动为您部署专属资源,一般需要2~3个月时间。 专属资源部署和分配完成后,表示订单完成。 您可以登录华为云控制台,使用专属对象存储。也可以在专属对象存储页面查看“专属对象存储池”的存储类别、到期时间和存储空间使用率。