检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
分类描述 1XX 信息,服务器收到请求,需要请求者继续执行操作,一般对用户调用函数不可见。 2XX 成功,操作被成功接收并处理。 3XX 重定向,需要进一步的操作以完成请求。 4XX 客户端错误,请求包含语法错误或无法完成请求。 5XX 服务器错误,服务器在处理请求的过程中发生了错误
您还需同时指定该存储的“服务器地址”,支持填写IP地址或域名,格式为:服务器IP地址或域名:服务器端口号(HTTPS协议端口号为“443”,HTTP协议端口号为“80”)。系统默认服务器为HTTPS服务器,如需使用HTTP服务器,请单击页面右上角的图标并单击“系统配置”,在弹出的“系统配置”窗口,
连接超时异常 如果获取到的异常堆栈出现“System.Net.WebException: 无法连接到远程服务器 --->System.Net.Sockets.SocketException: 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败“,说明连接超时。
Hortonworks HDP对接OBS 部署视图 安装版本 硬件:1master+3core(配置:8U32G,操作系统:CentOS 7.5) 软件:Ambari:2.7.1.0,HDP:3.0.1.0 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具:下载地址。
format_exc()) # 关闭workflowClient workflowClient.close() 相关链接 关于配置桶触发器的API说明,请参见配置桶触发器。 配置桶触发器过程中返回的错误码含义、问题原因及处理措施可参考OBS错误码。 父主题: 触发器策略管理
支持设置桶的生命周期管理策略,实现自动删除超期的对象。 挂载外部桶 方便用户管理其他OBS用户共享的数据。 CDN下载 可以为本桶绑定的自定义域名配置启用CDN下载,以实现在OBS Browser上下载对象时,从CDN加速节点获取,提高下载速度。 任务管理 方便用户管理上传、下载、重命名、移动、复制、删除、恢复任务。
下列情况下(但不仅限于此)通常会导致数据上传失败而产生垃圾数据,因此需要清理这些碎片数据来释放空间。 网络条件较差,与OBS 对象存储的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。 碎片管理功能可以清除由于对象上传失败而产生的垃圾数据。
文件上传使用本地文件作为对象的数据源。以下代码展示了如何进行文件上传: // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量ACCE
ETIMEDOUT”错误,表明连接超时,其原因一般是服务地址(Endpoint)错误或网络不通导致无法连接OBS服务。 解决方案: 请检查服务地址是否为空,或者是非法的服务器地址。 请检查网络状况。 检查服务端是否返回了异常的结果,并联系服务端运维团队。 父主题: 异常处理(Node.js SDK)
以升级到2.8.3版本为例。 修改datax\hdfswriter\pom.xml和datax\hdfsreader\pom.xml文件配置: <properties> <!--由2.7.1升级到2.8.3--> <hadoop.version>2.8.3</hadoop.version>
Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出,在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置: log4j.logger.com.obs= ERROR
碎片管理 背景知识 OBS采用分块上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生碎片。 网络条件较差,与OBS的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。 文件上传失败或上传任务暂停后,都会有碎片存储在OB
重定向所有的请求到另外一个站点。 设定特定的重定向规则来重定向特定的请求。 调用删除桶的网站配置接口,您可以删除指定桶的网站配置。 接口约束 您必须是桶拥有者或拥有删除桶的网站配置的权限,才能删除桶的网站配置。建议使用IAM或桶策略进行授权,如果使用IAM则需授予obs:bucket:De
上传对象时配置,上传后不支持修改 两者之间的相互影响 桶未开启加密时,对象不强制加密,可以单独配置加密。 桶开启加密时,OBS仅会对开启桶服务端加密之后上传的对象进行加密,不会改变开启前已有对象的加密状态。桶的加密配置会成为对象默认的加密配置,但对象仍可自定义加密配置。 桶更改加
在弹出的对话框中,开启静态网站托管并选择“配置到当前桶”,将“默认首页”配置为数据规划中的index.html,将“默认404错误页面”配置为数据规划中的error.html,如下所示。 图4 配置静态网站托管 您也可以根据业务需求配置重定向规则,实现网站内容重定向,具体操作请参见配置静态网站托管。 单击“确定”。
Spark集群对接OBS配置项 Spark应用对接OBS,需要在YARN集群中进行core-site.xml配置,包括:ak、sk、endpoint、impl等。 core-site.xml配置完成后“重启”YARN集群,再重启Spark集群的“部署客户端配置”。 Hive集群对接OBS配置项 H
是否可以同时装两个不同站点的OBS Browser+工具? 不可以。 一个系统中只允许安装一个版本的OBS Browser+工具。 不同局点提供的OBS Browser+工具可能支持的功能不一致。 因此,如果您想使用某一个局点的OBS请下载相应局点的OBS Browser+工具。
登录Windows操作系统的用户名只允许包含数字、大小写字母。 CPU 最低配置:双核1.6GHz CPU 标准配置:双核2.4GHz CPU - 内存 最低配置:4GB 内存 标准配置:8GB 内存 可用内存:≥512MB - 安装盘可用空间 ≥512MB 安装OBS Browser所需的硬盘空间。 数据盘可用空间
设置托管配置 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient->setBucketWebsite设置桶的托管配置。 配置默认主页和错误页面 以下代码展示了如何配置默认主页和错误页面:
Cloud Server,ECS)上通过内网访问OBS,可以避免公网网络质量带来的不利影响,达到优化性能、节省开支的目的。 OBS向您提供了相关最佳实践的配置方法,详情请参见在ECS上通过内网访问OBS。 OBS 2.0和OBS 3.0的判断方法 OBS存在两代架构,分别为OBS 2