检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hadoop对接OBS 概述 Hadoop系统提供了分布式存储、计算和资源调度引擎,用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议,在大数据场景中可以替代Hadoop系统中的HDFS服务,实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接,为大数据计算提供“数据湖”存储。
右键单击要配置的连接,然后单击"属性 "。 单击 "Internet 协议版本 4 (TCP/IP) , 单击"属性",可查看具体的DNS服务器地址配置。 可以调整DNS服务器地址为8.8.8.8或者是114.114.114.114测试。 检查地址是否填写错误,如果错误请及时修改。 比如日志中解析失败地址是“obs
统一身份认证服务:即华为云统一身份认证服务,负责生成临时安全凭证。 实现流程如下: 应用客户端向应用服务器申请一个临时操作凭证。 应用服务器向统一身份认证服务请求临时安全凭证。 统一身份认证服务向应用服务器返回临时安全凭证。 应用服务器将临时安全凭证发放给应用客户端。 应用客户端使用安全凭证完成OBS数据上传下载。
OBS服务环境搭建 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 注册云服务账号 使用OBS之前必须要有一个云服务账号。 打开浏览器。 登录公有云网站。 在页面右上角单击“注册”。
OBS接收到客户端的上传请求,执行上传对象操作。对象上传成功后,OBS封装回调请求。 OBS调用回调接口,向回调服务器发起回调请求。 回调服务器得到上传对象完成的通知,完成数据更新,处理回调请求。 回调服务器将回调响应数据返回给OBS。 OBS将上传对象请求的响应结果返回给客户端,响应结果中携带回调数据。
FunctionGraph、语音识别、OBS、SIS 无服务器日志实时分析 该解决方案帮助您基于无服务器架构实现弹性云服务器 ECS日志的采集、分析、告警以及存档 FunctionGraph、OBS、ECS、LTS、SMN 无服务器图片生成缩略图 基于函数工作流 FunctionGr
obs_options.obs_bucket_context参数 参数 描述 默认值 建议值 host_name 请求使用的主机名,是指存放资源的服务器的域名,就是终端节点endpoint。 NULL - bucket_name 操作的桶名。 NULL - protocol 请求使用的协议类型:
GET:请求服务器返回指定资源,如获取桶列表、下载对象等。 PUT:请求服务器更新指定资源,如创建桶、上传对象等。 POST:请求服务器新增资源或执行特殊操作,如初始化上传段任务、合并段等。 DELETE:请求服务器删除指定资源,如删除对象等。 HEAD:请求服务器返回指定资源的概要,如获取对象元数据等。
查询桶触发器(Python SDK) 功能说明 查询桶上绑定工作流触发器。 接口约束 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 方法定义 WorkflowClient.getTriggerPolicy() 返回结果 表1 返回结果 类型
Obs.0004 客户端与服务器的时间相差大于15分钟。 出于安全目的,OBS会校验客户端与OBS服务器的时间差,当该时间差大于15分钟时,OBS服务器会拒绝您的请求,从而出现此报错。请根据本地UTC时间调整本地时间后再访问。 Obs.0005 服务器负载过高,请稍后重试。 Obs
删除桶触发器(Python SDK) 功能说明 删除在桶上绑定工作流触发器。 接口约束 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 方法定义 WorkflowClient.deleteTriggerPolicy() 返回结果 表1 返回结果
标准存储量+低频访问存储量+归档存储量不等于总存储量,可能的原因有: 数据来源不一致:总存储量数据来源于OBS实时数据,标准存储量、低频访问存储量、归档存储量数据均来源于云监控CES(OBS上报至CES的数据)。 总存储量数据 <= (标准存储量+低频访问存储量+归档存储量) 获取总存储量数据时,存在部分桶容量获取失败的情况。
//username:password@your-proxy:8080。 HTTP代理的格式一般为http://[用户名:密码@]代理服务器地址:端口号,其中用户名密码非必选。 如果proxyUrl参数和系统环境变量的优先级规则为:proxyUrl > HTTPS_PROXY >
你的账户还没有在系统中注册,必须先在系统中注册了才能使用该账户。 先注册OBS服务。 403 Forbidden RequestTimeTooSkewed 请求的时间与服务器的时间相差太大。 检查客户端时间是否与当前时间相差太大。 403 Forbidden SignatureDoesNotMatch 请求中带的签名与系统计算得到的签名不一致。
不同权限和不同有效期的临时访问密钥并返回给用户服务器。 用户服务器将临时访问密钥分发给对应权限的终端APP。 终端APP可通过临时访问密钥使用OBS SDK或API访问OBS服务,因临时凭据的有效时间较短,终端APP需及时向用户服务器请求更新临时访问密钥。 配置示例 请参见临时授权访问OBS。
在欧洲地区有业务的用户,可以选择“欧洲-巴黎”区域。 云服务之间的关系 如果多个云服务一起搭配使用,需要注意: 不同区域的弹性云服务器、关系型数据库、对象存储服务内网不互通。 不同区域的弹性云服务器不支持跨区域部署在同一负载均衡器下。 资源的价格 不同区域的资源价格可能有差异,请参见华为云服务价格详情。
户无法获取某个桶长期有效的固定IP地址。 此时,可以通过在ECS上搭建Nginx反向代理服务器,来实现通过固定IP地址访问OBS。 使用自定义域名托管静态网站 当企业有大量静态网站需要提供给用户访问,却不想搭建网站服务器时,可以将静态网站托管在OBS桶中,用户可以直接通过OBS桶绑定的自定义域名访问托管的静态网站。
文件接口方式的数据共享访问:由于 AI 架构需要使用到大规模的计算集群(GPU/NPU服务器),集群中的服务器访问的数据来自一个统一的数据源,即一个共享的存储空间。这种共享访问的数据有诸多好处,它可以保证不同服务器上访问数据的一致性,减少不同服务器上分别保留数据带来的数据冗余等。另外以 AI 生态中非常流行
OBS控制台使用相关 控制台浏览器兼容性 出现“客户端与服务器的时间相差15分钟”的报错 下载一个对象名较长的对象到本地后,对象名称改变 使用IE11浏览器下载对象时提示对象无法下载 使用IE9浏览器无法打开OBS管理控制台界面 错误码列表
因使用FUSE框架存在内核态与用户态切换,不适合高并发场景。 ls、stat等linux命令需要远程访问OBS服务器,所以性能较差。 一个并行文件系统支持挂载到多台云服务器,但数据一致性需由您自行维护,避免出现多台云服务器同时对一个文件并发写入的情况。 桶级的桶策略和IAM策略对obsfs挂载方式生效,目