检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据场景下使用OBS实现存算分离 大数据场景下使用OBS实现存算分离方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
例如:当用户的请求出现5xx服务端响应状态码时,那么在云监控中就可以看到5XX状态码个数的指标。 父主题: 监控
微信小程序利用白名单机制管理跨域访问,想要实现数据上传,需要在微信小程序平台域名白名单中配置桶的访问域名。 获取桶的访问域名。 在桶列表单击待操作的桶,进入对象页面后单击“概览”。在“域名信息”下查看桶的访问域名。
数据一致性校验 服务端加密 当启用服务端加密功能后,用户上传对象时,数据会在服务端加密成密文后存储。用户下载加密对象时,存储的密文会先在服务端解密为明文,再提供给用户。
单位:毫秒 ≥ 0 ms 桶 1分钟 request_count_4xx 4xx状态码个数 该指标用于统计服务端响应状态码为4xx的请求数。
打开日志文件obssdk.log文件,查看最近日志,可看到关键报错信息如下所示: 可按照以下步骤排查解决问题: 检查本地DNS服务器是否填写有误,查看windows平台的DNS服务配置步骤如下。
如果存储在对象存储服务 OBS中的数据不再使用,您可以将他们删除,以免继续扣费。 您可以在“费用中心 > 总览”页面设置“可用额度预警”功能,当可用额度、通用代金券和现金券的总额度低于预警阈值时,系统自动发送短信和邮件提醒。 当产生欠费后,请您及时充值使可用额度大于0。
后台运行 如果您有大量任务在OBS Browser+中运行,同时希望能够关闭OBS Browser+的UI界面,以方便进行其他操作,同时希望所有的任务能够后台运行。这时候,您可以单击关闭OBS Browser+工具,并选择后台运行;这时候您的所有任务将进入后台运行模式;您可以在系统托盘中双击
表1 下载列表 支持平台 软件包下载地址 SHA256校验和 Windows x32 OBSBrowserPlus-win32 1ad44933c34668cd24bb9460de48dc94045ab0b1b5830c5c8e06e01612bce1a5 Windows x64
OBS可以作为其他云服务的数据分析学习的数据源,例如MapReduce服务 (MapReduce Service,MRS), AI开发平台ModelArts等。
创建DES磁盘方式服务单 登录DES控制台,创建一个磁盘方式的服务单。然后将DES提供的签名文件导入本地数据磁盘并邮寄给华为云数据中心。 启动数据传输 华为云数据中心收到用户的磁盘并将磁盘挂载到物理服务器后,会短信通知用户填写访问密钥(AK和SK)来启动数据上传。
摄像头拍摄的监控视频通过公网或专线传输至华为云,在弹性云服务器ECS和弹性负载均衡ELB组成的视频监控处理平台将视频流切片后存入OBS,后续再从OBS下载历史视频对象传输到观看视频的终端设备。
华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。
ModelArts:AI开发平台,采用多机多卡分布式训练。 VPC:虚拟私有云和子网。 算法及数据:准备AI训练需要的算法及数据集,如Swin-Transformer算法,及ImageNet21K数据集。
大数据场景下使用OBS实现存算分离 本最佳实践主要提供华为云大数据存算分离方案中不同大数据平台和大数据组件与对象存储服务OBS的对接指导,以及HDFS数据迁移至对象存储服务OBS的方案。
此外,对象存储服务OBS提供了OBSFileSystem插件(OBSA-HDFS),可与上层大数据平台无缝对接,实现业务零改造。
、CDN、OBS 无服务器告警推送 提供一种免开发、易使用、低成本的方式,自动推送华为云的资源告警信息到您常用的通讯平台或统一告警平台 ECS、EVS、OBS、CES、SMN、FunctionGraph、DEW、VPC
obsutil目前暂不支持高级的桶管理和对象管理操作,相关功能会在后续版本中开发,如需配置,建议使用对象存储服务控制台。相关文档请参考《对象存储服务用户指南》。
您也可以在一台Windows计算机上下载到软件包后,通过常见的跨平台传输工具(比如WinSCP)传输至您的Linux运行机。 在软件包所在目录,执行以下解压命令。
获取桶区域位置 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.GetBucketLocation获取桶的区域位置。