华为云用户手册

  • 监控安全风险 云监控服务 ,为用户提供一个针对CloudPond内资源的立体化监控平台。使用户全面了解CloudPond上的资源使用情况、业务的运行状况,并及时收到异常告警做出反应,保证业务顺畅运行。 用户开通 云监控 后, CES 可以查看小站内云服务器、带宽、弹性公网IP等资源的使用情况,也可以创建和设置告警规则,自定义监控目标与通知策略,及时了解小站的运行状况,从而起到预警作用。 CES的详细介绍,请参见CES功能介绍。 CloudPond支持的监控指标,请参见支持的监控指标。 查看监控指标步骤,请参见查看监控指标。 父主题: 安全
  • 前提条件 准备弹性负载均衡ELB,创建ELB的操作,请参考创建独享型负载均衡器。创建的ELB必须符合以下条件。如果已有符合条件的ELB,无需重复创建。 ELB的实例类型必须选择“独享型”,且必须开启“IP类型后端(跨VPC后端)”。 ELB的规格中必须包含“网络型(TCP/UDP)”。 ELB必须选择与Redis实例相同的VPC。 ELB必须绑定弹性公网IP(EIP)。 ELB必须有可用的端口。 单个ELB挂载多个实例时,Redis的性能会受限于ELB的规格。 为保护Redis实例的网络安全性,Redis实例必须配置访问密码,免密访问的实例不支持开启公网访问。如需修改免密访问的实例为密码访问,请参考重置缓存实例密码。
  • 开启公网访问并获取公网访问地址 登录分布式缓存服务管理控制台。 在管理控制台左上角单击,选择实例所在的区域。 单击左侧菜单栏的“缓存管理”,进入缓存管理页面。 单击需要开启公网访问的实例名称,进入该实例的基本信息页面。 单击“公网访问”后的“开启”。 在开启公网访问弹窗中勾选需要绑定的ELB,单击“确定”。 如果没有可选的ELB,单击页面提示的“弹性负载均衡”跳转链接,可前往ELB控制台页面进行创建。如果已经创建了ELB,未在ELB选择列表中,请参考前提条件中的说明排查ELB是否符合绑定条件。 Redis实例绑定ELB期间,请勿删除绑定的ELB和监听器,并保证ELB可用,否则会影响Redis的正常公网连接。 如果需要删除ELB实例,请先在Redis实例详情页面解除绑定(关闭公网连接),再在ELB控制台删除ELB实例。 图1 绑定ELB 开启公网公网状态显示“成功”后,表示开启公网访问成功。 单击左侧菜单栏的“概览”,返回实例基本信息页面查看公网访问信息。如需关闭公网访问,单击“关闭”。 图2 公网访问连接地址 上图中的“EIP”地址为Redis实例的公网访问地址,“监听器”后的端口号为公网访问的端口。 主备实例开启公网访问后,会生成两个监听器。一个主节点监听器(以listener-master开头)和一个备节点监听器(以listener-slave开头),分别用于监听实例的主节点和备节点。公网连接主备实例时请使用主监听器后的端口用于连接主备实例的主节点。仅当需要配置主备实例读写分离时,需要同时使用主、备监听器端口,分别连接主、备节点。 图3 主备实例公网连接地址 连接信息中的“连接地址”及“IP地址”为相同VPC内客户端访问Redis时的“ 域名 地址:端口”和“IP地址:端口”。
  • Redis实例配置ELB内网IP白名单(可选) 如果Redis开启了IP白名单,需要将ELB内网IP地址添加到Redis实例的IP白名单中,以确保ELB可以访问Redis实例: 单击“公网访问”中ELB后的链接,跳转到负载均衡器页面。 复制页面中的ELB“ID”。 单击页面中“IPv4私有地址”后的地址,跳转到对应子网页面。 选择“IP地址管理”页签,在第二个搜索框中筛选资源ID(已复制的ELB ID),获取ELB内网IP地址。 将ELB的全部内网IP地址添加到Redis的IP白名单中,添加方式请参考配置Redis访问白名单。
  • 步骤四:开启应用监控 在E CS 或CCE上,配置Deployment应用的启动脚本:在yaml描述文件中增加如下示例中加粗配置。 执行如下命令编辑yaml文件: vi xxx.yaml 其中xxx为文件名称,是您在创建Deployment应用时自定义的应用描述文件。如下为示例,Deployment的详细说明请参见kubernetes官方文档。 kind: Deployment apiVersion: apps/v1 metadata: name: user-service namespace: default selfLink: /apis/apps/v1/namespaces/default/deployments/user-service uid: b231788d-9abd-11e8-80a5-fa163e3a2cc7 resourceVersion: '50972062' generation: 13 creationTimestamp: '2018-08-08T03:46:56Z' labels: app: user-service stack-name: auto-test annotations: deployment.kubernetes.io/revision: '5' description: '' enable: true spec: replicas: 1 selector: matchLabels: app: user-service template: metadata: creationTimestamp: null labels: app: user-service enable: true spec: #容器外主机上的挂载目录,包括数据输出路径、Java探针包路径 volumes: - name: paas-apm hostPath: path: /opt/apm-container - name: pinpoint-pkg hostPath: path: /opt/oss/servicemgr/ICAgent/pinpoint containers: - name: user-service image: '100.125.0.198:20202/zhyyy/user-service:v1' ports: - containerPort: 8080 protocol: TCP env: - name: PAAS_APP_NAME #工作负载名称(服务名称) value: user-service - name: PAAS_NAMESPACE #CCE集群namespace,如果非CCE集群则不填该环境变量 value: default - name: PAAS_PROJECT_ID #租户项目projectId value: d698369a975645bfb35f8437d11c5a12 - name: PAAS_CLUSTER_ID #CCE集群ID,可以在CCE界面通过f12查看,如果非CCE集群则不填该环境变量 value: 89b49857-5433-11e8-941c-0255ac101f3e - name: PAAS_POD_ID valueFrom: fieldRef: fieldPath: metadata.uid - name: PAAS_MONITORING_GROUP #应用名称(监控组),建议完成一个功能的多个服务填写相同应用名称 value: shoppingmall - name: JAVA_TOOL_OPTIONS value: -javaagent:/opt/oss/servicemgr/ICAgent/pinpoint/pinpoint-bootstrap.jar -Dapm_container=true resources: {} #挂载进容器内数据输出路径、Java探针包路径 volumeMounts: - name: paas-apm mountPath: /paas-apm/collectors/pinpoint - name: pinpoint-pkg mountPath: /opt/oss/servicemgr/ICAgent/pinpoint terminationMessagePath: /dev/termination-log terminationMessagePolicy: File imagePullPolicy: Always restartPolicy: Always terminationGracePeriodSeconds: 30 dnsPolicy: ClusterFirst securityContext: {} schedulerName: default-scheduler strategy: type: RollingUpdate rollingUpdate: maxUnavailable: 0 maxSurge: 1 revisionHistoryLimit: 10 progressDeadlineSeconds: 600 status: observedGeneration: 13 replicas: 1 updatedReplicas: 1 readyReplicas: 1 availableReplicas: 1 conditions: - type: Progressing status: 'True' lastUpdateTime: '2018-09-02T13:25:46Z' lastTransitionTime: '2018-08-08T03:46:56Z' reason: NewReplicaSetAvailable message: ReplicaSet "user-service-f584f46b7" has successfully progressed. - type: Available status: 'True' lastUpdateTime: '2018-12-21T11:01:33Z' lastTransitionTime: '2018-12-21T11:01:33Z' reason: MinimumReplicasAvailable message: Deployment has minimum availability. 使用修改后的Deployment重启应用,开启应用性能监控。
  • 步骤四:启动镜像 原生docker启动命令中添加java探针所需参数,其中应用名称与服务名称根据实际调整。以vmall应用、服务名称vmall-dao-service为例。 修改docker启动脚本。 示例 原始启动命令如下: docker run -p 8080:8080 demo:latest 配置后启动命令如下: docker run -e JAVA_TOOL_OPTIONS="-javaagent:/opt/oss/servicemgr/ICAgent/pinpoint/pinpoint-bootstrap.jar -Dapm_application=vmall -Dapm_tier=vmall-dao-service -Dapm_container=true" -v /opt/apm-container:/paas-apm/collectors/pinpoint -v /opt/oss/servicemgr/ICAgent/pinpoint:/opt/oss/servicemgr/ICAgent/pinpoint -p 8080:8080 demo:latest 运行docker run命令来启动镜像,可以将镜像的应用接入 APM
  • 购买套餐包 若您有长期使用APM的需求,您可以购买对应版本的套餐包。使用丰富功能的同时,还能为您节约更多的成本。 在APM“总览”界面上单击“购买套餐”。 在购买页面选择区域、产品类型、套餐包类型、套餐规格及购买时长。 产品类型:网格型适用于在Istio网格的集群上部署的应用。探针型适用于一般部署类型(虚机部署等)的应用。 套餐包类型:各套餐包支持的功能不同,请参见套餐包详情。 套餐规格:指套餐包中包含的探针实例数。一个应用进程需要安装一个探针,您可以根据自己业务的进程总数进行合理选择。套餐包到期后若您没有购买新的套餐包,将自动转为按需收费。若已欠费,探针将不再上报数据,影响您对APM的使用,详见续费说明。 单击“立即购买”并完成支付,套餐包购买完成。 APM购买完成后可参考监控Java应用等章节将您的应用接入APM,即可开启您的应用性能监控之旅。
  • 切换版本 如果您在使用APM的过程中,由于业务发生变化,当前使用的APM版本的功能不能满足您的需求,您可以切换至其他更高级的版本。同时也支持从高版本切换至低版本,每月限一次。 在APM“总览”页面单击“切换版本”。 在切换版本页面选择产品类型和产品规格。 了解各版本支持的功能明细后,单击“立即切换”即可。 若您之前已购买了套餐包,切换版本后探针个数会自动换算为新版本的探针个数。 若您之前未购买套餐包,切换版本后则会按照您实际使用的探针数按需计费。
  • DES Teleport方式 Teleport是数据快递服务(Data Express Service,DES)专为30TB~500TB范围内数据搬迁至OBS而定制的存储设备,具有防尘防水、抗震抗压以及GPS锁定、传输加密等多重安全防护机制,配合离线传输的方式,能安全、高效的完成大规模数据搬迁。 图3 DES Teleport方式搬迁数据示意图 创建OBS桶 通过OBS控制台或OBS Browser+创建桶,用于存放原始数据。 创建DES Teleport服务单 DES提供Teleport和磁盘两种数据快递方式,在当前场景下选择Teleport方式。 接收并导入数据至Teleport 成功创建DES服务单后,用户将接收到由华为数据中心邮寄的Teleport设备。接着进行简单配置操作使Teleport与用户客户端连接起来,然后执行数据拷贝并将设备回寄给华为云数据中心。 启动数据传输 在华为云数据中心收到回寄的Teleport后,用户可以在DES控制台上输入访问密钥启动数据从Teleport到OBS指定桶的传输。数据传输完成后,用户可以通过DES控制台和OBS控制台两种途径查看传输结果。 具体操作步骤请参见Teleport方式详细指导。
  • DES磁盘方式 DES磁盘方式同样采用离线的方式将用户数据磁盘(USB、eSATA接口的磁盘等)快递至华为云,实现数据高效传输。磁盘方式适用于30TB以下的数据量搬迁。 图2 DES磁盘方式搬迁数据示意图 创建OBS桶 通过OBS控制台或OBS Browser+创建桶,用于存放原始数据。 创建DES磁盘方式服务单 登录DES控制台,创建一个磁盘方式的服务单。然后将DES提供的签名文件导入本地数据磁盘并邮寄给华为云数据中心。 启动数据传输 华为云数据中心收到用户的磁盘并将磁盘挂载到物理服务器后,会短信通知用户填写访问密钥(AK和SK)来启动数据上传。数据传输完成后,用户可以通过DES控制台和OBS控制台两种途径查看传输结果。同时华为云数据中心也会将用户磁盘回寄给用户。 具体操作步骤请参见磁盘方式详细指导。
  • 云专线方式 云专线方式由用户自己购买云专线服务(Direct Connect,DC),直接将用户本地的网络与华为云网络打通,实现专线直接访问OBS等服务。云专线方式适用于需要频繁或实时地将本地数据搬迁至OBS的场景。专线提供的低时延、高带宽,可以满足用户随时上传数据至OBS的需求。 图4 云专线方式搬迁数据示意图 创建OBS桶 登录OBS控制台,创建一个或多个用于存储用户数据的桶。 开通云专线服务 登录云专线控制台,根据业务需求填写专线申请并提交订单,待管理员审核通过后,用户支付订单,联系运营商安排工程师接通两端物理线路,华为工程师配合进行连接配置。具体操作步骤请参见开通云专线。 配置 VPC终端节点 在VPC终端节点中创建DNS终端节点和OBS终端节点,在本地数据中心配置DNS转发规则、DNS路由以及OBS路由。具体操作参见配置通过内网访问OBS服务的终端节点。 “拉美-墨西哥城一”、“拉美-圣保罗一”和“拉美-圣地亚哥”区域支持服务类别选择“云服务”购买连接OBS的终端节点,详情参见购买连接OBS的终端节点。拉美-墨西哥城一选择com.myhuaweicloud.na-mexico-1.obs;拉美-圣保罗一选择com.myhuaweicloud.sa-brazil-1.obs,“拉美-圣地亚哥”选择com.myhuaweicloud.la-south-2.obs。 其他区域支持服务类别选择“按名称查找服务”购买连接OBS的终端节点,请提交工单寻求技术支持获取终端节点服务名称。 启动数据传输 专线搭建成功并完成VPC终端节点配置后,用户便可以通过控制台、工具、API、SDK等多种方式将本地数据上传至OBS。
  • 背景 传统的自建存储服务器已不能满足大量的数据存储需求,主要原因可以归类为以下三点: 数据存储量受限于搭建服务器时使用的硬件设备,如果存储量不够,需要重新购买存储硬盘,进行人工扩容。 前期安装难、设备成本高、初始投资大、自建周期长、无法匹配快速变更的企业业务。 需承担网络信息安全、技术漏洞、误操作等各方面的数据安全风险。 OBS提供海量、稳定、安全的 云存储 能力,无需事先规划存储容量,存储资源可线性无限扩展,用户永远不必担心存储容量不够用。在OBS上可以存储任何类型和大小的非结构化数据,多级可靠性架构以及服务端加密、日志管理、权限控制等功能,保障存储在OBS上的数据高度稳定和安全。在成本方面,OBS即开即用,免去了自建存储服务器带来的资金、时间及人力成本的投入,后期的设备维护也全部交由OBS处理。 华为云提供搬迁方案,帮助用户将自建存储服务器上的数据短时间、低成本、安全、高效地搬迁至OBS。用户可根据数据量、耗时、费用等需求选择适合的方案进行数据搬迁。
  • 搬迁方案 针对不同的搬迁场景及需求,华为云提供如表1所示的几种搬迁方案。 表1 搬迁方案 搬迁方式 适用数据量 要求 耗时 费用 OBS工具方式(在线) 不高于1TB的数据量 要求用户公网带宽空闲,需要人工操作客户端或脚本启动数据上传 家用100Mbps带宽,1TB耗时1天左右 数据传输不收取费用,仅OBS收取基本的存储费用 CDM 方式(在线) 单次小于8TB的数据量 需要用户单独购买CDM服务 1TB~8TB/天(取决于网络和数据读取源的读写性能) 根据购买CDM实例规格以及使用时长收费,具体参见CDM价格详情 DES磁盘方式(离线) 单次小于30TB的数据量 需要用户自己提供磁盘 请参见从创建DES服务单到数据导入华为云需要多长时间? 根据磁盘数量以及使用时长收费,具体参见DES价格详情 DES Teleport方式(离线) 单次30TB~500TB的数据量 由华为数据中心邮寄Teleport给用户使用 请参见从创建DES服务单到数据导入华为云需要多长时间? 根据数据大小以及使用时长收费,具体参见DES价格详情 云专线方式(实时) 每月大于100TB的数据量,需要实时在线上传 需要部署专线 根据专线带宽决定 根据专线距离以及带宽收费,具体参见云专线价格详情
  • 使用场景 传统的备份与恢复方案需要将备份数据写入磁带等存储设备,然后再运输至数据中心。在此过程中数据的安全及完整性依赖很多因素,比如硬件、人员等等。无论是从前期搭建数据中心还是后期的维护,都使得传统的备份与恢复方案面临着管理复杂、投入成本高的难题。 云存储定位于简单、安全、高效且低成本,使其成为磁带等传统存储设备的非常有吸引力的替代品。OBS即一种云存储服务,它提供海量、可弹性扩展的存储服务。OBS所有的业务、存储节点采用分布集群方式工作使得OBS的可扩展性更高。提供数据多份冗余、一致性检查等功能使得存储在OBS中的数据更加安全、可靠。OBS按照使用量付费,使得成本易于预测。 Commvault、爱数云备份服务(AnyBackup Cloud)等第三方备份软件,都支持对接OBS进行数据备份。通过这些备份软件,用户可以根据自身需求制定合适的备份策略,达到安全、高效的备份目的。
  • 逻辑架构 此处以使用Commvault备份本地单节点部署的SAP HANA为例,其逻辑架构如图1所示。 图1 逻辑架构 逻辑架构中各组件说明如表1所示: 表1 组件说明 Name 说明 iDataAgent (iDA) 备份客户端代理,Commvault备份软件的组成部分,部署在SAP HANA节点上,负责获取SAP HANA上需要备份的数据。 CommServe (CS) 备份服务器,Commvault备份软件的组成部分,部署在备份管理节点,负责全局备份策略的制定和备份业务的调度。 Media Agent (MA) 备份介质,Commvault备份软件的组成部分,部署在备份业务节点,负责直接将备份数据存储至OBS。 OBS 在备份场景下OBS负责存储备份数据,桶是OBS中存储数据的容器,最终数据都存储在OBS桶中。 一个CommCell是一个备份管理域 ,是软件的逻辑组合 ,包含获取数据 、传输数据 、管理数据和信息的所有软件组件。
  • 备份流程 安装和预配置备份软件 在备份SAP HANA场景下,需要安装和配置备份服务器(CommServe)、备份介质(MediaAgent)及SAP HANA备份客户端代理(iDataAgent)三个组件。 创建备份存储空间(OBS桶) 登录OBS控制台,创建一个桶,作为备份数据存储空间。详细创建桶操作请参见创建桶。 在CommCell Console上创建云存储库,输入OBS终端节点地址、访问密钥、桶名,用以将Commvault的备份介质(MediaAgent)与OBS关联。 CommCell Console是用于管理CommCell环境、监视和控制活动作业以及查看与活动相关的事件的图形用户界面。 制定Commvault备份策略 在Commcell Console上创建备份策略,指定数据备份的周期、时间以及加密方式等。 检查备份执行情况 备份策略执行期间,用户可以通过Commcell Console查看备份执行情况。 (可选)执行数据恢复 在SAP HANA源机上执行数据恢复。 Commvault的具体操作请参见Commvault官方文档。
  • 配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影响,默认是16Gbit/s,如果大模型训练生成的Checkpoint文件过大、导出速度过慢,可提交工单申请调大OBS服务的写入带宽。 父主题: 基本配置
  • 方案架构 应用客户端每个请求都将向应用服务器申请预签名URL,该预签名URL有效期由应用服务器管理。具体流程如图1。 图1 移动应用访问OBS数据流程 角色分析如下: 应用客户端:即最终用户手机上的APP,负责向应用服务器申请包含预签名的URL,以及访问OBS完成数据上传或下载。 应用服务器:即提供该Android/iOS应用的开发者开发的APP后台服务,用于管理凭证信息以及发放预签名URL。 OBS:即华为云对象存储,负责处理移动应用的数据请求。 实现流程如下: 移动应用客户端向应用服务器申请一个预签名的URL。 Android和iOS应用使用OBS服务时,不需要存储访问密钥(AK/SK)。应用在上传前必须向用户的应用服务器申请访问OBS的URL,并携带必须信息,包括请求类型、资源路径和资源名称。比如上传操作需要标识该URL为上传请求,需要包含上传的路径以及上传对象的名称;下载操作需要标识该URL为下载请求,需要包含所下载对象的名称。 应用服务器作为可信设备,在应用服务器上存储访问密钥(AK/SK)。应用服务器在验证客户端身份合法之后,使用应用服务器保存的访问密钥(AK/SK)以及客户端访问的资源、操作类型生成预签名URL。举例: https://examplebucket.obs.cn-north-4.myhuaweicloud.com/objectkey?AccessKeyId=AccessKeyID&Expires=1532779451&Signature=0Akylf43Bm3mD1bh2rM3dmVp1Bo%3D Android/iOS移动应用获取此URL,直接使用该URL操作数据,比如上传或者下载操作。 URL中会包含用户的AK、签名、有效期、资源等信息,任何拿到这个URL的人均可执行这个操作。OBS服务收到这个请求并验证签名后,认为该请求就是签发URL的用户自己在执行操作。例如构造一个携带签名信息的下载对象URL,拿到相应URL的人能下载这个对象,但该URL只在Expires指定的失效时间内有效(如果使用临时访问密钥,有效期为临时访问密钥有效时长和Expires的最小值)。URL中携带签名主要用于在不提供给其他人SK的情况下,让其他人能用预签发的URL来进行身份认证,并执行预定义的操作。
  • 资源和成本规划 最佳实践中涉及的资源如下: 表1 资源说明 资源 资源说明 应用客户端(APP Client) 最终用户手机上的APP,负责向应用服务器申请包含预签名的URL,以及访问OBS完成数据上传或下载。 应用服务器(APP Server) 提供该Android/iOS应用的开发者开发的APP后台服务,用于管理凭证信息以及发放预签名URL。 对象存储服务 (OBS) 华为云对象存储服务,负责处理移动应用的数据请求。
  • OBS最佳实践汇总 本文汇总了基于对象存储服务(OBS,Object Storage Service)常见应用场景的操作实践,为每个实践提供详细的方案描述和操作指导,帮助用户轻松构建基于OBS的存储业务。 表1 OBS最佳实践一览表 最佳实践 说明 面向AI场景使用OBS+SFS Turbo的存储加速实践 针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS Turbo的AI云存储解决方案。华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动,您可以通过SFS Turbo HPC型文件系统来加速对OBS对象存储中的数据访问,并将生成的结果数据异步持久化到OBS对象存储中长期低成本保存。 OBS安全配置建议 本章节提供了OBS使用过程中的安全最佳实践,旨在为提高整体安全能力提供可操作的规范性指导。 企业数据权限控制最佳实践 本最佳实践提供了企业开通OBS后可以设置的四种常见权限控制。 为不同职能部门的员工设置不同的访问权限,以此达到不同部门人员访问公司数据的权限隔离。 设置权限允许其他部门/项目用户下载共享数据,禁止写删。 给各业务部门分配各自所需的 IAM 用户,通过桶策略给每个业务部门下的IAM用户授予独立的资源权限。 通过OBS Browser+添加外部桶的方式实现业务部门之间桶资源隔离。 搬迁本地数据至OBS 本章节根据用户本地(个人电脑或自建存储服务器)数据大小,介绍了几种将本地数据搬迁至OBS的方式,并针对不同方式提供了对应操作流程及指导。 迁移第三方云厂商的数据至OBS 本章节根据存储在第三方云厂商的数据量及迁移场景,介绍了几种迁移方式,并针对不同方式提供了对应操作流程及指导。 OBS之间数据迁移 本章节介绍如何在华为云对象存储服务OBS之间进行跨账号、跨地域、以及同地域内的数据迁移。 使用备份软件实现本地数据备份至OBS 本章节描述了备份本地数据至OBS的背景以及OBS支持的备份软件,并以Commvault备份软件为例,介绍了备份本地数据至OBS的基本流程。 在ECS上通过内网访问OBS ECS支持通过公网和华为云内网两种方式访问OBS,为优化性能、节省开支,建议通过华为云内网访问OBS。本章节详细描述了在ECS上如何通过华为云内网访问OBS服务。 通过 CDN加速 访问OBS OBS支持通过CDN加速实现快速获取存储在OBS上的数据,提升终端用户体验,降低OBS流量开销。本章节以OBS文件下载加速为例,介绍了如何通过CDN加速访问OBS。 使用自定义域名托管静态网站 本章节详细描述了在OBS上使用自定义域名托管静态网站的操作流程及步骤,无需搭建网站服务器,即可快速发布个人及企业静态网站。 OBS数据一致性校验 对象数据在上传下载过程中,有可能会因为网络劫持、数据缓存等原因,存在数据不一致的问题。本章介绍如何利用OBS提供的通过计算MD5值的方式,对上传下载的数据进行一致性校验。 性能优化最佳实践 本章节介绍如何通过给对象添加随机前缀名,对高速率访问请求进行水平扩展,以达到提升访问速率,降低访问时延的效果。 将WordPress远程附件存储到OBS 本章节介绍如何通过插件,将WordPress远程附件存储到华为云OBS。 Web端通过PostObject接口直传OBS 本章节介绍一种在Web端利用PostObject接口直传文件至OBS的方法,即使用表单上传方式上传文件至OBS。该方案省去了应用服务器这一步骤,提高了传输效率,不会对服务器产生压力,且服务端签名后直传可以保证传输的安全性。 移动应用直传 本章节介绍了应用客户端访问OBS的两种方法,从而更好地保护应用数据,避免被攻击后数据泄露以及越权访问的风险。 小程序直传OBS 本章节通过一个示例程序演示了如何通过微信小程序上传文件至OBS。 通过Nginx反向代理访问OBS 本章节介绍如何通过在ECS上配置Nginx反向代理,实现通过固定IP地址访问OBS。 大数据场景下使用OBS实现存算分离 华为云存算分离大数据方案相比传统大数据方案,在同样的业务规模下所使用的计算资源、存储资源以及服务器数量都会有明显下降,同时资源利用率也能得到显著提升,可帮助企业降低业务综合成本。 通过s3fs挂载OBS对象桶 s3fs是一款基于用户空间文件系统(Filesystem in Userspace,简称FUSE)的文件系统工具。本章节介绍在Linux系统中,将OBS对象桶挂载到本地文件系统,让您能够像操作本地文件一样操作对象,实现数据的共享。 为帮助企业高效上云,华为云Solution as Code萃取丰富上云成功实践,提供一系列基于华为云可快速部署的解决方案,帮助用户降低上云门槛。同时开放完整源码,支持个性化配置,解决方案开箱即用,所见即所得。 表2 Solution as Code一键式部署类最佳实践汇总 一键式部署方案 说明 相关服务 CDN下载加速 该方案可以自动将存储在OBS中的数据按需缓存至各地CDN节点,有效加速实现静态资源访问和下载加速 CDN、OBS、DNS 全球数据传输加速 该解决方案基于华为云全站加速 WSA服务的动态加速技术构建,有效提升动态页面的加载速度和访问成功率 WSA、OBS、DNS、EIP 文字识别 -发票识别与验真 该解决方案基于华为云文字识别 OCR服务增值税发票识别与发票验真技术构建,实现财税报销自动化 FunctionGraph、OCR、OBS 内容审核 -图片审核 该解决方案可以自动识别图片中涉黄、广告、涉政涉暴、涉政敏感人物等违规内容,降低业务违规风险 FunctionGraph、Moderation、OBS 人证核身 解决方案 该解决方案基于华为云人证核身 IVS服务和 人脸识别 FRS服务构建,快速实现对用户身份真实性的核验 FunctionGraph、IVS、OBS、FRS、APIG 语音识别 解决方案 该方案支持中文普通话以及带方言口音的普通话识别以及方言(四川话、粤语和上海话)的识别 FunctionGraph、SIS、OBS 语音识别-隐私通话内容分析 适用于电商领域客服服务过程异常检测,电销领域违规、投诉、专项检测及金融领域机会点挖掘、信用分析等场景 FunctionGraph、语音识别、OBS、SIS 语音识别-客服中心语音质检 适用于货运出行行业隐私通话分析、金融保险领域业务洞察分析及安防风控领域反诈威胁分析等场景 FunctionGraph、语音识别、OBS、SIS 无服务器日志实时分析 该解决方案帮助您基于无服务器架构实现弹性云服务器 ECS日志的采集、分析、告警以及存档 FunctionGraph、OBS、ECS、LTS、 SMN 无服务器图片生成缩略图 基于 函数工作流 FunctionGraph快速实现生成图片缩略图,适用于各种Web网页场景 FunctionGraph、OBS 无服务器文件解压 基于函数工作流 FunctionGraph快速实现对象存储 OBS桶里的ZIP或者TAR类型压缩包的自动在线解压 FunctionGraph、OBS CDN日志定时转储解决方案 基于函数工作流 FunctionGraph帮助用户定时转储CDN服务产生的日志到指定对象存储桶中 FunctionGraph、CDN、OBS 无服务器告警推送 提供一种免开发、易使用、低成本的方式,自动推送华为云的资源告警信息到您常用的通讯平台或统一告警平台 ECS、EVS、OBS、CES、SMN、FunctionGraph、DEW、VPC
  • 背景信息 常见的Web端上传方法是用户通过浏览器上传文件至应用服务器,再由应用服务器上传至OBS,数据需要在应用服务器中转,传输效率较低,且多任务同时上传时应用服务器压力大。 本文介绍一种在Web端利用PostObject接口直传文件至OBS的方法,即使用表单上传方式上传文件至OBS。如图1所示,该方案省去了应用服务器这一步骤,提高了传输效率,不会对服务器产生压力,且服务端签名后直传可以保证传输的安全性。 图1 Web端PostObject直传流程图
  • 操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。 2 创建资源 创建VPC:创建1个虚拟私有云和子网。 创建SFS Turbo HPC型文件系统:创建1个SFS Turbo文件系统,文件系统类型选择“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。 创建OBS桶:创建1个OBS桶,存储类别为“标准存储”,桶策略为“私有”。 创建ModelArts资源池:创建1个专属资源池。 3 基本配置 配置ModelArts和SFS Turbo间网络直通。 创建委托授权ModelArts云服务使用SFS Turbo。 配置ModelArts网络关联SFS Turbo。 配置SFS Turbo和OBS联动。 配置SFS Turbo数据自动导出到OBS桶。 配置SFS Turbo数据淘汰策略。 4 训练 上传数据至OBS并预热到SFS Turbo中。 创建训练任务。 5 例行运维 使用OBS+SFS Turbo的存储加速方案的过程中,您可以进行采取以下运维措施,保证系统正常高效运行: SFS Turbo容量监控及告警。 SFS Turbo性能监控。 调整SFS Turbo数据淘汰策略。 SFS Turbo容量及性能扩容。 OBS性能监控。 如果您想了解更多本方案相关信息,或在方案使用过程中存在疑问,可通过方案咨询渠道,寻求专业人员支持。 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
  • 使用其他云服务进一步增强对数据的安全防护 启用WAF进行静态网站防护 如果您需要使用OBS静态网站托管功能,为进一步提升您网站的安全性,建议您使用华为云的WAF服务对您的域名进行保护,降低网站被网络攻击的风险。详情请参见管理防护域名。 启用 态势感知 服务(SA)保障OBS资源安全 态势感知通过“安全上云合规检查1.0”、“等保2.0三级要求”、“护网检查”三种基线规则,检测OBS桶关键配置项,告警提示存在安全隐患的配置,并提供相应配置加固建议和帮助指导。您可以通过态势感知的资源管理功能,快速了解到OBS桶所属区域、安全状况等信息,帮助您定位安全风险问题。详情请参见资源管理。 隐私保护 随着组织管理越来越多的数据,大规模地识别和保护它们的敏感数据会变得越来越复杂、昂贵和耗时。建议您通过DSC服务对OBS桶内数据进行敏感数据识别和管理,降低隐私数据识别和保护的成本以及复杂度。详情请参见创建敏感数据识别任务。
  • 利用OBS提供的操作日志审计是否存在异常数据访问操作 开启 云审计 服务记录OBS的所有访问操作便于事后审查 云审计服务(Cloud Trace Service, CTS ),是华为 云安全 解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 您开通云审计服务并创建和配置追踪器后,CTS可记录OBS的管理事件和数据事件用于审计。详情请参见审计。 开启桶Logging记录桶的所有访问请求 通过访问日志记录,桶的拥有者可以深入分析访问该桶的用户请求性质、类型或趋势。当用户开启一个桶的日志记录功能后,OBS会自动对这个桶的访问请求记录日志,并生成日志文件写入用户指定的桶中。详情请参见日志记录。 使用云监控服务对安全事件进行实时监控、告警 您在使用OBS的过程中会也可能会遇到服务端返回的错误响应,为使您更好地掌握OBS桶的状态,华为云提供了云监控服务(Cloud Eye)。您可使用该服务监控自己的OBS桶,执行自动实时监控、告警和通知操作,帮助您实时掌握桶中所产生的请求、流量和错误响应等信息。 云监控服务不需要开通,会在用户创建资源(如OBS桶)后自动启动。 关于云监控服务的更多介绍,请参见云监控服务产品介绍。
  • 建议妥善管理认证凭证,减小因凭证泄漏导致的数据泄露风险 建议使用临时AK/SK进行业务处理,减小凭证泄漏导致您数据泄露的风险 当部署在ECS上的应用程序或者其他华为云服务需要访问OBS资源时,必须对访问OBS的请求进行签名,因此应用程序或服务需要持有一个可以访问OBS桶的凭证。建议您为应用程序或服务配置IAM委托或临时AK/SK,通过IAM委托可以获取一组临时AK/SK,临时AK/SK到期自动过期失效,可以有效降低凭证泄露造成的数据泄露风险。详情请参见通过临时访问密钥访问OBS和通过委托获取临时AK/SK。 定期轮转永久AK/SK减小凭证泄漏导致您数据泄露的风险 如您必须使用永久AK/SK,建议对永久AK/SK进行定期凭证轮转,同时加密存储,避免凭证长期使用过程中预置的明文凭证泄露导致数据泄露。详情请参见通过永久访问密钥访问OBS。
  • 正确的使用OBS提供的访问控制能力保护数据不泄露、不被篡改 正确的使用OBS提供的访问控制能力,可以有效预防您的数据被异常窃取或者破坏。 建议对不同角色的IAM用户仅设置最小权限,避免权限过大导致数据泄露或被误操作 为了更好的进行权限隔离和管理,建议您配置独立的IAM管理员,授予IAM管理员IAM策略的管理权限。IAM管理员可以根据您业务的实际诉求创建不同的用户组,用户组对应不同的数据访问场景,通过将用户添加到用户组并将IAM策略绑定到对应用户组,IAM管理员可以为不同职能部门的员工按照最小权限原则授予不同的数据访问权限,详情请参见部门公共数据权限管理和策略语法。 利用桶策略保护您的数据不被异常读取和操作 仅在资源上配置实际业务处理中所需权限,避免权限配置过大导致数据被错误分享给他人。详情请参见OBS权限控制概述。 OBS的桶策略支持多种Condition条件灵活设置,每一个Condition都是一个新的安全控制维度,建议您通过配置Condition进一步限定数据访问的上下文,如通过拒绝非指定源IP或非指定VPC对桶的访问,限制数据只能被指定客户端访问,避免数据被窃取。详情请参见限制指定IP地址对桶的访问权限、配置双端固定和桶策略参数说明。 建议使用双端固定,即同时设置VPC终端节点策略与桶策略,对OBS的资源进行权限控制 设置VPC终端节点策略可以限制VPC中的服务器(ECS/CCE/BMS)访问OBS中的特定资源;同时,设置桶策略可以限定OBS中的桶被特定VPC中的服务器访问,从而在请求来源和被访问资源两个角度保证OBS数据的安全性。详情请参见配置双端固定。 建议将需要公开访问的对象和私有的对象使用不同的桶进行存储,从而简化您的访问控制策略 推荐将需要公开访问的对象和私有的对象使用不同的桶进行存储。公开桶内请勿存放敏感数据,同时请避免私有桶误配置授权公开访问的桶策略导致私有对象泄露,建议存储私有对象的桶通过Condition进一步限制可以访问数据的源端确保数据不被外部攻击者窃取。详情请参见限制指定IP地址对桶的访问权限。 建议使用OBS的数据临时分享功能来快速分享指定数据,无需进行复杂的桶策略编写 当需要将存放在OBS中对象(文件或文件夹)分享给其他用户时,建议使用OBS的数据临时分享功能,分享的URL可指定有效期,过期自动失效,避免数据长期暴露给其他用户导致泄露。详情请参见通过临时URL访问OBS。 开启敏感操作多因子认证保护您的数据不被误删 OBS支持敏感操作保护,开启后执行删除桶等敏感操作时,系统会进行身份验证,进一步保证OBS配置和数据的安全性,对数据的高危操作进行控制。详情请参见敏感操作。
  • 加密存储数据 OBS支持SSE-KMS服务端加密方案,为桶配置SSE-KMS服务端加密能力后,对于上传到桶中的每个对象,OBS都会访问KMS服务获取您指定的KMS密钥进行 数据加密 ,避免数据明文存储。当下载对象时,OBS同样会访问KMS获取对应密钥进行数据解密,整个加解密过程中OBS都不会存储对应密钥。详情请参见配置桶默认加密。 OBS支持SSE-OBS服务端加密方案,为桶配置SSE-OBS服务端加密能力后,对于上传到桶中的每个对象,OBS都会进行数据加密,避免数据明文存储。当下载对象时,OBS会自动帮助用户进行数据解密。详情请参见配置桶默认加密。 除了SSE-KMS和SSE-OBS方案,OBS还支持SSE-C服务端加密方案,您可以在对象上传和下载的请求中携带密钥和加解密算法,OBS使用您提供的密钥和算法对对象数据进行加解密,避免数据明文存储。OBS不存储您提供的加密密钥,如果您丢失加解密密钥,则会无法获取该对象明文数据。详情请参见服务端加密SSE-C方式。
  • 构建数据的恢复、容灾能力避免数据被异常破坏 预先构建数据的容灾和恢复能力,可以有效避免异常数据处理场景下数据误删、破坏的问题。 建议启用多版本获得异常场景数据快速恢复能力 利用多版本控制,您可以在一个桶中保留一个对象的多个版本,在意外操作或应用程序故障时通过历史版本对象快速恢复数据。详情请参见多版本控制。 建议使用跨区域复制构建异地数据容灾能力 有些数据需要异地备份存储,跨区域复制为您提供跨区域数据容灾的能力,满足您将数据复制到异地进行备份的需求。详情请参见跨区域复制。
  • 确保您的数据在传输到OBS过程中不被窃取和篡改 建议使用HTTPS协议访问OBS,确保数据传输过程中不被窃取和破坏 HTTPS(超文本传输安全协议)是一种互联网通信协议,可保护客户端与服务端之间传输的数据的完整性和机密性。建议您使用HTTPS协议进行数据访问。 建议使用桶策略限制对OBS桶的访问必须使用HTTPS协议 为避免客户端误使用HTTP协议进行OBS业务操作,建议通过桶策略中的SecureTransport条件进行限制,限制是否必须使用HTTPS协议发起请求对该桶进行操作。SecureTransport配置为True时,发起的请求必须使用SSL加密。如何配置桶策略中Condition以及SecureTransport条件,详情请参见桶策略参数说明。
  • SFS Turbo容量及性能扩容 当SFS Turbo存储空间不足时,您可以对SFS Turbo存储空间进行容量扩容。 SFS Turbo HPC型是按每TB单位容量来提供一定的带宽吞吐,因此当SFS Turbo HPC性能不足时,需要通过容量扩容来提高性能吞吐。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击要扩容的文件系统所在行的“容量调整”或“扩容”,弹出对话框。 图1 SFS Turbo HPC型容量调整 根据业务需要,在“新容量”文本框中重新设置文件文系统的容量。 在弹出对话框中确认容量调整信息后,单击“是”。 在文件系统列表中查看文件系统调整后的容量信息。
共100000条