云服务器内容精选

  • 端口要求 为了保障数据安全、防止来自公网的NFS连接,建议运行 云存储 网关的服务器的端口配置如表2。 表2 端口使用说明 端口 协议 使用说明 22端口 TCP 使用端口通过SSH协议访问 CS G管理控制台主机,对用户内部网络内服务器选择性开放。 123端口 UDP NTP客户端地址用于提供时间同步服务。 7443端口 TCP CSG初始配置Web服务端口,通过认证访问密钥(AK/SK)使用端口激活网关,对执行激活网关CSG管理控制台服务器开放。 111,20048端口 TCP/UDP 使用端口连接文件共享,对挂载NFS文件共享的客户端开放。 2049,2051,2052端口 TCP 使用端口连接文件共享,对挂载NFS文件共享的客户端开放。 10000-11023端口 TCP NFS文件锁服务端口,当多客户端文件锁时触发。
  • 组网要求 客户端可以使用NFS协议通过公网挂载并访问,但是NFS协议传输未加密,出于安全考虑,不建议将本地客户端与云存储网关通过公网互联。推荐用户数据中心网关组网使用以下3个网络平面: 数据面网络:NFS客户端通过数据面网络将业务数据写入网关。 华为云专线网络:用户本地网关通过云专线(Direct Connect,DC)连接API网关和OBS,接收网关控制台配置命令和上报网关状态、监控数据到控制台,以及业务数据上传到OBS。 云专线需能连接到用户本地网关,并能连接到华为云 对象存储服务 、云解析服务和API网关服务的网络。 管理面网络:通过管理网络连接网关和配置网关。 NAS存储网络(有条件必选):当外接NAS作为网关缓存时,网关通过该网络将数据写到NAS存储。
  • 操作步骤 以“CSG-gateway_3.19.11.tar.gz”版本安装包为例,说明网关软件安装步骤。 使用PuTTY/FTP等工具登录待部署服务器,以root用户登录待部署服务器,使用SFTP工具将网关软件包和对应的SHA256文件上传到待部署服务器。进入存放“CSG-gateway_3.19.11.tar.gz”的目录,执行以下命令,查看已成功下载的安装包。 ls -ltr 回显信息如下: [root@localhost csg]# ls -ltr total 182692 -rw-------. 1 root root 99 Apr 26 22:25 CSG-gateway_3.19.11.tar.gz.sha256 -rw-------. 1 root root 187071260 Apr 26 22:25 CSG-gateway_3.19.11.tar.gz 执行如下命令校验网关软件包完整性,当回显信息显示OK,表明完整性校验成功。 sha256sum -c CSG-gateway_x.x.x.tar.gz.sha256 回显信息如下: [root@localhost csg]# sha256sum -c CSG-gateway_3.19.11.tar.gz.sha256 CSG-gateway_3.19.11.tar.gz: OK 执行以下命令,解压安装包。 tar -zxvf CSG-gateway_x.x.x.tar.gz 回显信息如下: # tar -zxvf CSG-gateway_3.19.11.tar.gz CSG-gateway_3.19.11/ CSG-gateway_3.19.11/vars/ CSG-gateway_3.19.11/vars/main.yml CSG-gateway_3.19.11/action/ CSG-gateway_3.19.11/action/env.sh CSG-gateway_3.19.11/action/uninstall.sh CSG-gateway_3.19.11/action/install_all.sh CSG-gateway_3.19.11/action/install_rpm.sh CSG-gateway_3.19.11/action/stop_all.sh CSG-gateway_3.19.11/action/start_all.sh CSG-gateway_3.19.11/config/ CSG-gateway_3.19.11/manifest.yml CSG-gateway_3.19.11/repo/ CSG-gateway_3.19.11/repo/filegateway-om-1.0.3.20190411175311-1.x86_64.rpm CSG-gateway_3.19.11/repo/filegateway-1.0.3.20190411175311-1.x86_64.rpm You have mail in /var/spool/mail/root 执行以下命令,查看解压后的安装包。 ls –ltr 回显信息如下: # ls -ltr total 191076 drwxr-xr-x. 6 root root 78 Apr 11 17:56 CSG-gateway_3.19.11 - rw- r--r--. 1 root root 195658900 Apr 11 18:05 CSG-gateway_3.19.11.tar.gz You have mail in /var/spool/mail/root 进入解压后安装包action文件目录,执行以下命令安装网关所必须的rpm软件包。 sh install_rpm.sh 安装日志回显如下信息,则网关安装成功: # sh install_rpm.sh Install all rpms finished. 如果网关服务器是ECS,安装rpm软件包长时间卡住或者执行失败,建议暂时绑定弹性公网IP,重新执行sh install_rpm.sh命令,完成rpm软件包安装后解绑弹性公网IP即可。 执行以下命令安装网关。 sh appctl.sh install 安装日志回显如下信息,则网关安装成功。 install filegateway success (可选)为了系统安全进行软件安全加固。 执行以下脚本命令,限制root用户使用ssh登录网关服务器。同时选择本地服务器对应IP地址,绑定到系统服务端口。 sh security_reinforce.sh 回显信息如下: [root@gateway ~]# sh {安装包目录}/action/security_reinforce.sh [root@dfv action]# sh security_reinforce.sh -create a new user csgmanager for login start useradd: warning: the home directory already exists. Not copying any file from skel directory into it. Creating mailbox file: File exists Changing password for user csgmanager. New password: Retype new password: passwd: all authentication tokens updated successfully. -create a new user csgmanager for login end -prohibits the root from logging in through ssh start -prohibits the root from logging in through ssh end -bind IP address start please specify a local IPv4 address as the manager IP(used by SSH service) option [0] : 111.111.111.111/19 option [1] : 222.222.222.222/19 select an existing option:0 please specify a local IPv4 address as the service IP(used by NFS service) option [0] : 111.111.111.111/19 option [1] : 222.222.222.222/19 select an existing option:1 [warning] you have chosen 111.111.111.111/19 as manager IP , 222.222.222.222/19 as service IP [warning] if bind the wrong IP address may cause the service to be abnormal [warning] enter "yes" to continue, enter others to reselect:yes processing... Files are successfully uploaded to the cloud. Time elapsed: 0 min Waiting for the gateway to stop... Command executed successfully. Main gateway process starting.......successfully. Monitoring process starting...successfully. Cache disk activating...successfully. config tomcat server ip 111.111.111.111. bind ntp server ip 111.111.111.111. -bind IP address end execute end 执行了安全加固命令后,无法使用root账号通过ssh登录服务器。需先使用csgmanager账号通过ssh登录服务器,然后执行“su root”,通过密码认证切换到root用户。 为了系统的安全,建议定期修改csgmanager和root的密码。 在action文件目录下,执行如下命令,启动OM进程,开始使用网关。 sh appctl.sh start OM进程回显如下信息,则网关正常运行。 start filegateway successfully
  • 操作步骤 登录CSG管理控制台。 在网关列表选择网关,单击待操作网关名称。 进入当前网关详情页面。 目前一个网关仅支持创建一个文件共享,一个文件共享对应一个桶目录或桶文件夹目录。 单击“创建文件共享”,进入文件共享创建页面,如图1。 图1 创建文件共享 设置共享名称,选择“桶”,输入“名称后缀”。 “桶”:在下拉列表中选择桶,作为文件共享源。因CSG目前仅支持数据上传到标准存储类型的桶,故下拉列表中仅显示未加密的标准存储类型桶。若桶不存在,需先在OBS创建可用标准存储类型桶,再刷新桶列表选择。创建桶详细操作指导,请参考OBS创建桶。 (可选)“桶内文件夹”:桶中一级或多级文件夹名称,例如:一级文件夹/二级文件夹/....。设置后共享层级到文件夹层,网关读/写该文件夹中存储数据。自定义“名称后缀”允许包含数字、字母,及特殊字符“-”“_”,多层级间以“/”连接,且长度范围为0~64个字符。 “文件共享名称”:文件共享名称由桶名和桶内文件夹组成,格式为“桶名/名称后缀”。共享名称全局唯一,不能与任何已有共享名称重复,且创建成功后不能修改名称,创建时请设置合适的桶名。共享名称创建完成后作为文件共享的虚拟路径。 用户自定义的“桶内文件夹”对应桶中文件夹名称。若桶中无该名称文件夹,将在桶中生成自定义名称的文件夹。 “文件共享名称”路径下文件的绝对路径总长度不能超过1024字符。 设置用户映射权限,选择“用户权限”。 “用户权限”:通过NFS协议中用户映射,可将客户端虚拟/实际用户或用户组的ID映射给正在对NFS进行读/写操作的用户,这个用户则具有映射用户或用户组ID所允许的权限。 “None”:默认取值,表示所有用户及所属用户组无映射。 “Root_Squash”:表示将Root用户及所属用户组映射为匿名用户或用户组。 “All_Squash”:表示将所有用户及所属用户组都映射为匿名用户或用户组。 (可选)设置客户端读/写权限。输入“只读客户端列表”和“读写客户端列表”。 “只读客户端列表”:只能读取OBS桶中对象的客户端。可输入多个客户端IP,用逗号隔开,支持输入IP、IP段、通配符“*”。 “读写客户端列表”:能读取OBS桶中对象和写入数据到OBS桶中的客户端。可输入多个客户端IP,用英文逗号隔开,支持输入IP、IP段、通配符“*”。 当一个客户端IP被同时设置了只读权限和读写权限时,取最大的权限生效,即有读写权限。 当客户端列表置空,即未设置客户端读/写权限时,禁止所有客户端对共享的OBS桶目录读/写权限。 当客户端列表置*,表示OBS桶目录对所有客户端开放,即所有客户端对共享的OBS桶目录有读/写权限。 确认信息无误后,单击“立即创建”,创建文件共享。
  • 入门流程 首次使用云存储网关服务,建议参考表1逐步操作,创建云上云下数据同步管理的云存储网关。 表1 CSG使用流程简介 操作步骤 操作说明 准备工作 注册华为云,并准备符合要求的本地待部署客户端环境,用于部署网关。 创建网关 在CSG管理控制台新建网关,下载网关安装包。 安装网关 在用户本地客户端安装网关,并获取能连接到浏览器的网关IP。 初始化网关 在CSG管理控制台和用户本地客户端,通过网关IP和访问密钥(AK/SK)连接激活网关,建立CSG管理控制台与用户本地网关的连接。网关激活成功后,在管理控制台设置缓存盘。 创建文件共享 在CSG管理控制台,创建以OBS桶目录为共享源的文件共享,并配置共享权限。 挂载文件共享 在用户本地客户端挂载NFS文件共享。挂载成功后,用户则可将本地操作数据同步上云,无缝管理云上云下数据。
  • 操作步骤 以root用户登录本地服务器。 挂载前,查看本地服务器系统是否安装NFS客户端。 表1 查询和安装NFS客户端 操作系统 查询命令 回显信息(已安装) 安装命令 Red Hat、Fedora或Oracle Enterprise Linux、Euler OS 2.3 rpm -qa|grep nfs libnfsidmapnfs-utils sudo yum -y install nfs-utils SUSE或OpenSUSE rpm -qa|grep nfs nfsidmap nfs-client zypper install nfs-client Debian或Ubuntu dpkg -l nfs-common nfs-common sudo apt-get install nfs-common 不同操作系统回显信息不同,若回显表1信息,说明已经成功安装NFS客户端,则执行步骤3;若未回显表中信息,则需执行表中安装命令安装NFS客户端。 登录客户端执行如下命令,创建本地挂载路径。 mkdir /本地路径 执行如下命令,挂载文件共享。 mount -t nfs -o vers=3,timeo=600,nolock 网关IP:/共享名称 /本地路径 执行如下命令,查看文件共享挂载结果。 df –h 在/etc/rc.local中追加如下加粗部分,确保操作系统重启时,能够自动挂载文件共享。 #!/bin/bash# THIS FILE IS ADDED FOR COMPATIBILITY PURPOSES## It is highly advisable to create own systemd services or udev rules# to run scripts during boot instead of using this file.## In contrast to previous versions due to parallel execution during boot# this script will NOT be run after all other services.## Please note that you must run 'chmod +x /etc/rc.d/rc.local' to ensure# that this script will be executed during boot.touch /var/lock/subsys/localmount -t nfs -o vers=3,timeo=600,nolock 网关IP:/共享名称 /本地路径 挂载成功后,用户可以在客户端使用CSG提供的NFS文件共享服务,进行相应的文件共享操作。
  • 操作步骤 表1 验证项 检查项 操作步骤 新增文件能够同步到OBS中 1、登录挂载NFS文件共享的主机,使用cp命令拷贝测试文件到挂载NFS文件共享的目录。 2、等待5分钟后,登录华为云对象存储服务控制台,检查新增文件是否同步到NFS文件共享关联的OBS桶中。 修改文件的内容能够同步到OBS中 1、登录挂载NFS文件共享的主机,使用vim等命令修改测试文件,并保存退出。 2、等待5分钟后,登录华为云对象存储服务控制台,下载测试文件,检查OBS桶中的对应文件是否更新。 删除文件能够同步删除OBS中对应的文件 1、登录挂载NFS文件共享的主机,使用rm命令删除测试文件。 2、等待5分钟后,登录华为云对象存储服务控制台,检查OBS桶中对应文件是否删除。 网关监控数据正常 登录华为云云存储网关控制台,在网关列表,点击名称链接进入网关详情,点击缓存空间使用率右上角的更多监控,查看当前网关的“带宽”、“IOPS”、“内存利用率”等指标是否有监控数据。 数据上云期间,会占用部分带宽用以数据上传。如果您当前使用的华为云专线网络,且该专线同时被用于其他业务,为了不影响该专线上其他业务正常运行,建议您在评估后为云部署网关设置合理的限流带宽。 设置限流带宽流程: (1) 进入CSG控制台网关列表; (2) 点击要设置限流带宽的网关名称; (3) 点击“更多”,点击“编辑”; (4) 设置“限流带宽”值,单位为MB/s,默认值为0不限流; (5) 点击“确认”;稍等一分钟左右即可生效;
  • 操作步骤 登录CSG管理控制台。 在网关列表选择网关,单击待操作网关。 进入当前网关详情页面,查看“缓存空间使用率”信息,如图1。 图1 缓存空间使用率 表1 缓存盘监控参数说明 参数 说明 已使用容量 当前缓存盘存储空间使用容量。 已使用占比 当前缓存盘存储空间使用百分比。 可使用容量 当前缓存盘存储空间剩余容量。 缓存盘存储空间使用率超过95%,将上报“文件共享只读”告警,影响用户缓存盘的写入,导致数据丢失。
  • 操作步骤 登录CSG管理控制台。 在控制台下方查看“任务管理”栏中任务执行状态。 图1 任务管理栏 单击“正在运行”、“已完成”或“失败”,弹出“任务管理”窗口。 图2 任务管理窗口 分别单击“正在运行”、“已完成”或“失败”页签,可查看正在执行,已经完成或操作失败任务。 支持查看管理的任务操作包括以下10种:“升级网关”、“删除网关”、“编辑网关”、“配置缓存盘”、“重启网关”、“停止网关”、“修改认证信息”“创建文件共享”、“编辑文件共享”和“删除文件共享”。 任务操作执行状态包括:正在运行的“初始化”和“执行中”状态、已完成的“成功”状态、失败的“失败”和“超时”状态。 任务操作信息只能保留24小时。
  • 解决方法 修复连接客户端和网关的网络,或在CSG管理控制台重启网关,卡住的程序自动恢复。 用户本地为Linux客户端时,可通过设置timeo和retrans参数,来避免网关在停止状态时NFS客户端程序卡住。在挂载文件共享到本地Linux客户端时,执行以下命令: mount -t nfs -o rw,soft,timeo=50,retrans=3,nolock 网关IP:/共享名称 /本地路径 设置timeo=50和retrans=3,即NFS客户端在超时5s,重试失败3次后返回失败,停止重试,则NFS客户端程序不会卡住。 用户本地为Windows客户端时,不会出现该故障,会自动上报错误。
  • 操作步骤 登录CSG管理控制台。在网关列表选择网关,如图1。 图1 网关列表 表1 网关列表参数说明 参数 说明 网关名称 用户为网关自定义的名称,创建后可编辑修改。 网关ID 网关独一无二的标识ID,自动生成不可编辑。 缓存盘 配置的本地缓存磁盘的名称。 状态 网关使用过程的状态。网关状态共9种,包括“在线”、“离线”、“未激活”、“激活中”、“异常”、“停止”、“停止中”、“启动中”和“升级中”。 网关IP 用户激活网关的IP地址。 创建时间 创建网关的时间。 单击待操作的网关,进入网关详情页面,如图2。 图2 网关详情 表2 网关详情参数说明 参数 说明 网关名称 用户自定义网关名称,可修改,不能设置为空。 状态 网关使用过程的状态。网关状态共9种,包括“在线”、“离线”、“未激活”、“激活中”、“异常”、“停止”、“停止中”、“启动中”和“升级中”。 网关ID 网关独一无二的标识ID,自动生成不可编辑。 网关IP 用户激活网关的IP地址。 文件共享 文件共享的数量。 缓存盘 文件共享缓存磁盘的名称。 软件版本 当前网关软件包的版本。 NTP服务器地址 同步网络时间的服务器地址。 DNS服务器地址 解析网站地址为IP地址的 域名 服务器地址。 创建时间 创建网关的时间。 更新时间 更新网关信息的时间。 查看“缓存空间使用率”,跟踪缓存盘容量使用情况。并可单击“更多监控”,查看更多网关监控信息。 单击待操作文件共享,查看文件共享信息。 目前一个云存储网关仅支持创建一个文件共享。
  • 操作步骤 使用PuTTY登录安装网关软件的服务器,执行以下命令,切换到日志收集目录下。 cd /opt/filegateway_script 执行以下命令,收集网关日志。 sh log_collection.sh 回显示例如下: [root@localhost /opt/filegateway_script]# sh log_collection.sh[INFO]collecting logs to /opt/filegateway_script/csg_filegateway_log_20191112202915.tar.gz......[INFO]collecting environment information to /opt/filegateway_script/csg_filegateway_log_20191112202915.tar.gz......[INFO]compressing logs......[INFO]collection end 命令执行完成后,在当前执行命令目录下,生成以日期和时间命名的gz日志文件。 日志文件命名规则为:csg_filegateway_log_YYYYmmDDHHMMSS.tar.gz,其中各字段依次表示年(Y)、月(m)、日(D)、时(H)、分(M)、秒(S)。 使用SFTP将日志文件下载到本地,并提供给管理员分析处理。
  • 事件通知简介 消息通知 服务(Simple Message Notification, SMN )是可靠的、可扩展的、海量的消息处理服务。它可以依据用户的需求主动推送通知消息,最终用户可以通过短信、电子邮件、应用等方式接收。 更多关于SMN的指导和说明信息,请参见《消息通知服务用户指南》。 CSG可以通过事件通知发送警报或触发工作流,并通过SMN发送通知。CSG支持的告警事件如表1。 表1 CSG事件通知 事件名称 事件类型 事件说明 云存储网关进程状态异常 系统事件 当云存储网关进程状态异常时,则触发进程状态异常事件。 云存储网关连接状态异常 系统事件 当云存储网关连续5个周期无状态上报时,则触发连接异常事件。 云存储网关与OBS连接状态异常 系统事件 当云存储网关无法连接到OBS时,则触发该事件。 文件系统只读 系统事件 当云存储网关上的分区文件系统只读时,则触发该事件。 文件共享只读 系统事件 当文件共享因缓存盘存储空间不足,文件共享只读时,则触发该事件。
  • 操作步骤 登录CSG管理控制台。 在网关列表选择网关,单击待操作的网关,进入网关详情页面。 在升级网关提示信息列,如图1,单击“升级”。 “升级中”状态的网关无法使用文件共享和网关管理操作。请选择在业务系统未使用网关文件共享的时间窗升级。 图1 升级网关提示 确认升级网关后,网关状态切换为“升级中”,进入网关升级状态,如图2。 图2 网关升级状态 表1 网关升级状态说明 升级过程 升级状态 说明 检查网关 检查网关状态 检查网关软件版本是否为最新版本,并检查网关下载通道是否通畅。 网关状态检查完成 检查到网关版本需升级,且下载通道通畅,具备升级条件。 下载软件包 软件包下载中 自动下载最新版本网关。 软件包下载完成 下载最新版本软件包到本地客户端。 升级前准备 停止共享 网关升级过程文件共享将会出现短暂中断,为避免数据丢失,后台将暂时关闭读/写权限,停止文件共享。 待上云文件:[n]个 缓存盘中待上云文件数,文件需全部上传到OBS桶才能升级网关。 升级准备完成 文件共享已关闭,且文件已全部上传到OBS桶。 软件升级 软件安装中 自动安装最新版本网关中。 升级成功 网关升级到最新版本,升级成功。 升级过程任一阶段失败,则网关升级失败,可根据升级失败提示排查失败原因,修复后重试升级。 网关升级失败后,将回退到升级前版本,当前文件共享业务将恢复正常。 网关升级成功,正常运行后,文件共享和网关管理操作恢复正常。
  • 查看文件共享 登录CSG管理控制台。 在网关列表选择网关,单击待操作网关。 进入当前网关详情页面,查看文件共享信息。 表1 文件共享参数说明 参数 说明 共享名称 桶名称/自定义后缀名称,一旦创建不可修改。在挂载文件共享时,作为共享虚拟路径使用。 状态 文件共享使用过程的状态,文件共享状态包括“正常”、“创建中”、“创建失败”、“停止”、“异常”和“只读”。 桶 对象存储(OBS)的标准存储桶名称。 桶容量 实际上传到OBS的对象大小和数据上传过程中产生的碎片大小的总和。 权限限制 用户映射权限,权限类型包括“None”、“Root_Squash”和“All_Squash”。 None:保留共享文件的UID和GID。 Root_Squash:不允许客户端以root用户访问,客户端使用root用户访问时映射为nobody用户。 All_Squash:共享文件的UID(User ID)和GID(Group ID)映射给nobody用户,适合公共目录。 只读客户端列表 只能读取OBS桶中对象的客户端。 读写客户端列表 能读取OBS桶中对象和写入数据到OBS桶中的客户端