云服务器内容精选

  • 华为云DDS 4.2及其以上版本将存储引擎切换为RocksDB会对业务产生影响吗? 功能方面:存储引擎是数据库的一个组件,负责管理数据在内存和磁盘中的存储方式。RocksDB和WiredTiger虽然是不同的存储引擎,数据库服务会封装存储引擎,极大兼容社区接口使用方式,开发者使用层面无使用差异感知,业务无差异影响。 性能方面:当前RocksDB存储引擎已经经过长期的社区演进,结合DDS团队对其定制化的开发,性能方面二者切换无明显差异,部分查询场景下RocksDB存储引擎表现更优,存储或计算资源使用方面或存在少量差异。
  • 使用RocksDB存储引擎在典型业务场景下有哪些表现差异与优化建议? 表2描述了RocksDB相较于WiredTiger在一些典型业务场景下的表现差异与优化建议。 表2 典型业务场景下RocksDB的表现差异与优化建议 业务场景 RocksDB的表现差异 优化建议 示例 多文档扫描 RocksDB在文档扫描(docsExamined)多的业务场景下对CPU、IO等资源消耗相较于WiredTiger更多。 建议通过添加适当的索引进行优化,提高扫描效率,降低CPU、IO等资源的消耗。 例如,在coll表A字段没有添加索引的情况下以该字段为条件进行查询:db.coll.find({A: 1})。
  • 使用RocksDB存储引擎的华为云DDS在执行大量增删改操作时,发现监控中出现磁盘来回波动、CPU毛刺的现象,这是为什么? RocksDB存储引擎下,所有的写入均为追加写,不管是更新还是删除,都不会直接修改原数据,而是追加写在尾端,因此同key可能会在磁盘上存在不同版本的值。追加写过程中,同一条数据的多版本同时存在,磁盘容量会上升。 不同版本的值最终会在新写入的数据量到达一定量后触发后台归并,即RocksDB的Compaction动作。归并数据动作是异步操作,当一轮运行结束后会将本轮涉及到的多版本数据进行归并合一,归并后会生成新的单版本数据数据文件,删除老的多版本数据文件,在生成新文件和删除老文件这段过渡期,新老文件会同时存在,即磁盘此时会短暂上涨,归并数据结束后,磁盘容量会即时下降。 归并数据操作本身会占用少量CPU资源,因此可能会出现轻微的CPU毛刺现象。 如果发现磁盘和CPU占用持续过高,请联系华为工程师处理。
  • RocksDB和WiredTiger两者有什么区别? 写机制的区别 WiredTiger存储引擎的数据结构为B+ tree,落盘数据中一个键(key)对应一个版本号(version),对某一个键(key)进行插入、更新或删除操作都是直接操作对应的数据节点。 Rocksdb存储引擎的数据结构为LSM-tree,写数据就像写日志,以追加写的方式进行。落盘数据除了一个键(key),值(value)之外,还有对应的版本号(version)。同一个键(key)在磁盘上有多个版本(version)的数据。业务层的插入、更新、删除操作,在Rocksdb侧都是写操作。这些多版本数据积压到一定阈值后,会触发后台自动归并,对多版本(version)的数据进行合并,这个行为就是RocksDB的Compaction。 数据组织的区别 WiredTiger存储引擎中一个集合(collection)的数据或者一个索引的数据对应一个磁盘文件,集合是多大,对应的文件就是多大。 RocksDB存储引擎下则没有集合(collection)维度,而是64M一个文件分布在磁盘上。
  • RocksDB优势在哪里? 表1从开源生态、存储空间、可定制化、内存高压场景、频繁更新删除场景、多表场景六个方面描述了RocksDB对比WiredTiger的优势。 表1 RocksDB与WiredTiger对比 存储引擎 RocksDB WiredTiger 开源生态 RocksDB相比WiredTiger有更好的开源生态(github stars),一些知名数据库比如TIDB/CRDB/YUGADB都采用了RocksDB做为存储引擎。 开源社区生态不如RocksDB。 存储空间 RocksDB数据写入过程中,部分业务场景会临时保存多个版本的数据,多版本数据会在后续做异步归并为最终版本,因此存储空间可能会存在临时上涨。 WiredTiger落盘只保留最新版本的数据,存储空间消耗相对少。 可定制化 RocksDB性能调优参数较多,支持根据业务的读写能力要求做定制化的参数修改。 WiredTiger性能调优参数较少。 内存高压场景 RocksDB读写性能稳定,不会随着内存压力变化。 WiredTiger需要频繁地刷脏页,进行内存与磁盘数据置换,引起读写性能波动比较大。 频繁更新删除场景 RocksDB在积攒了一定量的新写数据后,会自动异步触发后台compact线程对同一数据的多版本进行归并聚合,释放多余的磁盘空间,因此基本上不会出现磁盘碎片化问题。 WiredTiger在删除数据进行数据多版本归并聚合后,会空余出磁盘空间碎片,并且不会将这部分磁盘空间返回给操作系统,而是留待后续写入使用,磁盘碎片化问题较为明显。 多表场景 RocksDB支持10K以上的表及索引数量。 WiredTiger在表及索引数量达到1K以上时,读写性能会受到影响。
  • 有哪些工具可以使用 云搜索服务 管理 云搜索 服务,或使用其搜索引擎的API,提供了如下三种方式。可以基于已构建好的请求消息发起请求。 curl curl是一个命令行工具,用来执行各种URL操作和信息传输。curl充当的是HTTP客户端,可以发送HTTP请求给服务端,并接收响应消息。curl适用于接口调试。关于curl详细信息请参见https://curl.haxx.se/。 编码 通过编码调用接口,组装请求消息,并发送处理请求消息。 REST客户端 Mozilla Firefox、Google Chrome都为REST提供了图形化的浏览器插件,发送处理请求消息。 – 针对Firefox,请参见Firefox REST Client。 – 针对Chrome,请参见Postman。 父主题: 产品咨询
  • 什么是网页防篡改? 网页防篡改可实时监控网站目录,并通过备份恢复被篡改的文件或目录,保障重要系统的网站信息不被恶意篡改,防止出现挂马、黑链、非法植入恐怖威胁、色情等内容。 网页防篡改功能可实时发现并拦截篡改指定目录下文件的行为,并快速获取备份的合法文件恢复被篡改的文件,从而保护网站的网页、电子文档、图片等文件不被黑客篡改和破坏。 网页防篡改的操作流程和主要功能概览。操作流程如图1所示,主要功能概览请参考表1。 图1 网页防篡改操作流程 表1 主机安全防篡改操作流程及功能说明 操作类型 操作 描述与参考 准备工作 -- 使用主机安全服务前,如果无VDC业务员账号,需要运营管理员创建VDC和VDC管理员,VDC管理员创建VDC业务员。 开通网页防篡改防护 申请防护配额 您需要申请防护配额后,才能开启网页防篡改防护。 安装Agent Agent是HSS提供的客户端,用于执行检测任务,全量扫描主机;实时监测主机的安全状态,并将收集的主机信息上报给云端防护中心。 安装Agent后,您才能开启网页防篡改防护。 设置告警通知 设置告警通知功能后,您能接收到HSS发送的告警通知,及时了解主机/网页内的安全风险。 否则,无论是否有风险,您都只能登录管理控制台自行查看,无法收到告警信息。 开启主机防护 开启主机防护时,您需为指定的主机分配一个配额。 配置网页防篡改防护 添加防护目录 网页防篡改实时监控网站目录,开启网页防篡改前请添加防护目录。 添加远端备份 HSS默认将防护目录下的文件备份在“添加防护目录”时添加的本地备份路径下,为防止备份在本地的文件被攻击者破坏,请您启用远端备份功能。 添加特权进程 开启网页防篡改防护后,防护目录中的内容是只读状态,如果您需要修改防护目录中的文件或更新网站,可以添加特权进程。 定时开启网页防篡改 网页防篡改提供的定时开关功能,能够定时开启/关闭静态网页防篡改功能,您可以使用此功能定时更新需要发布的网页。 开启动态网页防篡改 动态网页防篡改提供tomcat应用运行时自我保护,能够检测针对数据库等动态数据的篡改行为。 查看网页防篡改报告 开启网页防篡改防护后,HSS将立即对您添加的防护目录执行全面的安全检测。您可以查看主机被非法篡改的详细记录。 父主题: 产品咨询
  • 购买GeminiDB Redis实例时,如何选择合适的节点规格和节点数量? 购买Redis实例通常需要关注2个主要指标:QPS和数据量大小。购买GeminiDB Redis实例时,也是依据这两个指标进行选择,可以采用“快速选择”和“自定义”购买实例: 使用“快速选择”购买实例,例如原先采用的是16GB集群,可以对标选择GeminiDB Redis16GB集群。若对应的规格QPS不满足业务需求,则需要选择更高规格。 使用“自定义”选择时,计算和存储需要单独选择,节点规格和节点数量决定实例的QPS,实例总容量决定数据存储容量上限。选择节点规格、节点数量、实例总容量后,可以从“实例规格预览”查看所选择实例的QPS、连接数等信息。 父主题: 产品咨询
  • 漏洞管理服务的扫描IP有哪些? 如果您的网站设置了防火墙或其他安全策略,将导致漏洞管理服务的扫描IP被当成恶意攻击者而误拦截。因此,在使用漏洞管理服务前,请您将以下扫描IP添加至网站访问的白名单中: 119.3.232.114,119.3.237.223,124.70.102.147,121.36.13.144,124.70.109.117,139.9.114.20,119.3.176.1,121.37.207.185,116.205.135.49,110.41.36.44,139.9.57.171,139.9.1.44,121.37.200.40 漏洞管理服务会模拟客户端使用随机端口连接被测试设备,建议放通来自漏洞管理服务这些ip的全量端口。 父主题: 产品咨询类
  • 华为云DNS服务器地址 为了实现用户就近接入和最低延迟的解析,提升全球范围的DNS解析体验,华为云在全球多个区域的多个可用区部署了DNS服务器。其中,部分区域支持任播网络(Anycast)功能。 目前,已经部署了DNS服务器的可用区包括:北京、廊坊、上海、广州、深圳、贵阳、香港、泰国、新加坡、日本、德国、南非、智利、迪拜、巴西、墨西哥等。 当前,华为云云解析服务对用户提供解析服务的新的DNS服务器地址为: ns1.huaweicloud-dns.com:中国大陆各区域DNS服务器地址 ns1.huaweicloud-dns.cn:中国大陆各区域DNS服务器地址 ns1.huaweicloud-dns.net:除中国大陆之外国家或地区DNS服务器地址 ns1.huaweicloud-dns.org:除中国大陆之外国家或地区DNS服务器地址 通过DNS的控制台创建公网 域名 后,其默认生成的NS记录集的值即为上述四个DNS服务器地址。
  • DNS服务器地址设置步骤 修改DNS域名默认NS记录值 在域名的“解析记录”页面,通过修改域名NS类型的记录集值设置DNS服务器地址。 进入公网域名列表页面。 在域名列表页面,单击域名名称,进入“解析记录”页面。 单击NS类型记录集“操作”列的“修改”,进入“修改记录集”页面。 图1 修改NS记录集 按照公网域名的DNS服务器地址设置建议,修改“修改记录集”页面的“值”。 单击“确定”,完成NS记录集的修改。 修改域名注册商处的DNS服务器地址 详细请参见怎样查看并修改域名的DNS服务器地址? 部分历史创建的公网域名,其NS地址为ns1.hwclouds-dns.com和ns1.hwclouds-dns.net,该地址是华为云DNS在历史版本中对用户提供解析服务的DNS服务器地址,即将下线。
  • DNS服务器地址设置建议 由于中国大陆的国际出口带宽有限,用户在中国大陆和中国大陆之外国家或地区之间跨地区访问时,会出现网络时延增大的现象。 因此,对于公网域名的NS记录集设置,建议您: 如果您的网站用户主要集中在中国大陆,设置DNS服务器地址为:ns1.huaweicloud-dns.com、ns1.huaweicloud-dns.cn。 如果您的网站用户主要集中在中国大陆之外国家或地区,设置DNS服务器地址为:ns1.huaweicloud-dns.net、ns1.huaweicloud-dns.org。 如果您的网站用户遍布全球,同时设置上述四个DNS服务器地址。
  • 等保安全合规场景 场景描述:国家网络安全法要求上市公司、金融企业需要保存关键系统日志至少180天,用户可以将这些日志采集到LTS后统一存储。 使用建议: 日志采集方式: 云主机和容器日志,建议优先使用采集器ICAgent采集,使用E CS 向导或者CCE向导。 云服务日志例如ELB/VPC日志,您可以在云服务界面打开开关将日志采集到LTS。 如果您的某些设备必须要以Syslog协议上报日志,您可以参考如何搭建Syslog服务器收集日志并采集到LTS。 日志存储方式: LTS默认支持用户存储365天,您可以修改日志存储时长。另外如果1年您觉得存储时长不够,可以提工单给LTS开通3年存储。 降低存储成本: 使用LTS在23年1130公测的冷存储特性,冷存储的日志存储单价比OBS仅贵25%,但是可以支持搜索,在易用性和成本上是最佳选择。 转储至OBS,优点是成本低,缺点是不支持搜索历史日志的内容,使用不便利。
  • 业务运营分析场景 场景描述:适用于在应用系统中打印业务日志,例如交易额、客户、产品等信息,然后使用LTS的SQL分析功能,输出可视化图表和仪表盘的场景。 使用建议: 日志采集方式:建议使用采集器ICAgent采集日志,将日志打印到单独的日志文件中,不要与应用程序的运行日志混在一起。不建议使用SDK、API上报日志。 日志结构化解析方式:建议您打印的业务日志使用空格分割或者JSON格式,这样方便快速配置日志结构化解析规则。 日志可视化呈现: 您可以创建自定义的仪表盘,使用类SQL语法分析已经结构化处理好的业务日志。自定义的仪表盘中,你可以添加多个图表,也可以添加过滤器,使用LTS做业务分析,可以减少采购 数据仓库 ,没有额外成本,上手更简单。 日志加工:有些时候想要分析的业务日志混在运行日志中,或者业务日志中有些敏感数据需要删除,或者有些数据缺少维度数据,这个时候可以使用DSL加工(23年930开始邀测)功能对日志进行规整、富化、流转、脱敏、过滤等操作。
  • 大数据组件日志采集场景 场景描述:有些用户会使用 MRS /Flink/Spark等大数据组件做数据处理,希望采集自定义的日志到LTS,但是不希望采集大数据组件的运行日志(对于业务分析价值小)。 使用建议: 日志采集方式:推荐用户使用JAVA SDK或者GO SDK上报日志。常见的大数据组件不太方便指定个性化的日志文件路径去只打印自己的业务日志,因此使用SDK上报日志是比较好的选择。 日志结构化解析方式:LTS支持iOS SDK、Android SDK、百度小程序SDK、微信小程序SDK等端侧SDK,使用端侧SDK上报的日志不支持云端结构化解析,因此建议您上报已经结构化的JSON格式日志。