华为云用户手册

  • 基础指标:Flink指标 介绍通过Flink服务上报到 AOM 的指标的类别、名称、含义等信息。 表1 Flink服务监控指标 分类 指标 指标含义 单位 CPU flink_jobmanager_Status_JVM_CPU_Load JobManager中JVM的CPU负载。 无 flink_jobmanager_Status_JVM_CPU_Time jobmanager中JVM使用的CPU时间。 无 flink_jobmanager_Status_ProcessTree_CPU_Usage JobManager 中JVM的CPU使用率。 无 flink_taskmanager_Status_JVM_CPU_Load TaskManager 中JVM的CPU负载。 无 flink_taskmanager_Status_JVM_CPU_Time TaskManager中JVM使用的CPU时间。 无 flink_taskmanager_Status_ProcessTree_CPU_Usage TaskManager 中的JVM的CPU使用率。 无 Memory flink_jobmanager_Status_JVM_Memory_Heap_Used JobManager的堆内存使用量。 字节(Byte) flink_jobmanager_Status_JVM_Memory_Heap_Committed 保证JobManager的JVM可用的堆内存量。 字节(Byte) flink_jobmanager_Status_JVM_Memory_Heap_Max JobManager中可用于内存管理的最大堆内存量。 字节(Byte) flink_jobmanager_Status_JVM_Memory_NonHeap_Used JobManager的堆外内存使用量。 字节(Byte) flink_jobmanager_Status_JVM_Memory_NonHeap_Committed 保证JobManager的JVM可用的堆外内存量。 字节(Byte) flink_jobmanager_Status_JVM_Memory_NonHeap_Max JobManager中可用于内存管理的最大堆外内存量。 字节(Byte) flink_jobmanager_Status_JVM_Memory_Metaspace_Used JobManager MetaSpace内存池中当前使用的内存量。 字节(Byte) flink_jobmanager_Status_JVM_Memory_Metaspace_Committed JobManager MetaSpace内存池中保证可供JVM使用的内存量。 字节(Byte) flink_jobmanager_Status_JVM_Memory_Metaspace_Max JobManager MetaSpace内存池中可以使用的最大内存量。 字节(Byte) flink_jobmanager_Status_JVM_Memory_Direct_Count JobManager direct缓冲池中的缓冲区数。 无 flink_jobmanager_Status_JVM_Memory_Direct_MemoryUsed JobManager中JVM用于direct缓冲池的内存量。 字节(Byte) flink_jobmanager_Status_JVM_Memory_Direct_TotalCapacity JobManager中direct缓冲池中所有缓冲区的总容量。 字节(Byte) flink_jobmanager_Status_JVM_Memory_Mapped_Count JobManager中mapped缓冲池中的缓冲区个数。 无 flink_jobmanager_Status_JVM_Memory_Mapped_MemoryUsed JobManager中JVM用于mapped缓冲池的内存量。 字节(Byte) flink_jobmanager_Status_JVM_Memory_Mapped_TotalCapacity JobManager中mapped缓冲池中所有缓冲区的总容量 字节(Byte) flink_jobmanager_Status_Flink_Memory_Managed_Used JobManager中已使用的托管内存量。 字节(Byte) flink_jobmanager_Status_Flink_Memory_Managed_Total JobManager中托管内存总量。 字节(Byte) flink_taskmanager_Status_JVM_Memory_Heap_Used TaskManager的堆内存使用量。 字节(Byte) flink_taskmanager_Status_JVM_Memory_Heap_Committed 保证TaskManager的JVM可用的堆内存量。 字节(Byte) flink_taskmanager_Status_JVM_Memory_Heap_Max TaskManager中可用于内存管理的最大堆内存量。 字节(Byte) flink_taskmanager_Status_JVM_Memory_NonHeap_Used TaskManager的堆外内存使用量。 字节(Byte) flink_taskmanager_Status_JVM_Memory_NonHeap_Committed 保证TaskManager的JVM可用的堆外内存量。 字节(Byte) flink_taskmanager_Status_JVM_Memory_NonHeap_Max TaskManager中可用于内存管理的最大堆外内存量。 字节(Byte) flink_taskmanager_Status_JVM_Memory_Metaspace_Used TaskManager MetaSpace内存池中当前使用的内存量。 字节(Byte) flink_taskmanager_Status_JVM_Memory_Metaspace_Committed TaskManager MetaSpace内存池中保证可供JVM使用的内存量。 字节(Byte) flink_taskmanager_Status_JVM_Memory_Metaspace_Max TaskManager MetaSpace内存池中可以使用的最大内存量。 字节(Byte) flink_taskmanager_Status_JVM_Memory_Direct_Count TaskManager direct缓冲池中的缓冲区数。 无 flink_taskmanager_Status_JVM_Memory_Direct_MemoryUsed TaskManager中JVM用于direct缓冲池的内存量。 字节(Byte) flink_taskmanager_Status_JVM_Memory_Direct_TotalCapacity TaskManager中direct缓冲池中所有缓冲区的总容量。 字节(Byte) flink_taskmanager_Status_JVM_Memory_Mapped_Count TaskManager中mapped缓冲池中的缓冲区个数。 无 flink_taskmanager_Status_JVM_Memory_Mapped_MemoryUsed TaskManager中JVM用于mapped缓冲池的内存量。 字节(Byte) flink_taskmanager_Status_JVM_Memory_Mapped_TotalCapacity TaskManager中mapped缓冲池中所有缓冲区的总容量。 字节(Byte) flink_taskmanager_Status_Flink_Memory_Managed_Used TaskManager中已使用的托管内存量。 字节(Byte) flink_taskmanager_Status_Flink_Memory_Managed_Total TaskManager中托管内存总量。 字节(Byte) flink_taskmanager_Status_ProcessTree_Memory_RSS 通过Linux获取整个进程的内存。 字节(Byte) Threads flink_jobmanager_Status_JVM_Threads_Count JobManager中活动的线程总数。 个 flink_taskmanager_Status_JVM_Threads_Count TaskManager中活动中的线程总数。 个 GarbageCollection flink_jobmanager_Status_JVM_GarbageCollector_ConcurrentMarkSweep_Count JobManager CMS垃圾回收器的回收次数。 次数 flink_jobmanager_Status_JVM_GarbageCollector_ConcurrentMarkSweep_Time JobManager CMS执行垃圾回收总耗时。 毫秒(ms) flink_jobmanager_Status_JVM_GarbageCollector_ParNew_Count JobManager GC次数。 次数 flink_jobmanager_Status_JVM_GarbageCollector_ParNew_Time JobManager每次GC时间。 毫秒(ms) flink_taskmanager_Status_JVM_GarbageCollector_ConcurrentMarkSweep_Count TaskManager CMS垃圾回收器的回收次数。 次数 flink_taskmanager_Status_JVM_GarbageCollector_ConcurrentMarkSweep_Time TaskManager CMS执行垃圾回收总耗时。 毫秒(ms) flink_taskmanager_Status_JVM_GarbageCollector_ParNew_Count TaskManager GC次数。 次数 flink_taskmanager_Status_JVM_GarbageCollector_ParNew_Time TaskManager每次GC时间。 毫秒(ms) ClassLoader flink_jobmanager_Status_JVM_ClassLoader_ClassesLoaded JobManager自JVM启动以来加载的类的总数。 无 flink_jobmanager_Status_JVM_ClassLoader_ClassesUnloaded JobManager自JVM启动以来卸载的类的总数。 无 flink_taskmanager_Status_JVM_ClassLoader_ClassesLoaded TaskManager自JVM启动以来加载的类的总数。 无 flink_taskmanager_Status_JVM_ClassLoader_ClassesUnloaded TaskManager自JVM启动以来卸载的类的总数。 无 Network flink_taskmanager_Status_Network_AvailableMemorySegments TaskManager未使用的内存segments的个数。 无 flink_taskmanager_Status_Network_TotalMemorySegments TaskManager中分配的内存segments的总数。 无 Default shuffle service flink_taskmanager_Status_Shuffle_Netty_AvailableMemorySegments TaskManager未使用的内存segments的个数。 无 flink_taskmanager_Status_Shuffle_Netty_UsedMemorySegments TaskManager已使用的内存segments的个数。 无 flink_taskmanager_Status_Shuffle_Netty_TotalMemorySegments TaskManager分配的内存segments的个数。 无 flink_taskmanager_Status_Shuffle_Netty_AvailableMemory TaskManager中未使用的内存量。 字节(Byte) flink_taskmanager_Status_Shuffle_Netty_UsedMemory TaskManager中已使用的内存量。 字节(Byte) flink_taskmanager_Status_Shuffle_Netty_TotalMemory TaskManager中分配的内存量。 字节(Byte) Availability flink_jobmanager_job_numRestarts 自作业提交以来的重新启动总数。 次 Checkpointing flink_jobmanager_job_lastCheckpointDuration 完成最新checkpoint所用的时间 毫秒(ms) flink_jobmanager_job_lastCheckpointSize 最新checkpoint的大小,如果启用了增量检查点或更改日志,则此度量可能与lastCheckpointFullSize不同。 字节(Byte) flink_jobmanager_job_numberOfInProgressCheckpoints 正在进行的checkpoint的数量。 个 flink_jobmanager_job_numberOfCompletedCheckpoints 成功完成的checkpoint的数量。 个 flink_jobmanager_job_numberOfFailedCheckpoints 失败的checkpoint的数量。 个 flink_jobmanager_job_totalNumberOfCheckpoints 所有checkpoint的总数。 个 IO flink_taskmanager_job_task_numBytesOut Task输出的字节总数。 字节(Byte) flink_taskmanager_job_task_numBytesOutPerSecond Task每秒输出的字节总数。 字节/秒(Byte/s) flink_taskmanager_job_task_isBackPressured Task是否反压。 无 flink_taskmanager_job_task_numRecordsIn Task收到的记录总数。 条 flink_taskmanager_job_task_numRecordsInPerSecond Task每秒收到的记录总数。 条/秒 flink_taskmanager_job_task_numBytesIn Task收到的字节数。 字节(Byte) flink_taskmanager_job_task_numBytesInPerSecond Task每秒收到的字节数。 字节/秒(Byte/s) flink_taskmanager_job_task_numRecordsOut Task发出的记录总数。 条 flink_taskmanager_job_task_numRecordsOutPerSecond Task每秒发出的记录总数。 条/秒 flink_taskmanager_job_task_operator_numRecordsIn Operator收到的记录总数。 条 flink_taskmanager_job_task_operator_numRecordsInPerSecond Operator每秒收到的记录总数。 条/秒 flink_taskmanager_job_task_operator_numRecordsOut Operator发出的记录总数。 条 flink_taskmanager_job_task_operator_numRecordsOutPerSecond Operator每秒发出的记录总数。 条/秒 flink_taskmanager_job_task_operator_sourceIdleTime Source 闲置时长。 毫秒(ms) flink_taskmanager_job_task_operator_source_numRecordsIn source收到的记录总数。 条 flink_taskmanager_job_task_operator_sink_numRecordsOut Sink端输出记录总数。 条 flink_taskmanager_job_task_operator_source_numRecordsInPerSecond 数据源Source端每秒输入的记录数。 条/秒 flink_taskmanager_job_task_operator_sink_numRecordsOutPerSecond 数据目的Sink端每秒输出的记录数。 条/秒 kafka connector flink_taskmanager_job_task_operator_currentEmitEventTimeLag 数据的事件时间与数据离开 Source 时的间隔 毫秒(ms) flink_taskmanager_job_task_operator_currentFetchEventTimeLag 数据的事件时间与数据进入Source的时间间隔 毫秒(ms) flink_taskmanager_job_task_operator_pendingRecords 尚未被 Source 拉取的数据数量 条 父主题: 指标总览
  • 与AOM 1.0对比 AOM 2.0基于AOM 1.0原有功能,结合用户常用的应用监控,增加了多种指标和日志数据的采集与监控,并对监控结果可视化呈现。同时,通过自动化运维功能将日常运维操作服务化、自动化,减少运维人员重复性操作。 本章节主要对比AOM 2.0与AOM 1.0版本的功能特性。 表1 AOM 2.0与AOM 1.0版本的功能特性对比 功能项 功能项说明 AOM 1.0 AOM 2.0 应用资源管理 资源检索 提供应用、主机等资源的检索功能,支持通过ID、关键字、名称等方式快速检索资源。 不支持 支持 应用管理 管理云服务对象与应用之间的关系,遵循“应用 + 子应用(可选)+ 组件 + 环境”的应用管理模型。 资源管理 全局查看所有的云服务资源对象与应用的关联关系,便于用户对资源进行分析和管理。 环境标签 为已创建的应用环境添加标签,便于用户快速过滤和查找相同属性的应用环境。 资源监控 接入中心 快速接入需要监控的业务层、应用层、中间件层、基础设施层指标。 不支持 支持 仪表盘 将不同图表展示到同一个屏幕上,通过多种图表形式展示资源的指标、日志和性能数据。 部分支持 只支持指标数据和系统性能数据的可视化监控,不支持日志数据的监控。 支持 告警管理 对服务设置事件条件或者对资源的指标设置阈值条件,当AOM自身或外部服务存在异常或可能存在异常而产生告警时,将告警信息以邮件、短信、企业微信等方式发送给指定的人员。 部分支持 只支持按指标类型和Prometheus命令创建指标告警规则,不支持按全量指标创建。 支持 应用洞察 基于CMDB模型,从应用、组件到环境对资源健康状态分层监控。 部分支持 不支持基于CMDB模型,对指标数据分层监控。 支持 容器洞察 从工作负载和集群2个维度监控CCE的资源使用、状态和告警等信息,以便快速响应,保证工作负载顺畅运行。 支持 支持 指标浏览 实时监控日志数据和各资源的指标数据及趋势,还可对关注的指标进行创建告警规则等操作,以便实时查看业务及分析数据关联分析。 部分支持 只支持监控分析指标数据,不支持监控分析日志数据。 支持 基础设施监控 实时监控主机和云服务运行状态和虚机CPU、内存、磁盘等信息。 支持 支持 Prometheus监控 全面对接开源Prometheus生态,支持类型丰富的组件监控,提供多种开箱即用的预置监控大盘,可灵活扩展云原生组件指标插件。 不支持 支持 业务监控 将ELB上报到LTS的日志数据提取为指标来统一管理,便于后续在指标浏览、仪表盘界面实时监控。 不支持 支持 日志分析 通过日志接入和日志搜索功能帮您快速在海量日志中查询到所需的日志,还可通过分析日志的来源信息和上下文原始数据快速定位问题。 支持 支持 进程监控 通过配置应用发现规则发现和收集主机上部署的应用和关联的指标,并支持从应用下钻到组件,从组件下钻到实例,从实例下钻到容器。通过各层状态,完成对应用或组件的立体监控。 支持 支持 数据订阅 支持用户订阅指标或者告警信息,订阅后可以将数据转发到用户配置的kafka或DMS的Topic中,供消费者消费转发的订阅的信息。 支持 支持 采集管理 通过UniAgent调度采集任务对数据进行采集。目前UniAgent安装支持两种方式:手动安装和自动安装。 不支持 支持 自动化运维 服务场景 提供不同任务类型,并且可以对各原子服务场景卡片进行管理。 不支持 支持 定时运维 提供创建定时任务等功能,并展示定时任务的执行记录。 任务管理 提供执行任务等功能,并展示所有任务的执行记录。 参数库 提供创建参数等功能,并展示现有所有参数信息。 作业管理 提供创建作业等功能,并支持对作业进行管理。 脚本管理 提供创建脚本等功能,并支持对脚本进行版本管理。 文件管理 提供创建文件包等功能,并支持对文件包进行版本管理。 随着AOM 1.0相关功能逐步被AOM 2.0全面取代,AOM 1.0后续会逐步下线,建议用户将AOM 1.0升级到AOM 2.0版本,升级的相关操作请参见升级AOM。
  • 数据库代理计费说明 数据库代理服务已经正式商用,数据库代理服务按照节点计费,控制台购买数据库代理实例时,默认创建2个节点,总费用=节点数*节点单价。 包周期数据库代理服务开启条件:需要数据库实例为包周期实例、需要联系客服人员开通权限。具体收费详细见表2。 表1 购买按需计费代理的单价(元/小时/节点) CPU类型 规格 单价(元/小时/节点) 区域(华南-广州、华东-上海二、华北-北京一、华北-北京四、华东-上海一) 单价(元/小时/节点) 区域(亚太-新加坡) 单价(元/小时/节点) 区域(中国-香港) x86 2U4GB 1.13 1.42 1.92 4U8GB 2.26 2.85 3.84 8U16GB 4.52 5.72 7.68 鲲鹏 2U4GB 0.96 1.2 1.63 4U8GB 1.92 2.42 3.26 8U16GB 3.84 4.86 6.52 表2 购买包周期代理的单价(元/节点) CPU类型 规格 包月价格(元/节点) 区域(华南-广州、华北-北京四、华东-上海一) 包1年官网价(元/节点) 区域(华南-广州、华北-北京四、华东-上海一) 包2年官网价(元/节点) 区域(华南-广州、华北-北京四、华东-上海一) 包3年官网价(元/节点) 区域(华南-广州、华北-北京四、华东-上海一) x86 2U4GB 542.4 5424 9112.32 9763.2 4U8GB 1084.8 10848 18224.64 19526.4 8U16GB 2169.6 21696 36449.28 39052.8 鲲鹏 2U4GB 460.8 4608 7741.44 8294.4 4U8GB 921.6 9216 15482.88 16588.8 8U16GB 1843.2 18432 30965.76 33177.6 表3 购买专属计算集群按需计费代理的单价(元/小时/节点/GB) 内存 单价(元/小时/节点/GB) 区域(华东-上海二、华北-北京一、华北-北京四、华东-上海一) 单价(元/小时/节点/GB) 区域(亚太-新加坡) 单价(元/小时/节点/GB) 区域(中国-香港) 1GB 0.217 0.234 0.416 父主题: 数据库代理(读写分离)
  • 告警解释 系统以用户配置的告警周期(metrics.reporter.alarm.job.alarm.rocksdb.metrics.duration,默认180s)检查作业RocksDB监控数据,如果作业RocksDB的Pending Flush请求数持续达到flush/compaction线程数的n倍,则发送告警。当作业RocksDB的Pending Flush请求数小于或等于阈值,则告警恢复。 flush/compaction线程数:参数“state.backend.rocksdb.thread.num”的值,默认值2,开启SPINNING_DISK_OPTIMIZED_HIGH_MEM的默认值为4。 n倍:参数“metrics.reporter.alarm.job.alarm.rocksdb.background.jobs.multiplier”的值,默认值2。
  • 可能原因 Flink作业RocksDB持续发生is-write-stopped可能的原因: MemTable太多,伴随有“ALM-45643 RocksDB的MemTable大小持续超过阈值”的告警。 Level0层SST文件数太多,伴随有“ALM-45644 RocksDB的Level0层SST文件数持续超过阈值”的告警。 预估Compaction的大小超过阈值,伴随有“ALM-45647 RocksDB的Pending Compaction预估总大小持续超过阈值”的告警。
  • 可能原因 Flink作业写RocksDB的速率不为0时触发写限流,导致限流的可能原因: MemTable太多引起写限流或写停止,伴随有“ALM-45643 RocksDB的MemTable大小持续超过阈值”的告警。 Level0层的SST文件数据太大,伴随有“ALM-45644 RocksDB的Level0层SST文件数持续超过阈值”的告警。 预估Compaction的大小超过阈值,伴随有“ALM-45647 RocksDB的Pending Compaction预估总大小持续超过阈值”的告警。
  • 告警解释 系统以用户配置的告警周期(metrics.reporter.alarm.job.alarm.rocksdb.metrics.duration,默认180s)检查作业RocksDB监控数据,如果作业RocksDB持续触发写限流,即作业写RocksDB的速率不为0时则发送告警。当作业写RocksDB的速率为0时,则告警恢复。 作业写RocksDB的速率:参数“rocksdb.actual-delayed-write-rate”的值,“0”表示不限速,其他值表示限速值。
  • 自定义购买专属云 MRS 集群 登录MRS管理控制台。 单击“购买集群”,进入“购买集群”页面。 在购买集群页面,选择“自定义购买”页签。 在“基础配置”区域,设置MRS集群基础信息。 计费模式:选择“包年/包月”模式。 区域:待创建资源所在的区域信息,不同区域的资源之间内网不互通,请选择靠近您的区域,可以降低网络延时、提高访问速度。 根据界面提示,配置MRS集群信息。 创建集群时,您需要对集群的版本信息、网络信息、节点规格信息及数量以及其他高级配置功能进行配置。 MRS集群版本配置 MRS集群网络配置 MRS集群节点配置 配置节点磁盘类型时,根据磁盘使用的存储资源是否独享,磁盘划分为“云硬盘”、“专属分布式存储”。 云硬盘:提供规格丰富、安全可靠、可弹性扩展的硬盘资源,满足不同性能要求的业务场景。 如果未申请独享的存储池,请选择“云硬盘”,创建的磁盘使用公共存储资源。 专属分布式存储:为用户提供独享的存储资源,通过数据冗余和缓存加速等多项技术,提供高可用性和持久性,以及稳定的低时延性能。 如果您在专属分布式存储服务页面申请了存储池,可以选择“专属分布式存储”,在已申请的存储池中创建磁盘。 MRS集群其他配置 单击“立即购买”。 当集群开启Kerberos认证时,需要确认是否需要开启Kerberos认证,若确认开启请单击“继续”,若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群,集群购买成功后不支持修改Kerberos认证模式。 如果您对价格有疑问,可以单击页面左下角“了解计费详情”,根据计费详情来了解产品价格。 单击“返回集群列表”,可以查看到集群创建的状态。 集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。 集群创建的状态过程请参见表1中的“状态”参数说明。 MRS系统界面支持同一时间并发创建10个集群,且最多支持管理100个集群。
  • 快速购买专属云MRS集群 进入购买MRS集群页面。 在购买集群页面,选择“快速购买”页签。 参考下列参数说明配置集群基本信息。 表1 MRS集群配置参数 参数 描述 示例 计费模式 集群的计费模式,MRS只支持“包年/包月”模式。 包年/包月 区域 待创建资源所在的区域信息,不同区域的资源之间内网不互通,请选择靠近您的区域,可以降低网络延时、提高访问速度。 - 集群名称 MRS集群名称,可以设置为系统默认名称,但为了区分和记忆,建议带上项目拼音缩写或者日期信息等。 集群创建成功后,您也可以在集群列表中手动修改集群名称。 mrs-test 集群类型 根据业务需要选择合适的MRS集群类型。 分析集群:用于离线数据分析场景,对海量数据进分析处理,形成结果数据,主要包含Hadoop、Spark、HBase、Hive、Flink、Oozie、Tez等数据分析类组件。 流式集群:用于流式数据处理任务,对实时数据源进行快速分析,主要包含Kafka、Flume等流式数据处理组件。 混合集群:既可以用来做离线数据分析,也可以用来做流处理任务的集群。 自定义:提供丰富的组件搭配,可自行选择对应版本MRS集群所支持的所有组件。 自定义 版本类型 MRS提供了LTS版与普通版两种类型的集群,不同版本提供的组件有所不同,可根据需要选择版本类型。 LTS版:集群提供更强的高可靠和容灾能力,融入了MRS服务自研组件,提供长期的支持和演进。 普通版:主要依托开源组件的能力,融入了MRS服务自研、成熟稳定的特性和功能,带来性能及稳定性的提升。 LTS版 集群版本 MRS集群的版本,不同版本所包含的开源组件版本及功能特性可能不同,推荐选择最新版本。 版本详细包含的组件详细可参考MRS组件版本一览表。 MRS 3.2.0-LTS.1 组件选择 基于系统预置的集群模板选择要购买的集群组件。 HBase查询集群 可用区 当前区域内,待创建资源所归属的可用区,可用区是在同一区域下,电力、网络隔离的物理区域。 说明: 当您为IES购买MRS时,请选择可用区为“边缘可用区”。 可用区1 虚拟私有云 MRS集群节点所归属的虚拟私有云网络,如果没有可用的虚拟私有云,请单击“查看虚拟私有云”进入网络控制台,创建一个新的虚拟私有云。 - 子网 虚拟私有云网络内的子网信息,如果没有可用的子网,请单击“查看子网”进入网络控制台,创建一个新的子网。 - 集群节点 MRS集群内节点的规格信息及数量配置。 MRS 3.x及之后版本集群Master节点规格不能小于64GB。 根据自身需要选择集群节点规格数量。 Kerberos认证 MRS集群中各组件是否启用Kerberos认证。Kerberos认证开启时,用户需要通过认证后才可以访问组件对应资源。 购买集群后,不支持修改。 开启Kerberos认证 用户名 MRS集群Manager及节点的默认登录用户,admin用户用于登录集群的Manager管理界面,root用户为集群内节点的操作系统管理用户,用于节点登录。 - 密码/确认密码 设置root用户和admin用户密码,该密码由用户自定义,请妥善保管。 - 企业项目 企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理,您可以选择系统定义的企业项目default或者创建自己的企业项目。 default 通信安全授权 MRS管理控制台需要直接访问部署在用户VPC内的大数据组件时需要开通相应的安全组规则,详情说明请参考配置MRS集群安全通信授权。 勾选授权 单击“立即购买”。 当集群开启Kerberos认证时,需要确认是否需要开启Kerberos认证,若确认开启请单击“继续”,若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群,集群购买成功后不支持修改Kerberos认证模式。 如果您对价格有疑问,可以单击页面左下角“了解计费详情”,根据计费详情来了解产品价格。 单击“返回集群列表”,可以查看到集群创建的状态。 集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。 集群创建的状态过程请参见表1中的“状态”参数说明。 MRS系统界面支持同一时间并发创建10个集群,且最多支持管理100个集群。
  • 加固Tomcat 在 FusionInsight Manager软件安装及使用过程中,针对Tomcat基于开源做了如下功能增强: 升级Tomcat版本为官方稳定版本。 设置应用程序之下的目录权限为500,对部分目录支持写权限。 系统软件安装完成后自动清除Tomcat安装包。 应用程序目录下针对工程禁用自动部署功能,只部署了web、cas和client三个工程。 禁用部分未使用的HTTP方法,防止被他人利用攻击。 更改Tomcat服务器默认shutdown端口号和命令,避免被黑客捕获利用关闭服务器,降低对服务器和应用的威胁。 出于安全考虑,更改“maxHttpHeaderSize”的取值,给服务器管理员更大的可控性,以控制客户端不正常的请求行为。 安装Tomcat后,修改Tomcat版本描述文件。 为了避免暴露Tomcat自身的信息,更改Connector的Server属性值,使攻击者不易获知服务器的相关信息。 控制Tomcat自身配置文件、可执行文件、日志目录、临时目录等文件和目录的权限。 关闭会话facade回收重用功能,避免请求泄漏风险。 CookieProcessor使用LegacyCookieProcessor,避免cookie中的敏感数据泄漏。
  • 加固JDK 如果客户端程序使用了AES256加密算法,则需要对JDK进行安全加固,具体操作如下: 获取与JDK版本对应的JCE(Java Cryptography Extension)文件。JCE文件解压后包含“local_policy.jar”和“US_export_policy.jar”。复制此jar包到如下路径并替换文件: Linux:“JDK安装目录/jre/lib/security” Windows:“JDK安装目录\jre\lib\security” 请访问Open JDK开源社区获取JCE文件。 如果客户端程序需要支持SM4加密算法,则需要更新Jar包: 在“客户端安装目录/JDK/jdk/jre/lib/ext/”目录下获取“ SMS 4JA.jar”,并复制到如下目录: Linux:“JDK安装目录/jre/lib/ext/” Windows:“JDK安装目录\jre\lib\ext\”
  • 加固LDAP 在安装完集群后,针对LDAP做了如下功能增强: LDAP配置文件中管理员密码使用SHA加密,当升级openldap版本为2.4.39或更高时,主备LDAP节点服务自动采用SASL External机制进行数据同步,避免密码信息被非法获取。 集群中的LDAP服务默认支持SSLv3协议,可安全使用。当升级openldap版本为2.4.39或更高时,LDAP将自动使用TLS1.0以上的协议通讯,避免未知的安全风险。
  • 告警解释 系统以用户配置的告警周期(metrics.reporter.alarm.job.alarm.rocksdb.metrics.duration,默认180s)检查作业RocksDB监控数据,如果作业RocksDB的Level0层SST文件数持续达到用户配置的阈值(state.backend.rocksdb.level0_slowdown_writes_trigger,默认20),则发送告警。当作业RocksDB的Level0层SST文件数小于或等于阈值,则告警恢复。
  • 告警解释 系统以用户配置的告警周期(metrics.reporter.alarm.job.alarm.rocksdb.metrics.duration,默认180s)检查作业RocksDB监控数据,如果作业RocksDB的MemTable大小持续超过用户配置的阈值(metrics.reporter.alarm.job.alarm.rocksdb.get.micros.threshold,默认50000微秒),则发送告警。当作业RocksDB的MemTable大小小于或等于用户配置的阈值,则告警恢复。
  • 告警解释 系统以用户配置的告警周期(metrics.reporter.alarm.job.alarm.rocksdb.metrics.duration,默认180s)检查作业RocksDB监控数据,如果作业RocksDB的Write P95耗时达到用户配置的阈值(metrics.reporter.alarm.job.alarm.rocksdb.write.micros.threshold,默认值50000,单位微秒),则发送告警。当作业RocksDB的Write P95耗时时间小于或等于阈值,则告警恢复。
  • 可能原因 Flink作业RocksDB的Write P95耗时持续超过阈值的可能原因: MemTable太多引起写限流或写停止,伴随有“ALM-45643 RocksDB的MemTable大小持续超过阈值”的告警。 Level0层SST文件数太大,伴随有“ALM-45644 RocksDB的Level0层SST文件数持续超过阈值”的告警。 预估Compaction的大小超过阈值,伴随有“ALM-45647 RocksDB的Pending Compaction预估总大小持续超过阈值”的告警。
  • 告警解释 系统以用户配置的告警周期(metrics.reporter.alarm.job.alarm.rocksdb.metrics.duration,默认180s)检查作业RocksDB监控数据,如果作业RocksDB的Pending Compaction请求数持续达到flush/compaction线程数的n倍,则发送告警。当作业RocksDB的Pending Compaction请求数小于或等于阈值,则告警恢复。 flush/compaction线程数:参数“state.backend.rocksdb.thread.num”的值,默认值2,开启SPINNING_DISK_OPTIMIZED_HIGH_MEM的默认值为4。 n倍:参数“metrics.reporter.alarm.job.alarm.rocksdb.background.jobs.multiplier”的值,默认值2。
  • 告警解释 系统以用户配置的告警周期(metrics.reporter.alarm.job.alarm.rocksdb.metrics.duration,默认180s)检查作业RocksDB监控数据,如果作业RocksDB的Pending Compaction预估总大小持续达到用户配置的阈值,则发送告警。当作业RocksDB的Pending Compaction预估总大小小于或等于阈值,则告警恢复。 Pending Compaction预估总大小阈值:取如下两个参数的最小值。 state.backend.rocksdb.soft-pending-compaction-bytes-limit,默认值64GB state.backend.rocksdb.hard-pending-compaction-bytes-limit,默认值256GB
  • 运行日志 运行日志记录的运行信息描述如表3所示。 表3 运行信息一览表 运行日志 日志描述 服务安装前的准备日志 记录服务安装前的准备工作,如检测、配置和反馈操作的信息。 进程启动日志 记录进程启动过程中执行的命令信息。 进程启动异常日志 记录进程启动失败时产生异常的信息,如依赖服务错误、资源不足等 进程运行日志 记录进程运行信息及调试信息,如函数入口和出口打印、模块间接口消息等。 进程运行异常日志 记录导致进程运行时错误的错误信息,如输入对象为空、编解码失败等错误。 进程运行环境信息日志 记录进程运行环境的信息,如资源状态、环境变量等。 脚本日志 记录脚本执行的过程信息。 资源回收日志 记录资源回收的过程信息。 服务卸载时的清理日志 记录卸载服务时执行的步骤操作信息,如清除目录数据、执行时间等
  • 审计日志 审计日志记录的审计信息包含Manager审计信息和组件审计信息。 表4 Manager审计信息一览表 操作类型 操作 用户管理 创建用户 修改用户 删除用户 创建组 修改组 删除组 添加角色 修改角色 删除角色 密码策略修改 修改密码 密码重置 用户登录 用户注销 屏幕解锁 下载认证凭据 用户越权操作 用户账号解锁 用户账号锁定 屏幕锁定 导出用户 导出用户组 导出角色 集群 启动集群 停止集群 重启集群 滚动重启集群 重启所有过期实例 保存配置 同步集群配置 定制集群监控指标 配置监控转储 保存监控阈值 下载客户端配置 北向Syslog接口配置 北向SNMP接口配置 SNMP清除告警 SNMP添加trap目标 SNMP删除trap目标 SNMP检查告警 SNMP同步告警 创建阈值模板 删除阈值模板 应用阈值模板 保存集群监控配置数据 导出配置数据 导入集群配置数据 导出安装模板 修改阈值模板 取消阈值模板应用 屏蔽告警 发送告警 修改 OMS 数据库密码 重置组件数据库密码 重启OMM和Controller 启动集群的健康检查 导入证书文件 配置SSO信息 删除健康检查历史报告 修改集群属性 同步维护命令 异步维护命令 定制报表监控指标 导出报表监控数据 SNMP执行异步命令 重启WEB服务 定制静态资源池监控指标 导出静态资源池监控数据 定制主页监控指标 中止任务 还原配置 修改域和互信的配置 修改系统参数 集群进入维护模式 集群退出维护模式 OMS进入维护模式 OMS退出维护模式 批量退出维护模式 修改OMS配置 启用阈值告警 同步所有集群配置 服务 启动服务 停止服务 同步服务配置 刷新服务队列 定制服务监控指标 重启服务 滚动重启服务 导出服务监控数据 导入服务配置数据 启动服务的健康检查 服务配置 上传配置文件 下载配置文件 同步实例配置 实例入服 实例退服 启动实例 停止实例 定制实例监控指标 重启实例 滚动重启实例 导出实例监控数据 导入实例配置数据 创建实例组 修改实例组 删除实例组 移动到另一个实例组 服务进入维护模式 服务退出维护模式 修改服务显示名称 修改服务关联关系 下载监控数据 屏蔽告警 取消屏蔽告警 导出服务的报表数据 添加报表的自定义参数 修改报表的自定义参数 删除报表的自定义参数 倒换控制节点 新增挂载表 修改挂载表 主机 设置节点机架 启动所有角色 停止所有角色 隔离主机 取消隔离主机 定制主机监控指标 导出主机监控数据 主机进入维护模式 主机退出维护模式 导出主机基本信息 导出主机分布的报表数据 导出主机趋势的报表数据 导出主机集群的报表数据 导出服务的报表数据 定制主机集群监控指标 定制主机趋势监控指标 告警 导出告警 清除告警 导出事件 批量清除告警 采集日志 采集日志文件 下载日志文件 采集服务堆栈信息 采集实例堆栈信息 准备服务堆栈信息 准备实例堆栈信息 清理服务堆栈信息 清理实例堆栈信息 审计日志 修改审计转储配置 导出审计日志 备份恢复 创建备份任务 执行备份任务 批量执行备份任务 停止备份任务 删除备份任务 修改备份任务 锁定备份任务 解锁备份任务 创建恢复任务 执行恢复任务 停止恢复任务 重试恢复任务 删除恢复任务 多租户 保存静态配置 添加租户 删除租户 关联租户服务 删除租户服务 配置资源 创建资源 删除资源 增加资源池 修改资源池 删除资源池 恢复租户数据 修改租户全局配置 修改容量调度器队列配置 修改超级调度器队列配置 修改容量调度器资源分布 清除容量调度器资源分布 修改超级调度器资源分布 清除超级调度器资源分布 添加资源目录 修改资源目录 删除资源目录 定制租户监控指标 健康检查 启动集群的健康检查 启动服务的健康检查 启动主机的健康检查 启动oms健康检查 启动系统的健康检查 更新健康检查的配置 导出健康检查报告 导出集群健康检查的结果 导出服务健康检查的结果 导出主机健康检查的结果 删除健康检查历史报告 导出健康检查历史报告 下载健康检查报告 表5 组件审计信息一览表 审计日志 操作类型 操作 CDL审计日志 业务操作 创建Link 删除Link 创建Job 启动Job 删除Job IoTDB审计日志 维护管理 授权 收回权限 认证和登录信息 业务操作 删除时间序列/分区/函数/索引 修改时间序列操作 ClickHouse审计日志 维护管理 授权 收回权限 认证和登录信息 业务操作 创建数据库/表 插入、删除、查询、执行数据迁移任务 DBService审计日志 维护管理 备份恢复操作 HBase审计日志 DDL(数据定义)语句 创建表 删除表 修改表 增加列族 修改列族 删除列族 启用表 禁用表 用户信息修改 修改密码 用户登录 DML(数据操作)语句 put数据(针对hbase:meta表、_ctmeta_表和hbase:acl表) 删除数据(针对hbase:meta表、_ctmeta_表和hbase:acl表) 检查并put数据(针对hbase:meta表、_ctmeta_表和hbase:acl表) 检查并删除数据(针对hbase:meta表、_ctmeta_表和hbase:acl表) 权限控制 给用户授权 取消用户授权 HDFS审计日志 权限管理 文件/文件夹访问权限 文件/文件夹owner信息 文件操作 创建文件夹 创建文件 打开文件 追加文件内容 修改文件名称 删除文件/文件夹 设置文件时间属性 设置文件副本个数 多文件合并 文件系统检查 文件链接 Hive审计日志 元数据操作 元数据定义,如创建数据库、表等 元数据删除,如删除数据库、表等 元数据修改,如增加列、重命名表等 元数据导入/导出 数据维护 向表中加载数据 向表中插入数据 权限管理 创建/删除角色 授予/回收角色 授予/回收权限 Hue审计日志 服务启动 启动Hue 用户操作 用户登录 用户退出 任务操作 创建任务 修改任务 删除任务 提交任务 保存任务 任务状态更新 KrbServer审计日志 维护管理 修改kerberos账号密码 添加kerberos账号 删除kerberos账号 用户认证 LdapServer审计日志 维护管理 添加操作系统用户 添加组 添加用户到组 删除用户 删除组 Loader审计日志 安全管理 用户登录 元数据管理 查询connector 查询framework 查询step 数据源连接管理 查询数据源连接 增加数据源连接 更新数据源连接 删除数据源连接 激活数据源连接 禁用数据源连接 作业管理 查询作业 创建作业 更新作业 删除作业 激活作业 禁用作业 查询作业所有执行记录 查询作业最近执行记录 提交作业 停止作业 Mapreduce审计日志 程序运行 启动Container请求 停止Container请求 Container结束,状态为成功 Container结束,状态为失败 Container结束,状态为中止 提交任务 结束任务 Oozie审计日志 任务管理 提交任务 启动任务 kill任务 暂停任务 恢复任务 重新运行任务 Spark审计日志 元数据操作 元数据定义,如创建数据库、表等 元数据删除,如删除数据库、表等 元数据修改,如增加列、重命名表等 元数据导入/导出 数据维护 向表中加载数据 向表中插入数据 Storm审计日志 Nimbus 提交拓扑 中止拓扑 重分配拓扑 去激活拓扑 激活拓扑 UI 中止拓扑 重分配拓扑 去激活拓扑 激活拓扑 Yarn审计日志 任务提交 提交作业到队列相关的操作 Zookeeper审计日志 权限管理 设置ZNODE访问权限 ZNODE操作 创建ZNODE 删除ZNODE 设置ZNODE数据 HetuEngine审计日志 作业管理 添加外部数据源 删除外部数据源 修改外部数据源 创建计算实例 启动计算实例 停止计算实例 删除计算实例 查询计算实例 修改计算实例配置 MRS的审计日志保存在数据库中,可通过“审计管理”页面查看及导出审计日志。 组件审计日志的文件信息见下表。部分组件审计日志文件保存在“/var/log/Bigdata/audit”,例如HDFS、HBase、Mapreduce、Hive、Hue、Yarn、Storm和ZooKeeper。每天凌晨3点自动将组件审计日志压缩备份到“/var/log/Bigdata/audit/bk”,最多保留最近的90个压缩备份文件,不支持修改备份时间。 其他组件审计日志文件保存在组件日志目录中。 表6 组件审计日志目录 组件名称 审计日志目录 DBService /var/log/Bigdata/audit/dbservice/dbservice_audit.log HBase /var/log/Bigdata/audit/hbase/hm/hbase-audit-hmaster.log /var/log/Bigdata/audit/hbase/hm/hbase-ranger-audit-hmaster.log /var/log/Bigdata/audit/hbase/rs/hbase-audit-regionserver.log /var/log/Bigdata/audit/hbase/rs/hbase-ranger-audit-regionserver.log /var/log/Bigdata/audit/hbase/rt/hbase-audit-restserver.log /var/log/Bigdata/audit/hbase/ts/hbase-audit-thriftserver.log HDFS /var/log/Bigdata/audit/hdfs/nn/hdfs-audit-namenode.log /var/log/Bigdata/audit/hdfs/nn/ranger-plugin-audit.log /var/log/Bigdata/audit/hdfs/dn/hdfs-audit-datanode.log /var/log/Bigdata/audit/hdfs/jn/hdfs-audit-journalnode.log /var/log/Bigdata/audit/hdfs/zkfc/hdfs-audit-zkfc.log /var/log/Bigdata/audit/hdfs/httpfs/hdfs-audit-httpfs.log /var/log/Bigdata/audit/hdfs/router/hdfs-audit-router.log HetuEngine /var/log/Bigdata/audit/hetuengine/hsbroker/hsbroker-audit.log.0 /var/log/Bigdata/audit/hetuengine/hsconsole/hsconsole-audit.log.0 /var/log/Bigdata/audit/hetuengine/hsfabric/hsfabric-audit.log.0 hdfs://hacluster/hetuserverhistory/租户/coordinator/application_ID/container_ID/yyyyMMdd/hetuserver-engine-audit.log hdfs://hacluster/hetuserverhistory/租户/coordinator或worker/application_ID/container_ID/yyyyMMdd/server.log Hive /var/log/Bigdata/audit/hive/hiveserver/hive-audit.log /var/log/Bigdata/audit/hive/hiveserver/hive-rangeraudit.log /var/log/Bigdata/audit/hive/metastore/metastore-audit.log /var/log/Bigdata/audit/hive/webhcat/webhcat-audit.log Hue /var/log/Bigdata/audit/hue/hue-audits.log Kafka /var/log/Bigdata/audit/kafka/audit.log Loader /var/log/Bigdata/loader/audit/default.audit CDL /var/log/Bigdata/audit/cdl/service/cdl-audit.log Mapreduce /var/log/Bigdata/audit/mapreduce/jobhistory/mapred-audit-jobhistory.log Oozie /var/log/Bigdata/audit/oozie/oozie-audit.log Spark2x /var/log/Bigdata/audit/spark2x/jdbcserver/jdbcserver-audit.log /var/log/Bigdata/audit/spark2x/jdbcserver/ranger-audit.log /var/log/Bigdata/audit/spark2x/jobhistory/jobhistory-audit.log Storm /var/log/Bigdata/audit/storm/logviewer/audit.log /var/log/Bigdata/audit/storm/nimbus/audit.log /var/log/Bigdata/audit/storm/supervisor/audit.log /var/log/Bigdata/audit/storm/ui/audit.log Yarn /var/log/Bigdata/audit/yarn/rm/yarn-audit-resourcemanager.log /var/log/Bigdata/audit/yarn/rm/ranger-plugin-audit.log /var/log/Bigdata/audit/yarn/nm/yarn-audit-nodemanager.log ZooKeeper /var/log/Bigdata/audit/zookeeper/quorumpeer/zk-audit-quorumpeer.log IoTDB /var/log/Bigdata/audit/iotdb/iotdbserver/log_audit.log
  • 日志描述 MRS集群的日志保存路径为“/var/log/Bigdata”。日志分类见下表: 表1 日志分类一览表 日志类型 日志描述 安装日志 安装日志记录了Manager、集群和服务安装的程序信息,可用于定位安装出错的问题。 运行日志 运行日志记录了集群各服务运行产生的信息及调试信息、状态变迁、未产生影响的潜在问题和直接的错误信息。 审计日志 审计日志中记录了用户活动信息和用户操作指令信息,可用于安全事件中定位问题原因及划分事故责任。 MRS日志目录清单见下表: 表2 日志目录一览表 文件目录 日志内容 /var/log/Bigdata/audit 组件审计日志。 /var/log/Bigdata/controller 日志采集脚本日志。 controller进程日志。 controller监控日志。 /var/log/Bigdata/dbservice DBService日志。 /var/log/Bigdata/flume Flume日志。 /var/log/Bigdata/hbase HBase日志。 /var/log/Bigdata/hdfs HDFS日志。 /var/log/Bigdata/hive Hive日志。 /var/log/Bigdata/hetuengine HetuEngine日志。 /var/log/Bigdata/httpd httpd日志。 /var/log/Bigdata/hue Hue日志。 /var/log/Bigdata/kerberos Kerberos日志。 /var/log/Bigdata/ldapclient LDAP客户端日志。 /var/log/Bigdata/ldapserver LDAP服务端日志。 /var/log/Bigdata/loader Loader日志。 /var/log/Bigdata/logman logman脚本日志管理日志。 /var/log/Bigdata/mapreduce MapReduce日志。 /var/log/Bigdata/nodeagent NodeAgent日志。 /var/log/Bigdata/okerberos OMS Kerberos日志。 /var/log/Bigdata/oldapserver OMS LDAP日志。 /var/log/Bigdata/metric_agent MetricAgent运行日志。 /var/log/Bigdata/omm oms:“omm”服务端的复杂事件处理日志、告警服务日志、HA日志、认证与授权管理日志和监控服务运行日志。 oma:“omm”代理端的安装运行日志。 core:“omm”代理端与“HA”进程失去响应的dump日志。 /var/log/Bigdata/spark2x Spark2x日志。 /var/log/Bigdata/sudo omm执行sudo命令产生的日志。 /var/log/Bigdata/timestamp 时间同步管理日志。 /var/log/Bigdata/tomcat Tomcat日志。 /var/log/Bigdata/watchdog Watchdog日志。 /var/log/Bigdata/yarn Yarn日志。 /var/log/Bigdata/zookeeper ZooKeeper日志。 /var/log/Bigdata/oozie Oozie日志。 /var/log/Bigdata/kafka Kafka日志。 /var/log/Bigdata/storm Storm日志。 /var/log/Bigdata/iotdb IoTDB日志。 /var/log/Bigdata/cdl CDL日志。 /var/log/Bigdata/upgrade 升级OMS日志。 /var/log/Bigdata/update-service 升级服务日志。 /var/log/Bigdata/patch 补丁日志。
  • 告警解释 系统以用户配置的告警周期(metrics.reporter.alarm.job.alarm.rocksdb.metrics.duration,默认180s)检查作业RocksDB监控数据,如果作业RocksDB的Get P95耗时达到用户配置的阈值(metrics.reporter.alarm.job.alarm.rocksdb.get.micros.threshold,默认值50000,单位微秒),则发送告警。当作业RocksDB的Get P95耗时时间小于或等于阈值,则告警恢复。
  • CodeArts Check一键格式化及自动修复功能介绍 一键格式化:支持对单文件/多文件/文件夹/整个项目进行一键格式化。一键格式化可帮助您自动解决项目里基础的代码规范问题,如:多余的空格或空行。操作方法如下: 在当前打开的文件代码编辑区或在项目的资源管理器界面里,单击鼠标右键,选择“CodeArts Check一键格式化”。 自动修复:针对插件扫描出来的单个问题,插件提供建议如何修复的预览界面及自动修复。
  • CodeArts Check插件检查功能介绍 扫描检查单文件、多文件、整个项目并查看扫描结果 单文件扫描检查:在当前打开的文件代码编辑区,单击鼠标右键,选择“CodeArts Check文件检查”。或者在项目的资源管理器界面里,鼠标移动到需要扫描的文件,单击鼠标右键,选择“CodeArts Check文件检查”。 多文件扫描检查:在项目的资源管理器里,按住Ctrl键,鼠标左键选择需要扫描的几个文件,单击鼠标右键,选择“CodeArts Check文件检查”。 整个项目扫描检查:在当前打开的文件代码编辑区,单击鼠标右键,选择“CodeArts Check项目检查”。或者在项目的资源管理器界面里,单击鼠标右键,选择“CodeArts Check项目检查”。 告警帮助提供告警详细描述、严重级别、告警类型、正确示例、错误示例及修复建议,您可以根据”严重程度/文件分类/规则分类”筛选查看告警。 按文件分类查看:打开CodeArts Check窗口,选择“Defects”页签,在检查结果区域左侧工具栏,单击(分类),选择“按文件分类进行查看”。 按严重级别后告警类型查看:打开CodeArts Check窗口,选择“Defects”页签,在检查结果区域左侧工具栏,单击,根据需要选择显示问题的类别。 根据告警指导修改后,插件将实时自动检查,自动更新告警信息 用户根据插件告警指导修改后,插件将实时自动进行检查,自动更新告警信息。
  • CodeArts Check规则配置功能介绍 打开CodeArts Check窗口,选择“Setting”页签,查看配置。 “CodeArts Check配置”界面功能说明请参见图1和表1。 图1 CodeArts Check配置界面 表1 CodeArts Check配置界面功能说明 序号 功能项 功能描述 1 开启/关闭无感扫描和git提交自动扫描 配置无感扫描:即勾选“代码编辑后保存,是否自动触发代码检查”。扫描完成不影响用户当前作业窗口,修改保存自动扫描、结果自动刷新在CodeArts Check窗口“Defects”页签下区域;取消勾选“代码编辑后保存,是否自动触发代码检查”则关闭该功能。 配置git代码提交时自动扫描:即勾选“代码提交前,是否自动触发代码检查”;取消勾选“代码提交前,是否自动触发代码检查”则关闭该功能。 2 检查模式 无需配置,默认为本地扫描模式。 3 配置扫描排除目录 支持填写相对代码仓的相对目录,例如:一级目录写 目录名,二级目录写 目录1名/目录2名;多个指定目录扫描,可用;号隔开。 不填写目录默认扫描整个项目的所有内容(仅在项目检查时生效)。 4 分类检索 支持规则的搜索或过滤。 5 快速设置规则 支持规则的快速勾选/取消勾选。 6 导入/导出配置规则 将规则详情信息以xlsx格式的文件导出至本地。或将本地准备好的xlsx格式的规则文件导入至工具。
  • 配置CodeArts Check插件 编辑器下方切换到“CodeArts Check”窗口,在底部工具栏单击“Setting”,弹出配置窗口。 单击配置窗口中“规则”左侧的图标可以查看规则详细信息。 根据实际需要确定勾选是否自动触发代码检查,然后输入检查的屏蔽目录和指定的扫描目录。 可以查看当前被激活/应用到的规则(包括状态、危险级别、编程语言、引擎标签、规则类型)或者根据规则集筛选规则(所有规则集/推荐规则集)。 配置后,单击“应用”。
  • 修订记录 发布日期 修订记录 2022-06-08 第二十二次正式发布。 新增通过Nginx配置URL转发 新增是否支持动态解析DDNS? 新增怎样查看并修改 域名 的DNS服务器地址? 修改解析不生效怎么办? 修改什么是反向解析? 2022-05-12 第二十一次正式发布。 修改 怎样测试域名解析是否生效?,修改验证解析是否生效的操作步骤。 华为云提供的内网 DNS地址 是多少?,补充“华南-广州-友好用户环境”的内网DNS地址。 2021-11-30 第二十次正式发布。 修改 云解析服务最高支持几级域名?,修改域名级别的描述。 2021-03-12 第十九次正式发布。 新增 域名未备案可以配置解析吗? 2020-06-17 第十八次正式发布。 新增 修改DNS服务器后多久生效? 2020-06-12 第十七次正式发布。 新增 域名转移是否会影响DNS解析? 2020-06-10 第十六次正式发布。 新增 网站无法访问排查思路 修改 为什么域名解析成功但网站仍然无法访问?,补充说明仅部署在中国大陆区域的网站需要备案。 添加记录集时,为什么会提示“与已有解析记录冲突”?,补充冲突示例及解决方案。 是否支持将解析的域名从账号A转移到账号B?,优化内容,补充与域名账号间转移的区别。 2020-05-15 第十五次正式发布。 对常见问题进行分类。 新增 DNS解析线路的优先级顺序是什么? 常用邮箱的解析记录示例 是否支持 动态域名解析 ? 2020-04-20 第十四次正式发布。 修改 如何添加二级域名解析?,补充截图。 2020-02-21 第十三次正式发布。 修改 华为云DNS对用户提供域名服务的DNS服务器地址是什么?,新增NS地址。 2020-01-21 第十二次正式发布。 修改 添加记录集时,为什么会提示“与已有解析记录冲突”?,补充NS和CNAME记录集的冲突限制说明。 2019-10-10 第十一次正式发布。 修改 怎样测试域名解析是否生效?,补充解析生效和不生效的示例。 为什么域名解析成功但网站仍然无法访问?,补充配置步骤。 添加记录集时,为什么会提示“与已有解析记录冲突”?,增加MX和CNAME记录集冲突的处理办法。 2019-09-05 第十次正式发布。 修改 华为云提供的内网DNS地址是多少?,增加“华东-上海一”、“欧洲-巴黎”以及“北美-亚特兰大”区域的内网DNS地址。 增加 是否支持将解析的域名从账号A转移到账号B? 是否支持将域名解析到其他云服务商或者线下机房? 是否支持显性/隐性URL转发功能? 为什么域名解析成功但网站仍然无法访问? 公网解析与内网解析有什么区别? 如何设置内网域名既支持内网解析,也支持公网解析? 内网解析是同区域还是跨区域? 如何添加二级域名解析? 是否同时支持IPv4和IPv6解析? 2019-08-23 第九次正式发布。 修改 华为云提供的内网DNS地址是多少?,更新“亚太-新加坡”区域的内网DNS地址。 2019-04-30 第八次正式发布。 修改 常见问题内容优化更新,涉及页面: 怎样切换内网DNS? 什么是TTL值? 内网DNS并发有什么限制? 2019-03-05 第七次正式发布。 修改 更新界面截图。 华为云提供的内网DNS地址是多少?,增加不同区域内网DNS地址。 2018-11-15 第六次正式发布。 更新界面截图。 2018-09-15 第五次正式发布。 增加 内网DNS并发有什么限制? 修改 更新界面截图。 2018-08-15 第四次正式发布。 修改 更新界面截图。 修改添加记录集的参数“类型”。 华为云提供的内网DNS地址是多少?,增加中国香港区域的内网DNS地址。 2018-06-30 第三次正式发布。 修改 更新界面截图。 修改标签字符集范围。 2018-05-15 第二次正式发布。 修改 怎样通过弹性云服务器的主机名访问弹性云服务器?,修改添加记录集的参数“类型”。 2018-04-10 第一次正式发布。
  • 功能总览 表1列出了云解析服务的常用功能。 在使用云解析服务之前,建议您先了解云解析服务的基本概念,以便更好地理解云解析服务提供的各项功能。 表1 云解析服务常用功能 功能分类 功能名称 功能描述 公网域名解析 公网域名 DNS支持为通过域名注册商注册的域名提供Internet网络的解析服务。DNS提供创建、修改、删除、暂停/启用、查看公网域名详情等基本操作。 详细内容,请参见公网域名管理简介。 域名级别 DNS支持创建的域名级别为主域名以及主域名的一级子域名。 如果域名后缀为一级(例如.com),支持创建主域名(例如example.com)、子域名(www.example.com) 如果域名后缀为两级(例如.com.cn),支持创建主域名(例如example.com.cn)、子域名(例如www.example.com.cn) 记录集 记录集是一组资源记录,用于定义域名的解析类型以及解析值。DNS支持为公网域名添加A、CNAME、MX、AAAA、TXT、SRV、NS以及CAA类型的记录集,还支持修改、删除、查看、暂停以及启用记录集。 详细内容,请参见解析管理简介。 找回域名 当域名已经被其他租户创建时,DNS支持域名所有者找回域名。 详细内容,请参见找回域名。 泛解析 DNS支持为主域名的所有子域名添加记录集,为所有子域名提供解析服务。 详细内容,请参见设置域名泛解析。 别名解析 DNS支持将解析记录与华为云服务资源实例(云速建站、 Web应用防火墙 )相关联,为云速建站以及Web应用防火墙实例提供解析服务。 详细内容,请参见设置别名解析。 TTL DNS支持设置解析记录在本地DNS服务器的缓存时间。TTL取值范围:1~2147483647。 权重 DNS支持通过权重比例返回解析记录。 当域名在同一解析线路中有多条同一类型的解析记录时,可以通过“权重”设置解析记录的响应比例。 详细内容,请参见配置权重解析。 批操作 DNS支持批量添加、修改、转移、删除域名列表中的公网域名。 内网域名解析 内网域名 DNS支持创建在关联VPC内生效的内网域名,并为域名提供内网DNS解析服务。DNS提供创建、修改、删除、查看内网域名等基本操作,还支持关联VPC、解关联VPC功能。 内网域名无需注册,可以自由创建。 内网域名在关联VPC内唯一。 详细内容,请参见内网域名管理简介。 关联/解关联VPC DNS支持为内网域名关联或者解关联VPC。 详细内容,请参见为内网域名关联VPC和为内网域名解关联VPC。 记录集 记录集是一组资源记录,用于定义域名的解析类型以及解析值。DNS支持为内网域名添加A、CNAME、MX、AAAA、TXT、PTR以及SRV类型的记录集,还支持修改、删除以及查看记录集。 详细内容,请参见解析管理简介。 泛解析 DNS支持为内网域名的所有子域名添加记录集,为所有子域名提供解析服务。 详细内容,请参见设置域名泛解析。 TTL DNS支持设置解析记录在本地DNS服务器的缓存时间。TTL取值范围:1~2147483647。 批操作 DNS支持批量添加、修改、转移、删除域名列表中的内网域名。 反向解析 反向解析 DNS支持通过弹性IP获取该IP地址指定域名的反向解析服务,常应用于自建邮件服务器场景。DNS提供创建、修改以及删除反向解析。 详细内容,请参见反向解析管理简介。 TTL DNS支持设置解析记录在本地DNS服务器的缓存时间。TTL取值范围:1~2147483647。 批操作 反向解析支持批量导出反向解析 智能线路解析 运营商线路解析 DNS支持根据访问用户所在运营商网络调度到最佳访问地址。 详细内容,请参见配置运营商线路解析。 地域解析 DNS支持根据访问用户所处地理位置调度到最佳访问地址。 详细内容,请参见配置地域解析。 自定义线路解析 DNS支持自定义解析线路,根据访问用户所在IP网段,返回不同的解析结果。 详细内容,请参见配置自定义线路解析。 解析记录 全局搜索记录集 DNS支持集中管理公网域名和内网域名记录集。主要包括: 支持根据记录集状态、记录集类型、域名、记录集的值、记录集ID以及标签等条件搜索公网域名或者内网域名记录集。 支持修改、删除、暂停或者启用公网域名的记录集。 支持修改、删除内网域名的记录集。 详细内容,请参见全局搜索记录集。 批操作 DNS支持对公网域名和内网域名记录集的批操作,包括批量添加、批量删除、批量导入以及批量导出。 详细内容,请参见: 批量添加记录集(仅支持对公网域名操作) 批量删除记录集(仅支持对公网域名操作) 批量导入域名解析记录 批量导出域名解析记录。 快速添加解析 DNS支持为域名快速添加网站解析和邮箱解析。 详细内容,请参见快速添加网站解析和快速添加邮箱解析。 审计 查看审计日志 通过 云审计 ,您可以记录与云解析服务相关的操作事件,便于日后的查询、审计和回溯。 华为云提供查看审计日志功能,支持在云审计服务管理控制台查看或导出最近7天的操作记录。 标签 资源标签 DNS支持为公网域名、内网域名、记录集以及反向解析等资源配置标签,也支持通过标签管理服务的预定义标签功能快速将标签与资源进行关联。 权限 权限管理 您可以使用 统一身份认证 服务 IAM 对您所拥有的云解析服务进行权限管理,以满足企业基于组织划分、职能划分设置不同的访问权限。 华为云支持为云解析服务提供权限管理功能:创建用户并授权使用DNS。 配额 配额调整 为防止资源滥用,云平台限定了各类资源的配额,对用户的资源数量和容量做了限制。如您最多可以创建多少公网域名、内网域名、记录集或者反向解析。 如果当前资源配额限制无法满足使用需要,您可以申请扩大配额。 详细内容,请参见配额调整。
  • 云服务故障 表1 云服务 故障类型 故障模式 设置参数 弹性云服务器 E CS 启动弹性云服务器 关闭弹性云服务器 重启弹性云服务器 - 裸金属服务器 BMS 启动裸金属服务器 关闭裸金属服务器 重启裸金属服务器 - 云硬盘 EVS 删除云硬盘 - 云硬盘快照 EVS_SNAPSHOT 删除云硬盘快照 回滚快照到云硬盘 - 云数据库 RDS 设置云数据库RDS实例读写状态 - 开启云数据库RDS实例 - 重启云数据库RDS实例 - 倒换云数据库RDS主备 - 设置云数据库RDS实例读写状态 readonly; 文档数据库 DDS 重启文档数据库服务实例 - 云数据库 GaussDB 重启云数据库GaussDB实例 - 分布式缓存服务 DCS 分布式缓存服务主备切换 重启分布式缓存服务实例 - 云搜索服务 CSS 重启 云搜索 服务集群 - 数据湖探索 DLI 重启 数据湖 探索队列 force;stop_job 扩容数据湖探索队列 cu_count; 缩容数据湖探索队列 cu_count; 云数据库 GaussDB(for MySQL) 重启云数据库GaussDB(for MySQL)实例 - 云数据库GaussDB(for MySQL)手动主备倒换 master_id;node_id; 数据仓库 服务 重启数据仓库服务集群 - 父主题: 故障模式库
  • 跨账号执行OpenGauss任务 当前账号通过“OpenGauss检查容灾信息”插件执行其他账号下的OpenGauss任务时,需要提前创建委托和创建凭证,其步骤如下: 委托方账号创建委托并授权,授予被委托账号所需IAM和DDM的权限。 IAM所需最小权限策略如下: { "Version": "1.1", "Statement": [{ "Action": [ "iam:projects:listProjects" ], "Effect": "Allow" }] } OpenGauss所需最小权限策略如下: { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "rds:instance:list", "gaussdb:instance:list" ] } ] } 被委托账号创建凭证,“委托账号”和“委托名”根据1配置。
共100000条