检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当前按需计费MRS集群资源的规格不满足您的业务需要时,您可以在MRS控制台发起变更规格操作,MRS提供如下几种变更配置的方式: 扩容:手动扩容Core或Task节点,请参见扩容集群;扩容数据盘,请参见扩容数据盘。 升级规格:升级Master节点的实例规格,请参见升级Master节点规格。 弹性伸
问题定位,帮助用户快速定位问题原因,以便及时解决问题。 目前MRS记录以下操作类型的日志信息: 集群操作 在管理控制台创建集群、删除集群、扩容集群和缩容集群等。 在管理控制台创建目录、删除目录和删除文件。 作业操作:在管理控制台创建作业、停止作业和删除作业。 数据操作:IAM用户任务、新增用户、新增用户组等操作。
选择合适的Master和Core节点实例。当集群启动后,MRS提供如下几种变更配置的方式。 配置Task节点:新增Task节点,请参见扩容集群中的“相关任务”。 扩容:手动扩容Core或Task节点,请参见扩容集群。 升级规格:升级Master节点的实例规格,请参见升级Master节点规格。
INT、DOUBLE、BOOLEAN、TIME、DATE和TIMESTAMP。 性能优化 谓词下推 查询支持大部分算子下推,支持的谓词条件有:=、>=、>、<、<=、!=、IN、NOT IN、IS NULL、IS NOT NULL和BETWEEN AND。 批量GET查询 批量G
告警解释 系统每10分钟(可以通过修改Kafka配置项“auto.reassign.check.interval.ms”调整)周期性检测,扩容新的Broker后触发的分区均衡时间超过阈值(默认为1440分钟,可以通过修改Kafka配置项“reassignment.total.time
ALM-12081 ommdba用户过期 告警解释 系统每天零点开始,每8小时检测当前系统中ommdba用户是否过期,如果用户过期,则发送告警。 当系统中ommdba用户过期的期限重置,当前状态为正常,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12081 重要 是 告警参数
使用BulkLoad工具向HBase中批量导入数据 应用场景 经常面临向HBase中导入大量数据的情景,向HBase中批量加载数据的方式有很多种,最直接方式是调用HBase的API使用put方法插入数据;另外一种是用MapReduce的方式从HDFS上加载数据。但是这两种方式效率都不是很高,因为HBase
更新数据连接 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/data-connectors/{connector_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。
至MRS集群页面新增数据迁移方式进行数据迁移。 Hive表有新增:请选择“作业管理”的“表/文件迁移”页签,在Hive迁移作业的“操作”列单击“编辑”,选择新增的数据表进行数据迁移。 Hive表有删除或已有表的数据结构有修改:请在目的端集群中手动删除对应表或手动更新变更的表结构。
kHouseServer节点上相同的表中,以便保障业务可用性,实现了更加平滑的扩容能力。 在用户对集群进行扩容ClickHouse节点时,可以使用该工具将原节点上的部分数据迁移至新增节点上,从而达到扩容后的数据均衡。 高可用HA部署架构 MRS服务提供了基于ELB的HA部署架构,
hadoop.hbase.hindex.client.HIndexAdmin中提供的方法来管理HIndexes。 该类提供了将索引添加到现有表的方法: 根据用户是否希望在添加索引操作期间构建索引数据,有两种不同的方法可将索引添加到表中: addIndicesWithData() addIndices()
创建Doris数据库 本章节介绍创建Doris数据库样例代码。 以下代码片段在“JDBCExample”类中。 以Java JDBC方式执行SQL语句在集群中创建dbName变量对应的数据库。 String createDatabaseSql = "create database
次启动后”查询相关的引导操作信息。 这里列出的是上次执行结果。对于新创建的集群,则列出的是创建时执行引导操作的记录;如果集群被扩容了,则列出的是上次扩容对新增节点执行引导操作的记录。 查看执行日志 如果需要查看引导操作的执行日志,请在添加引导操作时将“失败操作”配置为“继续”,然
无 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/autoscaling-policy/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。
创建Doris数据库 本章节介绍创建Doris数据库样例代码。 以下代码片段在“JDBCExample”类中。 以Java JDBC方式执行SQL语句在集群中创建dbName变量对应的数据库。 String createDatabaseSql = "create database
MySQL客户端连接Doris报错“Read timed out” 现象描述 在MySQL客户端连接Doris报错: java.net.SocketTimeoutException: Read timed out 原因分析 Doris服务端响应较慢。 处理步骤 使用MySQL客户
ka集群的负载,一般用于节点的退服、入服以及负载均衡的场景。 本章节内容适用于MRS 3.x及后续版本。3.x之前版本请参考均衡Kafka扩容节点后数据 前提条件 MRS集群管理员已明确业务需求,并准备一个Kafka管理员用户(属于kafkaadmin组,普通模式不需要)。 已安装Kafka客户端。
Replicated*MergeTree系列引擎表表名。 所属数据库 数据表所在的数据库。 分片信息 数据表所在的ClickHouse分片。 同步状态 分为以下几种状态。 无数据:当前分片节点上该表没有数据。 已同步:当前分片节点上该表有数据,并且分片下多个副本实例间的数据一致。 未同步:当前分片节点
其他20多种异构数据源之间的数据迁移和数据集成;通过强大的作业调度与灵活的监控告警,轻松管理数据作业运维。 目前MRS集群支持在线创建如下几种类型的作业: MapReduce:提供快速并行处理大量数据的能力,是一种分布式数据处理模式和执行环境,MRS支持提交MapReduce Jar程序。
角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 部分ClickHouseServer实例不可用。 可能原因 安装或扩容过程中,实例数或分配方式不能满足拓扑要求。 处理步骤 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,