检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Doris支持审计日志表功能 Doris审计日志表功能支持将FE的审计日志定期通过Stream Load导入到指定的Doris表中,方便用户直接通过执行SQL语句对审计日志进行查看和分析,无需再通过查看FE的审计日志文件去统计并分析业务量、业务类型等。Doris审计日志表功能默认
集群管理 集群生命周期管理 集群在线扩缩容 创建Task节点 自动弹性伸缩 节点隔离 升级Master节点规格 节点标签管理 父主题: 产品功能
责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理,可以可靠地处理无限的数据流。 Storm有很多适用的场景:实时分析、在线机器学习、持续计算和分布式ETL等,易扩展、支持容错,可确保数据得到处理,易于构建和操控。 Storm有如下几个特点: 适用场景广泛 易扩展,可伸缩性高
ALM-12010 Manager主备节点间心跳中断 告警解释 当主Manager节点在7秒内没有收到备Manager节点的心跳信号时,产生该告警。 当主Manager节点收到备Manager节点的心跳信号后,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12010 重要
解锁MRS集群LDAP用户 在用户输入错误密码次数大于允许输入的错误次数,造成用户被锁定的场景下,用户可以通过Manager为锁定的用户解锁(仅支持解锁通过Manager创建的用户),也可以通过登录MRS集群节点后使用命令进行解锁。 如果服务出现异常状态,有可能是系统内部用户被锁
使用CDM服务迁移MySQL数据至MRS Hive 应用场景 MapReduce服务(MapReduce Service,简称MRS)提供企业级大数据集群云服务,里面包含HDFS、Hive、Spark等组件,适用于企业海量数据分析。 其中Hive提供类SQL查询语言,帮助用户对大
查看MRS集群日志 MRS集群日志概述 查看MRS云服务操作日志 查看历史MRS集群信息 查看MRS集群审计日志 查看MRS组件角色实例日志 在线检索MRS集群日志 下载MRS集群日志 采集MRS集群服务堆栈信息 配置MRS组件默认日志级别与归档文件大小 配置MRS集群审计日志本地备份数
息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)、日志收集等大量数据的互联网服务的数据收集场景。 生产者(Pr
体对接指导请参见MRS服务如何对接云日志服务。 同时FusionInsight Manager支持在线检索并显示组件的日志内容,用于问题定位等其他日志查看场景,详细操作指导请参见在线检索日志。FusionInsight Manager支持批量导出各个服务角色所有实例生成的日志,无
创建CDL数据库连接 操作场景 通过CDLService WebUI创建数据库连接时,可参考该章节进行CDL作业编排。 前提条件 已获取待连接数据对应的驱动Jar包并上传。 开启Kerberos认证的集群需已参考CDL用户权限管理创建具有CDL管理操作权限的用户。 操作步骤 使用
离线数据加载:通过StreamLoad将本地CSV文件导入Doris 应用场景 本地CSV文件数据通过StreamLoad导入到Doris,需要写入Doris的数据不重复,通过引入 Unique 数据模型保证 Key 的唯一性。 方案架构 离线数据可以从数据湖加载,也可以直接加载
通过JDBC Catalog对接MySQL/Doris数据源 操作场景 JDBC Catalog支持通过标准JDBC协议连接MySQL、Doris等数据源。本章节以Doris通过JDBC Catalog读取MySQL或Doris数据为例进行演示。 该章节内容仅适用于MRS 3.3
快速使用Doris Doris是一个基于MPP架构的高性能、实时的分析型数据库,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。 本文主要通过示例介绍如何快速使用MRS Doris集群进行基本的建表和查询操作。 Doris数据库名和表名区分大小写。 前提条件 已创建
的结构必须一致。 若'表名'设置了加密算法SMS4或AES,则不支持对此HBase表启用将数据从主集群实时同步到备集群的功能。 若备集群不在线,或备集群中已存在同名但结构不同的表,启用容灾功能将失败。 若主集群中部分Phoenix表启用容灾功能同步数据,则备集群中不能存在与主集群
使用FineBI访问MRS HetuEngine 应用场景 FineBI是一款商业智能产品,针对企业信息化遇到的困难,为企业提供专业的商业智能解决方案。 本章节以FineBI 5.1.9版本为例,讲解如何使用FineBI访问安全模式MRS集群的HetuEngine。 方案架构 出
开源sqoop-shell工具使用示例(SFTP - HDFS) 操作场景 本文将以“从SFTP服务器导入数据到HDFS”的作业为例,介绍如何分别在交互模式和批量模式下使用sqoop-shell工具进行创建和启动Loader作业。 本章节适用于MRS 3.x及后续版本。 前提条件
使用sqoop-shell工具导入数据到HDFS 操作场景 本文将以从SFTP服务器导入数据到HDFS的作业为例,介绍如何分别在交互模式和批量模式下使用sqoop-shell工具进行创建和启动Loader作业。 前提条件 已安装并配置Loader客户端,具体操作请参见使用客户端运行Loader作业。
迁移Kafka节点内数据 操作场景 用户可以根据业务需求,通过Kafka客户端命令,在不停止服务的情况下,进行节点内磁盘间的分区数据迁移。也可以通过KafkaUI进行分区迁移。 前提条件 MRS集群管理员已明确业务需求,并准备一个Kafka用户(属于kafkaadmin组,普通模式不需要)。
导出Doris数据至HDFS 数据导出(Export)功能可以将用户指定的表或分区的数据,以文本的格式通过Broker进程导出到远端存储上,如HDFS/对象存储(支持S3协议) 等。 不建议一次性导出大量数据。一个Export作业建议的导出数据量最大在几十GB。过大的导出会导致更多的垃圾文件和更高的重试成本。
配置Flink读写Doris数据 Flink Doris Connector支持通过Flink操作(读取、插入、修改、删除)Doris中存储的数据。 只能对Unique Key模型的表进行修改和删除操作。 该章节仅适用于MRS 3.5.0及之后版本。 前提条件 已创建包含Doris服务的集群,集群内各服务运行正常。