检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
计费说明 MRS服务计费简单、易于预测。MRS支持按需计费,同时您也可以选择更经济的包年、包月的包周期计费方式。为了便于您便捷的下单购买,在控制台购买界面中已经为您计算好了整个MRS集群的价格,您可一键完成购买。 计费项 购买MRS集群的费用包含两个部分: MRS服务管理费用 您可以在“费用中心
如果“启用Ranger鉴权”是灰色,表示已开启Ranger鉴权,如图1所示。 已启用Ranger授权的组件(HDFS与Yarn除外),Manager上非系统默认角色的权限将无法生效,需要通过配置Ranger策略为用户组赋权。 图1 启用Ranger鉴权 滚动重启服务或者重启服务。 父主题: 使用Ranger(MRS
了实现更严格权限控制,Hive也支持列级别的权限控制。如果要访问别人创建的表上某些列,需要授予列权限。以下介绍使用Manager角色管理功能在表授权、列授权和数据库授权三个场景下的操作。 安全模式支持配置Hive表、列或数据库的权限,普通模式不支持配置Hive表、列或数据库的权限。
Doris支持审计日志表功能 Doris审计日志表功能支持将FE的审计日志定期通过Stream Load导入到指定的Doris表中,方便用户直接通过执行SQL语句对审计日志进行查看和分析,无需再通过查看FE的审计日志文件去统计并分析业务量、业务类型等。Doris审计日志表功能默认
FlinkSQL Kafka Connector支持消费drs-json格式数据 本章节适用于MRS 3.3.0及以后版本。 使用场景 FlinkSQL需要消费Kafka中drs-json格式(一种CDC消息格式)的数据。 使用方法 在创建的Kafka Connector Source流表中,设置
Loader支持批量删除已有作业。 本章节适用于MRS 3.x及后续版本。 前提条件 当前用户具备待删除作业的编辑“Edit”权限或作业所在分组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问FusionInsight
Loader支持批量导出已有作业。 本章节适用于MRS 3.x及后续版本。 前提条件 当前用户具备待导出作业的编辑“Edit”权限或作业所在分组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问FusionInsight
只有运行中的集群才能进行扩容操作。 设置“系统盘”和“数据盘”的类型、“扩容节点数量”、“启动组件”和“执行引导操作”参数。系统呈现集群使用的到期时间和此次扩容节点所需的费用。“启动组件”和“执行引导操作”参数部分版本的集群可能不支持,请以界面实际参数为准。 如果创建集群时添加
Flink应用开发常用概念 DataStream 数据流,是指Flink系统处理的最小数据单元。该数据单元最初由外部系统导入,可以通过socket、Kafka和文件等形式导入,在Flink系统处理后,通过Socket、Kafka和文件等输出到外部系统,这是Flink的核心概念。 Data Transformation
贝至其他节点,该节点进入退服状态,当该节点任务长时间运行无法结束时,会迁移至其他节点运行,最大限度地减少对集群业务的影响。 扩容集群 目前支持扩容集群Core节点或Task节点,用户可通过增加节点数量处理业务峰值负载。MRS集群节点扩容中和扩容后对现有集群的业务没有影响,扩容后引起的数据倾斜问题可参考配置HDFS
Impala服务是否支持磁盘热插拔 问题 MRS集群中Impala服务是否支持磁盘热插拔? 回答 Impala服务的数据一般是存储在HDFS或者OBS(对象存储服务)中,无需直接使用本地节点的磁盘。 仅Impalad实例在业务查询执行过程中由于内存空间不足,才需要溢写到磁盘(由--scratch_dirs指定)。
Impala服务是否支持磁盘热插拔 问题 MRS集群中Impala服务是否支持磁盘热插拔? 回答 Impala服务的数据一般是存储在HDFS或者OBS(对象存储服务)中,无需直接使用本地节点的磁盘。 仅Impalad实例在业务查询执行过程中由于内存空间不足,才需要溢写到磁盘(由--scratch_dirs指定)。
enabled=false或者spark.sql.codegen.wholeStage =false。 如果您需要开启TungstenAggregate,有如下几种方式: 将spark.sql.codegen.wholeStage 和spark.sql.unsafe.enabled的值都设置为true(通过配置文件或命令行方式设置)。
x及之后版本) 操作场景 为了确保FusionInsight Manager系统日常数据安全,或者系统管理员需要对Manager进行重大操作(如扩容、减容等)前后,需要对Manager数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。
Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。它为数据驱动型应用和存储系统构建了桥梁, 将数据从存储层移动到距离数据驱动型应用更近的位置,从而能够更容易、更快地被访问。同时使得应用程序能够通过一个公共接口连接到许多存储系统。 Alluxio主要特点如下: 提供内存级I/O 吞吐率,同时
MRS是否支持通过Hive的HBase外表将数据写入到HBase? 问: MRS是否支持通过Hive的HBase外表将数据写入到HBase? 答: 不支持。 Hive on HBase只支持查询,不支持更改数据。 父主题: 应用开发类
MRS是否支持同时运行多个Flume任务? Flume客户端可以包含多个独立的数据流,即在一个配置文件properties.properties中配置多个Source、Channel、Sink。 这些组件可以链接以形成多个数据流。 例如在一个配置中配置两个数据流,示例如下: server
为了确保DBService日常数据安全,或者系统管理员需要对DBService进行重大操作(如升级或迁移等)时,需要对DBService数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 系统管理员可以通过FusionInsight
态调整集群计算资源以满足业务需要。MRS的弹性伸缩规则功能支持根据集群负载对集群进行弹性伸缩。此外,如果数据量为周期有规律的变化,并且希望在数据量变化前提前完成集群的扩缩容,可以使用MRS的资源计划特性。 MRS服务支持规则和时间计划两种弹性伸缩的策略: 弹性伸缩规则:根据集群实
单击“KafkaTopic监控”。 主题列表默认显示所有主题。可以查看主题的分区数和备份数。 在主题列表单击指定主题的名称,可查看详细信息。 如果执行过以下几种操作: Kafka或者Zookeeper进行过扩容或缩容操作。 Kafka或者Zookeeper增加或者删除过实例。 重装Zookeeper服务。