检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。支持在系统中定制各类数据发送方，用于收集数据。同时，提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume分为客户端和服务端，两者都是FlumeAgent。服务端对应着FlumeServe
Hive是基于Hadoop的一个数据仓库工具，可将结构化的数据文件映射成一张数据库表，并提供类SQL的功能对数据进行分析处理，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 背景信息 假定用户开发一个应用程序，用于管理
的情景下，提高Streaming的吞吐能力，在单位时间处理尽可能多的数据。 本章节适用于输入数据源为Kafka的使用场景。 操作步骤 一个简单的流处理系统由以下三部分组件组成：数据源 + 接收器 + 处理器。数据源为Kafka，接收器为Streaming中的Kafka数据源接收器，处理器为Streaming。
缩容MRS集群 用户可以根据业务需求量，通过简单的缩减Core节点或者Task节点，对集群进行缩容，以使MRS拥有更优的存储、计算能力，降低运维成本。 当集群正在进行主备同步操作时，不允许进行缩容操作。 包周期集群不支持该方式缩容，仅按需计费集群支持该方式缩容。如需缩容包周期计费
量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。支持在系统中定制各类数据发送方，用于收集数据。同时，提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume分为客户端和服务端，两者都是FlumeAgent。服务端对应着FlumeServe
发经验的开发人员。 简介 Storm是一个分布式的、可靠的、容错的数据流处理系统。它会把工作任务委托给不同类型的组件，每个组件负责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理，可以可靠地处理无限的数据流。 Storm有很多适用的场景：实时分析、在线机器学习、
量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。支持在系统中定制各类数据发送方，用于收集数据。同时，提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume分为客户端和服务端，两者都是FlumeAgent。服务端对应着FlumeServe
访问FusionInsight Manager（MRS 3.x及之后版本） 操作场景 MRS 3.x及之后版本的集群使用FusionInsight Manager对集群进行监控、配置和管理。用户在集群安装后可使用账号登录FusionInsight Manager。 当前支持以下几种方式访问FusionInsight
配置HDFS文件回收站机制 配置场景 在HDFS中，如果删除HDFS的文件，删除的文件将被移动到回收站（trash）中，不会被立即清除，以便在误操作的情况下恢复被删除的数据。被删除的文件在超过老化时间后将变为老化文件，会基于系统机制清除或用户手动清除。 您可以设置文件保留在回收站
问题背景与现象 使用Kafka Consumer消费数据时，如何获取Kafka Consumer Offset相关信息？ Kafka API简单说明 新Producer API 指org.apache.kafka.clients.producer.KafkaProducer中定义的
件直接增加字符串后缀，有扩展名的文件在文件名增加字符串后缀。字符串具有唯一性。 “APPEND”：在旧文件尾部合并新文件内容。合并操作只是简单的追加，不保证追加文件是否可以使用。例如文本文件可合并，压缩文件合并后可能无法使用。 “IGNORE”：保留旧文件，不复制新文件。 “ER
ALM-25501 KerberosServer请求数高 告警解释 系统每30秒周期性检查KerberosServer节点的处理请求数，并把实际处理的请求数和阈值相比较，当请求数连续多次（默认值为5）超过设定阈值时，系统将产生此告警。 平滑次数可配置，当平滑次数为1，进程连接数小
ALTER MATERIALIZED VIEW 语法 ALTER MATERIALIZED VIEW QUALIFIEDNAME SET PROPERTIES PROPERTY_NAME=PROPERTY_VALUE; 描述 修改物化视图的属性，相关属性可以参考CREATE MATERIALIZED
管理FlinkServer作业 查看FlinkServer作业健康状况 导入导出FlinkServer作业信息 配置FlinkServer作业运行残留信息自动清理 配置FlinkServer作业重启策略 配置FlinkServer作业中添加第三方依赖jar 配置FlinkServer作业中使用UDF
加入到ZooKeeper中。所以如果用户需要使用SSL，启用Netty并设置Server端和Client端的以下参数。 开源的服务端只支持简单的文本密码，这可能导致相关安全问题。为此在服务端将不再使用此类文本密码。 Client端 将“zkCli.sh/zkEnv.sh”文件中的参数“-Dzookeeper
件直接增加字符串后缀，有扩展名的文件在文件名增加字符串后缀。字符串具有唯一性。 “APPEND”：在旧文件尾部合并新文件内容。合并操作只是简单的追加，不保证追加文件是否可以使用。例如文本文件可合并，压缩文件合并后可能无法使用。 “IGNORE”：保留旧文件，不复制新文件。 “ER
KrbServer及LdapServer开源增强特性 集群内服务认证 在使用安全模式的MRS集群中，任意服务间的相互访问基于Kerberos安全架构方案。集群内某个服务（例如HDFS）在启动准备阶段的时候，会首先在Kerberos中获取该服务对应的服务名称sessionkey（即
policy（自定义策略） Manager_viewer default launcher-job 自定义策略以RBAC策略为模板则参考RBAC策略。 自定义策略以细粒度策略为模板则参考细粒度策略，建议使用细粒度策略。 是 为了更方便进行用户权限管理，请尽可能使用细粒度策略，减少RBAC策略的
Spark与其他组件的关系 Spark和HDFS的关系 通常，Spark中计算的数据可以来自多个数据源，如Local File、HDFS等。最常用的是HDFS，用户可以一次读取大规模的数据进行并行计算。在计算完成后，也可以将数据存储到HDFS。 分解来看，Spark分成控制端(D
Storm UI查看信息时显示Internal Server Error 问题背景与现象 使用MRS版本安装集群，主要安装ZooKeeper、Strom。 通过MRS Manager中的Storm Status页面UI连接访问信息时显示如下信息： Internal Server Error
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
