检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看Kafka数据生产消费详情 操作场景 用户可以通过KafkaUI查看Topic详情、修改Topic Configs、增加Topic分区个数、删除Topic，并可实时查看不同时段的生产数据条数。 安全模式下，KafkaUI对查看Topic详情操作不作鉴权处理，即任何用户都可以查询Topic信息；对于修改Topic
如何查看Flume日志 Flume日志保存在/var/log/Bigdata/flume/flume/flumeServer.log 里。绝大多数数据传输异常、数据传输不成功，在日志里都可以看到提示。可以直接输入以下命令查看： tailf /var/log/Bigdata/flu
开启TableStatus多版本特性下，最新tablestatus文件丢失或损坏，如何恢复 问题 开启TableStatus多版本特性下，最新的tablestatus文件丢失或其他异常原因损坏的情况下，如何恢复？ 回答 使用当前可得的最近的tablestatus文件进行恢复，分为如下两个场景来进行恢复：
在yarn-client模式下执行任务时，Spark的Driver程序在本地执行；其中通过-Dlog4j.configuration=./log4j-executor.properties配置了Driver的日志文件，log4j-executor.properties配置文件设置日志输出到${spark
分配到该节点上。 设置目录/文件的标签表达式 在HDFS参数配置页面配置“path2expression”，配置HDFS目录与标签的对应关系。当配置的HDFS目录不存在时，也可以配置成功，新建不存在的同名目录，已设置的标签对应关系将在30分钟之内被继承。设置了标签的目录被删除后，
如何查看所有MRS集群？ MRS所有的集群都展示在MRS管理控制台的“MRS集群”页面中，进入“MRS集群”页面，可查看所有集群。集群数量较多时，可采用翻页显示，您可以查看任何状态下的集群。 现有集群：包括除了“失败”和“已删除”状态以外的所有集群。 历史集群：仅包含“已删除”状
com/templeton/v1/jobs 参数 参数 描述 fields 如果设置成*，那么会返回每个job的详细信息。如果没设置，只返回任务ID。现在只能设置成*，如设置成其他值，将出现异常。 jobid 如果设置了jobid，那么只有字典顺序比jobid大的job才会返回。比如，如果
Set Digest函数 概述 HetuEngine提供了几个处理MinHash技术的函数。 MinHash用于估计两个集合的Jaccard相似系数。它通常用于数据挖掘，用于大规模检测近乎相同的网页。通过使用这些信息，搜索引擎有效地避免了在搜索结果中显示两个几乎相同的网页。 以下示例展示了如何使用Set
查看MRS集群补丁信息 查看集群组件的补丁信息。如果集群组件，如Hadoop或Spark等出现了异常，可下载补丁版本，修复问题。 登录MRS管理控制台。 选择“现有集群”，选中一集群并单击集群名，进入集群基本信息页面。 进入“补丁管理”页面，可查看当前MRS集群补丁信息。 补丁版本信息如下：
多节点迁移。 具体的参数值可以在ClickHouse服务界面单击“实例”页签，查看当前ClickHouseServer实例所在“主机名称”列获取。 “带宽上限”为可选参数，若不填写则为无上限，最大可设置为10000MB/s。 在选择迁移数据表界面，单击“数据库”后的，选择待迁出节
Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性，主要用于处理活跃的流式数据。 Kafka有很多适用的场景：消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。 Kafka有如下几个特点： 高吞吐量 消息持久化到磁盘 分布式系统易扩展
加所有节点的公网IP对应主机域名的组合（注意如果主机名中出现大写字母要改成小写）。 在虚拟私有云管理控制台，申请弹性公网IP（集群有几个节点就买几个），并分别单击MRS集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云 > 用户指南 > 弹性公网IP
如何查看Flume日志 Flume日志保存在/var/log/Bigdata/flume/flume/flumeServer.log 里。绝大多数数据传输异常、数据传输不成功，在日志里都可以看到提示。可以直接输入以下命令查看： tailf /var/log/Bigdata/flu
配置HDFS数据传输加密 本章节指导用户设置HDFS安全通道加密，以增强安全性。 该章节仅适用于MRS 3.x及之后版本。 设置HDFS安全通道加密 默认情况下，组件间的通道是不加密的。您可以配置如下参数，设置安全通道为加密的。 参数修改入口：在FusionInsight Manager系统中，选择“集群
节点迁移。 具体的参数值可以在ClickHouse服务界面单击“实例”页签，查看当前ClickHouseServer实例所在“主机名称”列获取。 “带宽上限”为可选参数，如果不填写则为无上限，最大可设置为10000MB/s。 在选择迁移数据表界面，单击“数据库”后的，选择待迁出节
加所有节点的公网IP对应主机域名的组合（注意如果主机名中出现大写字母要改成小写）。 在虚拟私有云管理控制台，申请弹性公网IP（集群有几个节点就买几个），并分别单击MRS集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云 > 用户指南 > 弹性公网IP
在执行SQL语句前，执行如下命令。注意执行前保证集群有足够内存可以设置。 SET max_memory_usage = 128000000000; #128G 如果没有上述大小内存可用，ClickHouse可以通过如下设置将“溢出”数据到磁盘。建议将max_memory_usage设置为max_bytes_befo
html 常用接口 YARN常用的Java类有如下几个。 ApplicationClientProtocol 用于Client与ResourceManager之间。Client通过该协议可实现将应用程序提交到ResourceManager上，查询应用程序的运行状态或者中止应用程序等功能。
Kafka Topic监控页签在Manager页面不显示如何处理？ 问： Kafka Topic监控页签在Manager页面不显示怎么办？ 答： 分别登录集群Master节点，并切换用户为omm。 进入目录“/opt/Bigdata/apache-tomcat-7.0.78/we
/tmp/tquota2 使用如下命令可以查看目录设置的配额情况，SPACE_QUOTA是设置的空间配额，REM_SPACE_QUOTA是当前剩余的空间配额。 hdfs dfs -count -q -h -v /tmp/tquota2 图1 查看目录设置的配额 日志分析，如下日志说明写入
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
