检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Flume加密传输 操作场景 该操作指导安装工程师在集群安装完成后，设置Flume服务（Flume角色）的服务端和客户端参数，使其可以正常工作。 本章节适用于MRS 3.x及之后版本。 前提条件 已成功安装集群及Flume服务。 操作步骤 分别生成Flume角色服务端和客户端的证书和信任列表。
登录FusionInsight Manager界面，等待5分钟，然后查看“Sssd服务异常”告警是否恢复。 是，处理完毕。 否，执行10。 检查操作系统执行命令是否卡顿。 用root用户登录故障节点，执行命令id admin，观察命令返回结果时长，观察执行命令是否缓慢（超过3s即可认为执行命令慢）。 是，执行11。
然在执行，造成资源浪费。 这种情况下，有两种方式处理： 调整“spark.sql.broadcastTimeout”的数值，加大超时的时间限制。 降低“spark.sql.autoBroadcastJoinThreshold”的数值，不使用BroadCastJoin的优化。 父主题：
<port>.backoff.enable 启用Backoff配置参数。当前，如果应用程序中包含较多的用户调用，假设没有达到操作系统的连接限制，则RPC请求将处于阻塞状态。或者，当RPC或NameNode在重负载时，可以基于某些策略将一些明确定义的异常抛回给客户端，客户端将理解这
加该znode实际数量可能会超过配置的阈值。 ClickHouse在ZooKeeper上的元数据目录/clickhouse未设置有效的配额限制。 处理步骤 检查ClickHouse在ZooKeeper的znode节点创建数量 登录ZooKeeper客户端所在主机节点，执行以下命令登录ZooKeeper客户端工具。
MRS Manager 解决扩容刷新队列导致队列丢失问题 MRS大数据组件 解决Hive on Spark任务报block id乱码，导致任务卡顿问题 解决Hadoop的task任务报空间不足失败问题 Hive中增加自研的接口 解决map.xml无法读取的问题 解决ZK脏数据导致Yarn服务不可用问题
解决ClickHouse问题： ClickHouse偶现libunwind内存越界，导致进程重启。 ClickHouse的迁移工具内部有数据迁移时长限制，数据量较大时迁移失败。 Nodeagent进程连接ZooKeeper，异常链接不释放。 数据库进入只读导致任务失败。 内存连续增长，导致进程无内存可用。
加该znode实际容量可能会超过配置的阈值。 ClickHouse在ZooKeeper上的元数据目录/clickhouse未设置有效的配额限制。 处理步骤 检查ClickHouse在ZooKeeper的znode节点容量值 登录ZooKeeper客户端所在主机节点，执行以下命令登录ZooKeeper客户端工具。
<port>.backoff.enable 启用Backoff配置参数。当前，如果应用程序中包含较多的用户调用，假设没有达到操作系统的连接限制，则RPC请求将处于阻塞状态。或者，当RPC或NameNode在重负载时，可以基于某些策略将一些明确定义的异常抛回给客户端，客户端将理解这
然在执行，造成资源浪费。 这种情况下，有两种方式处理： 调整“spark.sql.broadcastTimeout”的数值，加大超时的时间限制。 降低“spark.sql.autoBroadcastJoinThreshold”的数值，不使用BroadCastJoin的优化。 父主题：
使用多级agent串联从本地采集静态日志保存到HDFS 该任务指导用户使用Flume从本地采集静态日志保存到HDFS上如下目录“/flume/test”。 前提条件 已成功安装集群、HDFS及Flume服务、Flume客户端。 已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。
这一点要求集群需要对数据或者日志的更新进行备份来保障容错性。这样就会给数据密集型的工作流带来大量的IO开销。而对于RDD来说，它只有一套受限制的接口，仅支持粗粒度的更新，例如map，join等等。通过这种方式，Spark只需要简单的记录建立数据的转换操作的日志，而不是完整的数据集
使用多级agent串联从本地采集静态日志保存到HDFS 操作场景 该任务指导用户使用Flume从本地采集静态日志保存到HDFS上如下目录“/flume/test”。 本章节适用于MRS 3.x及之后版本。 前提条件 已成功安装集群、HDFS及Flume服务、Flume客户端。 已
通过管理控制台提交作业 登录MRS管理控制台。 选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 在“概览”页签的基本信息区域，单击“IAM用户同步”右侧的“同步”进行IAM用户同步。 集群开启Kerberos认证时需执行该步骤，若集群未开启Kerberos认证，无需执行本步骤。
Broker实例的Controller所在主机的IP地址可登录FusionInsight Manager界面，选择“集群 > 服务 > Kafka”，在“概览”界面的基本信息区域查看“Controller所在的主机”获取。 在安装了MySQL客户端的节点上连接Doris，执行以下命令查看Doris表中的数据是否和9
io LogFileSizeBasedCompactionStrategy的压缩运行期间要花费的MB量。当压缩以内联模式运行时，此值有助于限制摄取延迟。 500 * 1024 MB hoodie.compaction.daybased.target.partitions 由org
目前一次操作最多可以退订20个Core节点，退订后的Core节点数不能小于2。 退订节点时，须等待隔离/退服成功后，才能进行退订操作，否则会造成数据丢失等风险。 使用限制 当集群中分析Core节点个数小于等于HDFS副本数时，为了保证数据的可靠性MRS不支持退订节点。HDFS副本数可通过HDFS参数配置中的“dfs
tables"。 如果要使用HCatalog客户端，必须从服务页面选择“更多 > 下载客户端”，下载全部服务的客户端。Beeline客户端不受此限制。 由于权限模型不兼容，使用HCatalog客户端创建的表，在HiveServer客户端中不能访问，但可以使用WebHCat客户端访问。
快速使用Hive进行数据分析 Hive是基于Hadoop的一个数据仓库工具，可将结构化的数据文件映射成一张数据库表，并提供类SQL的功能对数据进行分析处理，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 背景信息
通过执行“sqoop2-shell”脚本，带一个文本文件名作为参数，该文件中按行存储了多条命令，工具会按顺序执行该文件中的所有命令。使用这种方式有个限制条件，这个sh脚本必须放到当前用户的家目录下，如：/root/batchCommand.sh。 通过读取配置文件进行认证： ./sqoop2-shell
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
