检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Stream Load时报RPC超时错误 问题现象 导入数据时BE打开tablet writer的RPC超时，报错： failed to open tablet writer, error=RPC call is timeout, error_text=[E1008] Reached
[编号]”。最多保留最近的20个压缩文件，压缩文件保留个数和压缩文件阈值可以配置。 表1 Guardian日志列表 日志类型 日志文件名 描述 是否支持Manager在线检索 运行日志 token-server.log Guardian服务运行时的日志。 是 startDetail.log Guardian服务预启动日志。
使用Hue WebUI操作Hive表 Hue汇聚了与大多数Apache Hadoop组件交互的接口，致力让用户通过界面图形化的方式轻松使用Hadoop组件。目前Hue支持HDFS、Hive、HBase、Yarn、MapReduce、Oozie和SparkSQL等组件的可视化操作。
单NameNode长期故障时如何使用客户端手动checkpoint 问题背景与现象 在备NameNode长期异常的情况下，会积攒大量的editlog，此时如果重启HDFS或者主NameNode，主NameNode会读取大量的未合并的editlog，导致耗时启动较长，甚至启动失败。
解压速度排序：LZ4>Snappy>Gzip>Bzip2 使用场景建议： 追求速度的场景（如Mapreduce任务中间数据的存储等）——建议使用LZ4和Snappy（高可靠场景，建议使用Snappy）。 追求压缩比，而对压缩速度要求不高的场景（如冷数据的保存）——建议使用Bzip2或Gzip。 上述压缩算
操作场景 在使用Oozie节点通过SSH作业执行外部节点的Shell，需要单向免密互信时，可以参考此示例。 前提条件 已经安装Oozie，而且能与外部节点（SSH连接的节点）通信。 操作步骤 在外部节点上确保连接SSH时使用的用户存在，且该用户“~/.ssh”目录存在。 使用omm用户登录Oozie所在节点，查看“~/
的文件句柄数量多，序列化以及压缩等操作需要占用非常大的临时内存空间，对内存的使用和GC带来很大的压力，从而容易造成Executor无法响应Driver。 因此，建议使用Sort shuffle，而不使用Hash shuffle。 父主题： Spark Core
的方式，第一种通过配置文件获取，具体配置项请参考开源sqoop-shell工具使用示例（SFTP - HDFS）、开源sqoop-shell工具使用示例（Oracle - HBase）；第二种方式则使用参数直接提供认证信息，这个方式有两种模式：密码模式和Kerberos认证模式。
的文件句柄数量多，序列化以及压缩等操作需要占用非常大的临时内存空间，对内存的使用和GC带来很大的压力，从而容易造成Executor无法响应Driver。 因此，建议使用Sort shuffle，而不使用Hash shuffle。 父主题： Spark Core
CGroups功能限制Container CPU使用率 配置场景 CGroups是一个Linux内核特性。它可以将任务集及其子集聚合或分离成具备特定行为的分层组。在YARN中，CGroups特性对容器（container）使用的资源（例如CPU使用率）进行限制。本特性大大降低了限制容器CPU使用的难度。 当前CGroups仅用于限制CPU使用率。
使用Hive输入use database语句失效 问题 使用Hive的时候，在输入框中输入了use database的语句切换数据库，重新在输入框内输入其他语句，为什么数据库没有切换过去？ 回答 在Hue上使用Hive有区别于用Hive客户端使用Hive，Hue界面上有选择数据库
HBase shell客户端在使用中有INFO信息打印在控制台导致显示混乱 用户问题 在使用HBase shell中会有INFO信息打印在控制台，导致显示混乱，用户在输入命令前需要按回车符清理控制台。如下图所示： 原因分析 HBase客户端中默认日志打印设置为“INFO,cons
使用Phoenix Sqlline脚本报import argparse错误 问题 在客户端使用sqlline脚本时，报import argparse错误。 回答 以root用户登录安装HBase客户端的节点，使用hbase用户进行安全认证。 进入HBase客户端sqlline脚本所在目录执行python3
户。 使用新建的用户dorisuser重新登录FusionInsight Manager，修改该用户初始密码。 集群未启用Kerberos认证（普通模式） 使用admin用户连接Doris后，创建具有管理员权限的角色并绑定给用户。 已安装MySQL客户端，相关操作可参考使用MySQL客户端连接Doris。
使用CDL从Hudi同步数据到DWS 操作场景 本章节指导用户通过MRS 3.2.0版本开启Kerberos认证的集群的CDLService WebUI界面，从Hudi导入数据到DWS。 前提条件 集群已安装CDL、Hudi服务且运行正常。 DWS数据库需要开启前置要求，操作步骤请参考DWS数据库前置准备。
使用Hue WebUI操作Hive表 Hue提供了文件浏览器功能，使用户可以通过界面图形化的方式查看Hive上文件及目录功能。 前提条件 已安装Hive以及Hue组件，且状态为运行中的Kerberos认证的集群。 操作步骤 访问Hue WebUI，请参考访问Hue WebUI界面。
使用Spark小文件合并工具说明 工具介绍 在Hadoop大规模生产集群中，由于HDFS的元数据都保存在NameNode的内存中，集群规模受制于NameNode单点的内存限制。如果HDFS中有大量的小文件，会消耗NameNode大量内存，还会大幅降低读写性能，延长作业运行时间。因
使用CDL从Opengauss同步数据到Hudi 操作场景 本章节指导用户通过开启Kerberos认证的集群的CDLService WebUI界面从Opengauss导入数据到Hudi。 该章节内容适用于MRS 3.3.0及之后版本支持。 前提条件 集群已安装CDL、Hudi服务且运行正常。
配置项。 执行如下命令重启sshd服务。 service sshd restart 观察下次备份DBServie是否备份成功。 父主题： 使用DBservice
使用BulkLoad工具批量更新HBase数据 操作场景 HBase BulkLoad工具支持根据RowKey的命名规则、RowKey的范围、字段名以及字段值进行批量更新数据。 使用BulkLoad工具批量更新HBase数据 执行如下命令更新从“row_start”到“row_s
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
