检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-14004 损坏的HDFS块数量超过阈值（2.x及以前版本） 告警解释 系统每30秒周期性检测损坏的块数量，并把损坏的块数量和阈值相比较。损坏的块数量指标默认提供一个阈值范围。当检测到损坏的块数量超出阈值范围时产生该告警。 当损坏的块数量小于或等于阈值时，告警恢复。建议使用命令（hdfs
开启HetuEngine数据类型隐式转换 数据类型隐式转换指用户通过客户端访问HetuEngine资源时，当查询的数据类型和表的数据类型不匹配时，HetuEngine能自动进行数据类型转换，避免用户在使用时因强数据类型校验带来的不便。当前在插入数据（Insert）、条件判断（Wh
访问MRS Manager（MRS 3.x之前版本） 操作场景 MRS 3.x之前版本集群使用MRS Manager对集群进行监控、配置和管理，用户可以在MRS控制台页面打开Manager管理页面。 访问MRS Manager 登录MRS管理控制台页面。 单击“现有集群”，在集群
弹出“Settings”窗口。 在左边导航上选择“Editor > File Encodings”，在“Project Encoding”和“Global Encoding”区域，设置参数值为“UTF-8”，单击“Apply”后，单击“OK”，如图1所示。 图1 设置IntelliJ
了Hudi功能。使用Spark数据源，将通过代码段展示如何插入和更新Hudi的默认存储类型数据集： COW表。每次写操作之后，还将展示如何读取快照和增量数据。 前提条件 在Manager界面创建用户并添加hadoop和hive用户组，主组加入hadoop。 操作步骤 下载并安装Hudi客户端，具体请参考安装客户端（3
在本地Windows中调测HDFS程序 操作场景 在代码完成开发后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。 HDFS应用程序运行完成后，可直接通过运行结果查看应用程序运行情况，也可以通过HDFS日志获取应用运行情况。 在本地Windows中调测HDFS程序
Manager首页，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“HDFS”。 单击右上角的编辑按钮设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 父主题： MRS集群告警处理参考
添加HBase的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为HBase用户配置HBase表和列族，列的权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 使用Ranger管理员用户rang
添加HBase的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为HBase用户配置HBase表和列族，列的权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 使用Ranger管理员用户rang
在操作系统中执行以下命令采集数据： iostat -x -t 1 1 其中： “avgqu-sz”为磁盘队列深度。 “r/s”和“w/s”之和为“iops”。 “rkB/s”和“wkB/s”之和为带宽。 “%util”为“ioutil”。 svctm的计算方法为： svctm = (tot_ticks_new
已安装ClickHouse客户端，例如客户端安装目录为“/opt/client”。 在FusionInsight Manager已创建具有ClickHouse相关表权限和访问HDFS的权限的用户，例如：clickhouseuser。 在对接HDFS组件之前，需要注意首先确保HDFS中有对应的目录，ClickH
弹出“Settings”窗口。 在左边导航上选择“Editor > File Encodings”，在“Project Encoding”和“Global Encoding”区域，设置参数值为“UTF-8”，单击“Apply”后，单击“OK”，如图1所示。 图1 设置IntelliJ
样例工程中的data文件需要放到JDBCServer所在机器的home目录下 保证本地的data文件和创建的表的所属的用户和用户组保持一致 拼接JDBC URL。 HA模式下url的host和port必须为“ha-cluster”。 普通集群需要将样例代码中com.huawei.bigdata
在本地Windows环境中调测HDFS程序 操作场景 在代码完成开发后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。 HDFS应用程序运行完成后，可直接通过运行结果查看应用程序运行情况，也可以通过HDFS日志获取应用运行情况。
使用LZC压缩算法存储HDFS文件 配置场景 文件压缩可以减少储存文件的空间，并且提高数据从磁盘读取和网络传输的速度。HDFS有Gzip和Snappy这两种默认压缩格式。本章节为HDFS新增加的压缩格式LZC（Lempel-Ziv Compression）提供配置方法。这种压缩格
false spark.sql.uselocalFileCollect 是否将结果数据保存在本地磁盘中而不是内存里面。 优点：结果数据小数据量情况下和原生内存的方式相比性能损失可以忽略，大数据情况下（亿级数据）性能远比使用hdfs，以及原生内存方式好。 缺点：需要调优。大数据情况下建议JDBCServer
ALM-12053 文件句柄使用率超过阈值（2.x及以前版本） 告警解释 系统每30秒周期性检测主机文件句柄使用率，并把实际使用率和阈值（系统默认阈值80%）进行比较，当检测到主机文件句柄使用率连续多次（默认值为5）超过阈值时产生该告警。 用户可通过“系统设置 > 阈值配置 > 设备
全部配置 > ResourceManager > 系统”。将“GC_OPTS”参数根据实际情况调大。 集群中的NodeManager实例数量和ResourceManager内存大小的对应关系参考如下： 集群中的NodeManager实例数量达到100，ResourceManager
在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“HDFS”和Manager下的NodeAgent。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后20分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。
单击“Topics”，进入Topic管理页面。可在当前页面进行如下操作： 在“Topic List”栏可查看当前集群已创建的Topic的名称、状态、分区数量、创建时间和副本个数等信息。 单击Topic名称可进入Topic详情页面。在该页面可查看Topic与分区的详细信息。 在“Producer Messag
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
