检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置HDFS文件目录标签策略（NodeLabel） 配置场景 用户需要通过数据特征灵活配置HDFS文件数据块的存储节点。通过设置HDFS目录/文件对应一个标签表达式，同时设置每个DataNode对应一个或多个标签，从而给文件的数据块存储指定了特定范围的DataNode。 当使用基
在本地Windows环境中调测HDFS程序 操作场景 在代码完成开发后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。 HDFS应用程序运行完成后，可直接通过运行结果查看应用程序运行情况，也可以通过HDFS日志获取应用运行情况。
添加Spark2x的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为Spark2x用户进行相关的权限设置。 Spark2x开启或关闭Ranger鉴权后，需要重启Spark2x服务。 需要重新下载客户端，或手动刷新客户端配置文件“客户端安装目录/Spark
HDFS支持集群掉电自动恢复 操作场景 HDFS数据写入磁盘时会先写入操作系统缓存，当操作系统缓存写入完成后则认为数据写入完成，缓存数据写入磁盘工作交由操作系统完成。如果此时集群断电，则缓存的数据就会丢失，造成HDFS丢块现象。在HDFS启动时如果有丢块，那么HDFS会进入安全模式，无法自动恢复。
从零开始使用Kudu Kudu是专为Apache Hadoop平台开发的列式存储管理器。Kudu具有Hadoop生态系统应用程序的共同技术特性：可水平扩展，并支持高可用性操作。 前提条件 已安装集群客户端，例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。
从零开始使用Kudu Kudu是专为Apache Hadoop平台开发的列式存储管理器。Kudu具有Hadoop生态系统应用程序的共同技术特性：可水平扩展，并支持高可用性操作。 前提条件 已安装集群客户端，例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。
安装补丁 安装补丁 登录MRS管理控制台。 选择“现有集群”，选中一集群并单击集群名，进入集群基本信息页面。 进入“补丁管理”页面，在操作列表中单击“安装”。 进入“警告”页面，阅读补丁说明，并单击“确定”。 图1 安装补丁 请确保集群允许root登录，并且所有节点的root密码一致。
使用多级agent串联从本地采集静态日志保存到HDFS 操作场景 该任务指导用户使用Flume从本地采集静态日志保存到HDFS上如下目录“/flume/test”。 本章节适用于MRS 3.x及之后版本。 前提条件 已成功安装集群、HDFS及Flume服务、Flume客户端。 已
ALM-12052 TCP临时端口使用率超过阈值 告警解释 系统每30秒周期性检测TCP临时端口使用率，并把实际使用率和阈值（系统默认阈值80%）进行比较，当检测到TCP临时端口使用率连续多次（默认值为5）超过阈值时产生该告警。 用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称
ALM-38011 Broker上用户连接数使用率超过设定阈值 告警解释 系统每30秒周期性检测Broker上每个用户的连接数情况，当连续5次检测到Broker上某个用户的连接数使用占比超过阈值（默认80%）时产生该告警。 平滑次数为5，当Broker上某个用户的连接数使用占比低于阈值时，告警恢复。
编译并调测Flink应用 操作场景 在程序代码完成开发后，建议您上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Flink客户端的运行步骤是一样的。 基于YARN集群的Flink应用程序不支持在Windows环境下运行，只支持在Linux环境下运行。
创建HDFS权限角色 操作场景 该任务指导MRS集群管理员在FusionInsight Manager创建并设置HDFS的角色。HDFS角色可设置HDFS目录或文件的读、写和执行权限。 用户在HDFS中对自己创建的目录或文件拥有完整权限，可直接读取、写入以及授权他人访问此HDFS目录与文件。
配置HBase表级别过载控制 操作场景 HBase在短时间内请求数量突增时，会发生过载问题，导致业务请求P99时延增大，对于时延敏感业务影响比较严重。HBase表级别过载保护用于此类场景，开启后可以有效保障核心表（核心业务）的请求时延。 本章节内容仅适用于MRS 3.3.1及之后版本。
使用Broker Load方式导入数据至Doris Broker Load是一个异步的导入方式，支持的数据源取决于Broker进程支持的数据源。 Doris表中的数据是有序的，Broker Load在导入数据时要利用Doris集群资源对数据进行排序，相对于Spark Load来完
配置HDFS文件目录标签策略（NodeLabel） 配置场景 用户需要通过数据特征灵活配置HDFS文件数据块的存储节点。通过设置HDFS目录/文件对应一个标签表达式，同时设置每个DataNode对应一个或多个标签，从而给文件的数据块存储指定了特定范围的DataNode。 当使用基
配置Doris对接Hive数据源 通过连接Hive Metastore，或者兼容Hive Metatore的元数据服务，Doris可以自动获取Hive的库表信息，并进行数据查询。 除Hive外，很多其他系统也会使用Hive Metastore存储元数据。通过Hive Catalo
HistoryServer缓存的应用被回收，导致此类应用页面访问时出错 问题 在History Server页面中访问某个Spark应用的页面时，发现访问时出错。 查看相应的HistoryServer日志后，发现有“FileNotFound”异常，相关日志如下所示： 2016-11-22
在本地Windows环境中调测HDFS程序 操作场景 在代码完成开发后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。 HDFS应用程序运行完成后，可直接通过运行结果查看应用程序运行情况，也可以通过HDFS日志获取应用运行情况。
导入并配置Flink样例工程 操作场景 Flink针对多个场景提供样例工程，包含Java样例工程和Scala样例工程等，帮助客户快速学习Flink工程。 针对Java和Scala不同语言的工程，其导入方式相同。 以下操作步骤以导入Java样例代码为例。操作流程如图1所示。 图1 导入样例工程流程
HistoryServer缓存的应用被回收，导致此类应用页面访问时出错 问题 在History Server页面中访问某个Spark应用的页面时，发现访问时出错。 查看相应的HistoryServer日志后，发现有“FileNotFound”异常，相关日志如下所示： 2016-11-22
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
