检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
{ClassPath}表示工程jar包的存放路径，详细路径由用户指定，可参考在Linux环境中调测Spark应用章节中导出jar包的操作步骤。 java -cp $SPARK_HOME/jars/*:$SPARK_HOME/jars/streamingClient010/*:{ClassPath}
hadoop.com”），否则HetuEngine无法根据主机名称连接到非本集群节点。 已创建HetuEngine计算实例。 添加Hive数据源步骤 获取Hive数据源集群的“hdfs-site.xml”和“core-site.xml”配置文件。 登录Hive数据源所在集群的FusionInsight
为了避免对其他作业的影响，RocksDB监测的相关配置通过自定义参数生效，本章节为您介绍开启RocksDB监测和告警和相关调优参数。 开启Flink作业RocksDB监测步骤 使用具有FlinkServer管理员权限的用户登录FusionInsight Manager。 选择“集群 > 服务 > Flink”，在“Flink
什么是MapReduce服务 大数据是人类进入互联网时代以来面临的一个巨大问题：社会生产生活产生的数据量越来越大，数据种类越来越多，数据产生的速度越来越快。传统的数据处理技术，比如说单机存储，关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题，Apache基金会推
准备好业务用户hdfs。 更改DataNode单个实例的存储目录时，保持活动的DataNode实例数必须大于“dfs.replication”的值。 操作步骤 检查环境 以root用户登录安装HDFS客户端的服务器，执行以下命令配置环境变量。 source HDFS客户端安装目录/bigdata_env
已成功安装集群，包含HDFS、Kafka及Flume服务。 已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。 确保集群网络环境安全。 操作步骤 在FusionInsight Manager管理界面，选择“系统 > 权限 > 用户”，选择“更多 > 下载认证凭据”下载用户flume
准备依赖的Jar包和配置文件。 在Linux环境新建目录，例如“/opt/test”，并创建子目录“lib”和“conf”。将样例工程中“lib”的Jar包导出，导出步骤请参考2，以及1导出的Jar包，上传到Linux的“lib”目录。将样例工程中“conf”的配置文件上传到Linux中“conf”目录。
sssd服务未启动或启动错误。 网络故障，无法访问Ldap服务器。 Name Service服务异常。 OS执行命令慢导致无法查询用户。 处理步骤 检查sssd服务是否启动或启动错误。 在FusionInsight Manager界面，选择“运维 > 告警 > 告警”。记录该告警定位
证）。 已创建ClickHouse集群，并且ClickHouse集群和Kafka集群网络可以互通，并安装ClickHouse客户端。 操作步骤 登录ClickHouse服务所在集群的Manager页面，选择“集群 > 服务 > ClickHouse > 配置 > 全部配置 > ClickHouseServer（角色）
题。 前提条件 已安装Kafka客户端。 用户已明确业务需求，并准备一个属于kafkaadmin组的用户，作为Kafka管理员用户。 操作步骤 登录FusionInsight Manager，具体请参见访问集群Manager。然后选择“集群 > 服务 > ZooKeeper > 实例”。
准备依赖的Jar包和配置文件。 在Linux环境新建目录，例如“/opt/test”，并创建子目录“lib”和“conf”。将样例工程依赖的Jar包导出，导出步骤请参考在Linux环境中调测HBase应用章节的2，以及1导出的Jar包，上传到Linux的“lib”目录。将准备连接HBase集群配置文
java。 本章节只适用于MRS产品Storm与Kafka组件间的访问。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认Storm和Kafka组件已经安装，并正常运行。 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\storm-exa
法与Broker建立新的连接。 可能原因 客户端使用同一个用户建立的连接个数超过设定阈值。 用户连接数使用率阈值设置不符合业务需求。 处理步骤 检查客户端使用同一个用户建立的连接个数。 在FusionInsight Manager首页，选择“运维 > 告警 > 告警 > Brok
告警上报机制需要调整。（仅适用于MRS 3.3.1及之后版本 ） NodeManager节点资源过小。 队列最大资源容量设置过小。 AM最大资源百分比设置过小。 处理步骤 调整告警上报机制（仅适用于MRS 3.3.1及之后版本 ） 请根据实际业务情况，确认是否所有队列都需要上报当前告警： 所有队列都不需要上报告警：登录FusionInsight
在使用HetuEngine前，请确保客户端操作用户/连接数据源的配置文件中的用户是具备预期的操作权限，如果没有请参考对应的数据源权限配置。 操作步骤 使用Ranger管理员用户rangeradmin登录Ranger管理页面，具体操作可参考登录Ranger WebUI界面。 在首页中单击
户自定义的组合rowkey实现。用户可编写rowkey实现代码，导入时根据该代码逻辑进行组合rowkey导入。 配置自定义rowkey实现步骤如下： 用户编写自定义rowkey的实现类，需要继承接口，该接口所在的Jar包路径为“客户端安装目录/HBase/hbase/lib/hbase-it-bulk-load-*
准备好业务用户hdfs。 更改DataNode单个实例的存储目录时，保持活动的DataNode实例数必须大于“dfs.replication”的值。 操作步骤 检查环境 以root用户登录安装HDFS客户端的服务器，执行以下命令配置环境变量。 source HDFS客户端安装目录/bigdata_env
提升HBase实时读数据效率 操作场景 需要读取HBase数据场景。 前提条件 调用HBase的get或scan接口，从HBase中实时读取数据。 操作步骤 读数据服务端调优 参数入口：登录FusionInsight Manager，选择“集群 > 服务 > HBase > 配置 > 全部配置
已成功安装集群，包含HDFS、Kafka及Flume服务。 已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。 确保集群网络环境安全。 操作步骤 在FusionInsight Manager管理界面，选择“系统 > 权限 > 用户”，选择“更多 > 下载认证凭据”下载用户flume
Kerberos 提供安全认证的服务。 KerberosAdmin 提供认证用户管理的进程。 KerberosServer 提供认证票据分发的进程。 步骤原理说明： 应用客户端（Application Client）可以是集群内某个服务，也可以是客户二次开发的一个应用程序，应用程序可以向应用服务提交任务或者作业。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
