检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
解决方案： 将客户端/opt/client/KrbClient/kerberos/var/krb5kdc/krb5.conf，copy覆盖集群内所有节点的/etc/krb5.conf，注意替换前需要备份。 父主题： Spark Core
ummary页面。 图1 集群Summary页面 单击“Brokers”进入Broker监控页面，该页面包括Broker列表和Broker节点的IO统计信息。 图2 Broker监控页面 查看Topic信息 登录KafkaManager的WebUI界面。 在集群列表页面单击对应集群名称进入集群Summary页面。
下，建议删除普通Hive表上原始数据，因为保留一张未加密的表存在安全风险。 创建Hive列加密表 以Hive客户端安装用户登录安装客户端的节点。 执行以下命令，切换到客户端安装目录，配置环境变量并认证用户。 cd 客户端安装目录 source bigdata_env kinit
进行作业开发时，系统支持对作业添加锁的功能，锁定作业的用户具备该作业的所有权限，其他用户不具备被锁定的作业的开发、启动和删除等权限，但可通过强制获取锁来具备作业的所有权限。开启该功能后，可直接通过单击“锁定作业”、“解锁作业”、“强制获取锁”来获取相应的权限。 系统默认开启作业锁功
NMlyDu/o7ytzs0cqMxNsI69WbN5H Set-Cookie: hadoop.auth="u=hdfs&p=hdfs@<系统域名>&t=kerberos&e=1462453809395&s=wiRF4rdTWpm3tDST+a/Sy0lwgA4="; Path=/;
nk 集群添加组件 POST /v2/{project_id}/clusters/{cluster_id}/components 查询集群节点列表 GET /v2/{project_id}/clusters/{cluster_id}/nodes 作业对象接口 新增并执行作业 POST
NMlyDu/o7ytzs0cqMxNsI69WbN5H Set-Cookie: hadoop.auth="u=hdfs&p=hdfs@<系统域名>&t=kerberos&e=1462453809395&s=wiRF4rdTWpm3tDST+a/Sy0lwgA4="; Path=/;
故障时，存在小概率数据丢失的现象。对数据可靠性要求高的场景请慎重配置。 操作步骤 参数入口： 在FusionInsight Manager系统中，选择“集群 > 服务 > HBase > 配置”，单击“全部配置”。在搜索框中输入参数名称，并进行修改。 表1 提升连续Put场景性能的参数
的filter的要求返回正确的值。 可能原因 如果filter使用更高精度的double数据类型的数值，系统将会对该值四舍五入进行比较，因此在这种情况下，即使小数部分不同，系统仍然会认为double数据类型的值是相同的。 定位思路 无。 处理步骤 当需要高精度的数据比较时，可以使
进行拦截或提示。 运行熔断规则：基于SQL语句运行时的系统动态信息（如CPU、内存、IO等）的规则进行阻断。 对于静态拦截规则、动态拦截规则，系统在SQL请求满足条件时，可对该请求进行中止或者提示处理。对于运行熔断规则，系统在SQL请求满足条件时，会阻断该SQL任务。 SQL防御规则与约束
过程中找到关键瓶颈点，解决性能问题。 图1 调优流程 表1 调优流程说明 流程 描述 系统调优 对OS操作系统级参数和数据库的调优，充分地利用主机的CPU、内存、I/O和网络资源，提升整个系统查询的吞吐量，同时数据库参数也调整到最优状态。 SQL调优 审视业务所用SQL语句是否存在可优化空间，包括：
过多的存储文件（夹）导致频繁切换IO降低系统速度（并且会占用大量内存且出现频繁的内存-文件切换），也不会因为过少的存储文件夹（降低了并发度从而）导致写入命令阻塞。 应根据自己的数据规模和使用场景，平衡存储文件的存储组设置，以达到更好的系统性能。 所有的时间序列必须以root开始、以传感器作为结尾。
global.mapreduce.GlobalTableIndexer -Dtablename.to.index='t1' -Dindexspecs.to.add='idx1=>cf1:[q1],[q2]' 创建索引2：hbase org.apache.hadoop.hbase.hindex
产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 大量应用任务被强制终止。 可能原因 人为强制终止大量任务。 系统出于某种错误终止任务。 处理步骤 检查告警详情。 在FusionInsight Manager界面，选择“运维
Enabled：启用当前策略。 Disabled：不启用当前策略。 Policy Conditions IP过滤策略，可自定义，配置当前策略适用的主机节点，可填写一个或多个IP或IP段，并且IP填写支持“*”通配符，例如：192.168.1.10,192.168.1.20或者192.168.1
可靠性要求高的场景请慎重配置。 本章节适用于MRS 3.x及之后版本。 操作步骤 参数入口： 在FusionInsight Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > HBase > 配置”，单击“全部配置”。在搜索框中输入参数名称，并进行修改。 表1 提升连续put场景性能的参数
Load导入数据时报错“failed to send batch”或“TabletWriter add batch with unknown id”。 原因分析 系统并发量较大或数据量大导致任务执行超时。 处理步骤 登录MySQL客户端，执行以下命令适当调大“query_timeout”参数值，默认为300秒。
配置HDFS单目录文件数量 操作场景 通常一个集群上部署了多个服务，且大部分服务的存储都依赖于HDFS文件系统。当集群运行时，不同组件（例如Spark、Yarn）或客户端可能会向同一个HDFS目录不断写入文件。但HDFS系统支持的单目录文件数目是有上限的，因此用户需要提前做好规划，防止单个目录下的文件数目超过阈值，导致任务出错。
Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。它为数据驱动型应用和存储系统构建了桥梁, 将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易、更快地被访问。同时使得应用程序能够通过一个公共接口连接到许多存储系统。 Alluxio主要特点如下： 提供内存级I/O 吞吐率，同时
配置HDFS单目录文件数量 操作场景 通常一个集群上部署了多个服务，且大部分服务的存储都依赖于HDFS文件系统。当集群运行时，不同组件（例如Spark、Yarn）或客户端可能会向同一个HDFS目录不断写入文件。但HDFS系统支持的单目录文件数目是有上限的，因此用户需要提前做好规划，防止单个目录下的文件数目超过阈值，导致任务出错。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
