检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
非HDFS数据残留导致数据分布不均衡 问题背景与现象 数据出现不均衡，某磁盘过满而其他磁盘未写满。 HDFS DataNode数据存储目录配置为“/export/data1/dfs--/export/data12/dfs”，看到的现象是大量数据都是存储到了“/export/data1/dfs”，其他盘的数据比较均衡。
调整Yarn任务抢占机制 操作场景 Capacity调度器抢占原理： 抢占任务可精简队列中的job运行并提高资源利用率，由ResourceManager的capacity scheduler实现，其简易流程如下： 假设存在两个队列A和B。其中队列A的capacity为25%，队列B的capacity为75%。
Flink安全认证机制说明 Flink认证和加密 Flink集群中，各部件支持认证。 Flink集群内部各部件和外部部件之间，支持和外部部件如YARN、HDFS、ZooKeeprer进行kerberors认证。 Flink集群内部各部件之间，如Flink client和JobMa
Flink安全认证机制说明 Flink认证和加密 Flink集群中，各部件支持认证。 Flink集群内部各部件和外部部件之间，支持和外部部件如YARN、HDFS、ZooKeeprer进行Kerberors认证。 Flink集群内部各部件之间，如Flink client和JobMa
异步Checkpoint机制程序 Flink异步Checkpoint应用开发思路 Flink异步Checkpoint Java样例代码 Flink异步Checkpoint Scala样例代码 父主题： 开发Flink应用
调整Yarn任务抢占机制 操作场景 抢占任务可精简队列中的job运行并提高资源利用率，由ResourceManager的capacity scheduler实现，其简易流程如下： 假设存在两个队列A和B。其中队列A的capacity为25%，队列B的capacity为75%。 初
配置HDFS文件回收站机制 配置场景 在HDFS中，如果删除HDFS的文件，删除的文件将被移动到回收站（trash）中，不会被立即清除，以便在误操作的情况下恢复被删除的数据。被删除的文件在超过老化时间后将变为老化文件，会基于系统机制清除或用户手动清除。 您可以设置文件保留在回收站
配置HDFS文件回收站机制 配置场景 在HDFS中，如果删除HDFS的文件，删除的文件将被移动到回收站（trash）中，不会被立即清除，以便在误操作的情况下恢复被删除的数据。被删除的文件在超过老化时间后将变为老化文件，会基于系统机制清除或用户手动清除。 您可以设置文件保留在回收站
balancer.auto.cron.expression HDFS 磁盘均衡操作的CRON表达式，用于控制均衡操作的开始时间。仅当dfs.disk.balancer.auto.enabled设置为true时才有效。默认值“0 1 * * 6”表示在每周六的1点执行任务。表达式的具体含义可参见表2。
取密码）。 执行以下命令进入hbase shell，查看目前负载均衡功能是否打开： hbase shell balancer_enabled 是，执行6。 否，执行5。 在hbase shell，中执行命令打开负载均衡功能，并执行命令查看确认成功打开： balance_switch
MRS安全认证原理和认证机制 功能 开启了Kerberos认证的安全模式集群，进行应用开发时需要进行安全认证。 使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术，并且能够进行相互认证（即客户端和服务器端均可对对方进行身份认证）。可以用于防止窃听、防止
配置MapReduce任务日志归档和清理机制 配置场景 执行一个MapReduce应用会产生两种类型日志文件：作业日志和任务日志。 作业日志由MRApplicationMaster产生，详细记录了作业启动时间、运行时间，每个任务启动时间、运行时间、Counter值等信息。此日志内
配置MapReduce任务日志归档和清理机制 配置场景 执行一个MapReduce应用会产生两种类型日志文件：作业日志和任务日志。 作业日志由MRApplicationMaster产生，详细记录了作业启动时间、运行时间，每个任务启动时间、运行时间、Counter值等信息。此日志内
执行balancer命令手动触发负载均衡。 建议打开和手动触发负载均衡操作在业务低峰期进行。 观察该告警是否清除。 是，处理完毕。 否，执行12。 检查备集群HBase服务规模 对HBase集群扩容，增加节点，并在节点上增加RegionServer实例。然后执行步骤6-步骤10，打开负载均衡功能并手动触发。
否，执行10。 在hbase shell中执行以下命令打开负载均衡功能，并查看是否成功打开。 balance_switch true balancer_enabled 建议打开和手动触发负载均衡操作在业务低峰期进行。 执行以下命令手动触发负载均衡。 balancer 执行完均衡后，等待一段时间，再登录FusionInsight
执行balancer命令手动触发负载均衡。 建议打开和手动触发负载均衡操作在业务低峰期进行。 观察该告警是否清除。 是，处理完毕。 否，执行12。 检查备集群HBase服务规模 对HBase集群扩容，增加节点，并在节点上增加RegionServer实例。然后执行步骤6 -步骤10，打开负载均衡功能并手动触发。
有的消费者实例都属于同样的消费组，它们就以传统队列负载均衡方式工作。如上图中，Consumer1与Consumer2之间为负载均衡方式；Consumer3、Consumer4、Consumer5与Consumer6之间为负载均衡方式。如果消费者实例都属于不同的消费组，则消息会被广
调测Kafka Token认证机制样例程序 Kafka服务端配置Kafka Token认证。 登录FusionInsight Manager管理界面，选择“集群 > 服务 > Kafka > 配置”，打开Kafka服务配置页面。 开启Token认证机制。 查找配置项“delegation
调测Kafka Token认证机制样例程序 Kafka服务端配置Kafka Token认证。 登录FusionInsight Manager管理界面，选择“集群 > 服务 > Kafka > 配置”，打开Kafka服务配置页面。 开启Token认证机制。 查找配置项“delegation
SparkSQL UDF功能的权限控制机制 问题 SparkSQL中UDF功能的权限控制机制是怎样的？ 回答 目前已有的SQL语句无法满足用户场景时，用户可使用UDF功能进行自定义操作。 为确保数据安全以及UDF中的恶意代码对系统造成破坏，SparkSQL的UDF功能只允许具备a
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
