检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击Role Name为admin的角色,在“Users”区域,单击“Select User”,选择对应用户名。 单击Add Users按钮,在对应用户名所在行勾选“Is Role Admin”,单击“Save”保存配置。
Manager和组件WebUI服务不可用,无法对Web上层应用正常提供集群管理功能,可能引起无法登录Manager和组件的WebUI。 可能原因 Tomcat目录权限异常,Tomcat进程异常。 处理步骤 检查Tomcat目录权限是否正常。
Executor日志级别为DEBUG,在进程启动之前,修改“spark-defaults.conf”文件中的Executor的JVM参数“spark.executor.extraJavaOptions”,增加如下配置: -Dlog4j.configuration.watch=true 提交用户应用后
Executor日志级别为DEBUG,在进程启动之前,修改“spark-defaults.conf”文件中的Executor的JVM参数“spark.executor.extraJavaOptions”,增加如下配置: -Dlog4j.configuration.watch=true 提交用户应用后
Consumer的并发量 在一个应用中,同一个Group的Consumer并发量建议与Topic的Partition个数保持一致,保证每个Consumer对应消费一个Partition上的数据。
创建一个空角色的用户组,例如,名称为“obs_hudi”,并将该用户组绑定给对应用户。 使用rangeradmin用户登录Ranger管理页面。 在首页中单击“EXTERNAL AUTHORIZATION”区域的组件插件名称“OBS”。
Consumer的并发量 在一个应用中,同一个Group的Consumer并发量建议与Topic的Partition个数保持一致,保证每个Consumer对应消费一个Partition上的数据。
CDL业务用户权限配置 集群已启用Kerberos认证(安全模式)若需在对接OBS成功后,使用CDL实现实时数据入湖选择存储到OBS时,则需参考以下操作为对应用户赋予相应OBS路径的“Read”和“Write”权限。
单击Role Name为admin的角色,在“Users”区域,单击“Select User”,选择对应用户名。 单击Add Users按钮,在对应用户名所在行勾选“Is Role Admin”,单击“Save”保存配置。
请根据具体应用场景决定是否开启该参数。 false dfs.namenode.safemode.threshold-pct 满足“dfs.namenode.replication.min”定义的最小复制需求的块的比例。取值范围:0~1.0。
重启策略也可以通过Flink的配置文件“客户端安装目录/Flink/flink/conf/flink-conf.yaml”中的参数“restart-strategy”指定,为全局配置,还可以在应用代码中动态指定,会覆盖全局配置,重启策略包括失败率(failure-rate)和两种默认策略
“OutOfMemoryError” 输入文件数超出设置限制导致任务执行失败 Hive任务执行中报栈内存溢出导致任务执行失败 对同一张表或分区并发写数据导致任务失败 Hive任务失败,报没有HDFS目录的权限 Load数据到Hive表失败 参考Hive JDBC代码用例开发的业务应用运行失败
根据实际进程连接数情况修改平滑次数和告警阈值,并应用修改后的规则。 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行7。 收集故障信息 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。
请先排查应用程序是否存在内存泄露等问题。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > ZooKeeper > 配置 > 全部配置 > quorumpeer > 系统”。将“GC_OPTS”参数值根据实际情况调大。
修改消费者业务应用中fetch.message.max.bytes,使得fetch.message.max.bytes >= message.max.bytes,确保消费者可以消费到全部消息。 父主题: 使用Kafka
JDBCServer启动成功后,ProxyServer会获取JDBCServer的地址,并将Beeline连上JDBCServer。 客户端发送SQL语句给ProxyServer,ProxyServer将语句转交给真正连上的JDBCServer处理。
无法对acs上层应用提供安全认证和用户管理功能,可能引起无法登录Manager和组件的WebUI。 可能原因 ACS进程异常。 处理步骤 检查ACS进程是否异常。 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机名称。
为单个Region构建索引是为了修复损坏的索引,此功能不应用于生成新索引。 创建HBase HIndex 安装HBase客户端,详情参见HBase客户端使用实践。 以客户端安装用户,登录安装客户端的节点。
可能的选项是[gzip | snappy | uncompressed | lzo] snappy hoodie.logfile.max.size LogFile的最大值。这是在将日志文件移到下一个版本之前允许的最大值。
ThriftServer:提供thrift接口,作为JDBC的服务端,并将Hive和其他应用程序集成起来。 Clients:包含WebUI和JDBC接口,为用户访问提供接口。