检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
executor.extraJavaOptions”,增加如下配置: -Dlog4j.configuration.watch=true 提交用户应用后,修改“spark.executor.extraJavaOptions”中“-Dlog4j.configuration”参数指定的log
Manager,选择“系统 > 权限 > 用户组 > 添加用户组”。 创建一个空角色的用户组,例如,名称为“obs_hudi”,并将该用户组绑定给对应用户。 使用rangeradmin用户登录Ranger管理页面。 在首页中单击“EXTERNAL AUTHORIZATION”区域的组件插件名称“OBS”。
ZooKeeper垃圾回收(GC)时间 查看ZooKeeper每分钟的垃圾回收时间统计值是否大于告警阈值(默认12秒)。 是,执行4。 否,执行8。 请先排查应用程序是否存在内存泄露等问题。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > ZooKeeper
SlapdServer进程连接数”,查看告警的平滑次数和告警阈值是否设置合理。 是,执行7。 否,执行5。 根据实际进程连接数情况修改平滑次数和告警阈值,并应用修改后的规则。 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行7。 收集故障信息 在FusionInsight Manager界面,选择“运维
对同一张表或分区并发写数据导致任务失败 Hive任务失败,报没有HDFS目录的权限 Load数据到Hive表失败 参考Hive JDBC代码用例开发的业务应用运行失败 HiveServer和HiveHCat进程故障 MRS Hive连接ZooKeeper时报错“ConnectionLoss for
/Flink/flink/conf/flink-conf.yaml”中的参数“restart-strategy”指定,为全局配置,还可以在应用代码中动态指定,会覆盖全局配置,重启策略包括失败率(failure-rate)和两种默认策略,默认策略为如下: 无重启(No restar
新密码将使用新的密钥加密。 更新集群密钥需要停止集群,集群停止时无法访问。 前提条件 已确认主备管理节点IP。 停止依赖集群运行的上层业务应用。 更新MRS集群密钥(MRS 3.x及之后版本) 登录FusionInsight Manager。 选择“集群 > 停止”(MRS 3.3
index文件,默认配置为10MB,可通过修改log.index.size.max.bytes来调整大小),是否会影响Kafka正常运行。 Consumer的并发量 在一个应用中,同一个Group的Consumer并发量建议与Topic的Partition个数保持一致,保证每个Consumer对应消费一个Part
index文件,默认配置为10MB,可通过修改log.index.size.max.bytes来调整大小),是否会影响Kafka正常运行。 Consumer的并发量 在一个应用中,同一个Group的Consumer并发量建议与Topic的Partition个数保持一致,保证每个Consumer对应消费一个Part
批处理应用更关注原始数据处理的吞吐量,因此,目前已有的HDFS模型都运作良好。 然而,随着技术的发展,Hadoop逐渐被用于以随机I/O访问模式的操作为主的上层应用上,如Hive、HBase等,而这种时延要求较高的场景中,低时延的高速磁盘(如SSD磁盘)可以得到广泛的应用。为了支
replica.fetch.max.bytes进行检索。 单击“保存”,并重启Kafka服务,使得Kafka相关配置生效。 修改消费者业务应用中fetch.message.max.bytes,使得fetch.message.max.bytes >= message.max.bytes,确保消费者可以消费到全部消息。
SlapdServer CPU使用率”,查看告警的平滑次数和告警阈值是否设置合理。 是,执行4。 否,执行2。 根据实际CPU使用情况修改平滑次数和告警阈值,并应用修改后的规则。 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行4。 检查CPU使用率是否达到上限。 在FusionInsight
存不足时在排序阶段会将数据溢出到磁盘,在连接阶段因数据有序,在内存中只保留当前相同key的数据,使用的内存较小。 配置描述 参数入口: 在应用提交时通过“--conf”设置这些参数,或者在客户端的“spark-defaults.conf”配置文件中调整如下参数。 表1 参数说明 参数
存不足时在排序阶段会将数据溢出到磁盘,在连接阶段因数据有序,在内存中只保留当前相同key的数据,使用的内存较小。 配置描述 参数入口: 在应用提交时通过“--conf”设置这些参数,或者在客户端的“spark-defaults.conf”配置文件中调整如下参数。 表1 参数说明 参数
在左侧导航栏单击,然后选择“Workflow”。 支持创建Workflow、计划和Bundles的操作。支持提交运行、共享、复制和导出已创建的应用。 每个Workflow可以包含一个或多个作业,形成完整的工作流,用于实现指定的业务。 创建Workflow时,可直接在Hue的编辑器设计作业,并添加到Workflow中。
Maximum password life: 0 days 00:00:00 …… 执行以下命令,将新的策略“streampol”应用到Storm用户“testpol”。 modprinc -policy streampol testpol 其中“streampol”是策略名称,“testpol”是用户名。
nguage等语言请求头)。 取值范围: 安装集群进度包括: Verifying cluster parameters:校验集群参数中 Applying for cluster resources:申请集群资源中 Creating VM:创建虚拟机中 Initializing VM:初始化虚拟机中
日志调整方式如下: cd 客户端安装目录/Yarn/config vi log4j.properties 在文件中添加OBS日志级别配置(应用若使用自带的log4j.properties,添加同样配置即可) log4j.logger.org.apache.hadoop.fs.obs=WARN
登录认证用户必须与所加载环境变量(component_env)一 一对应,否则使用storm命令提交拓扑任务出错。 加载客户端环境变量且对应用户登录成功后,该用户可以在任意storm客户端下执行storm命令来提交拓扑任务,但提交拓扑命令执行完成后,提交成功的拓扑仍然在用户所对应
nguage等语言请求头)。 取值范围: 安装集群进度包括: Verifying cluster parameters:校验集群参数中 Applying for cluster resources:申请集群资源中 Creating VM:创建虚拟机中 Initializing VM:初始化虚拟机中