检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
JobHistory2x堆内存使用率统计 (JobHistory2x)”,可查看“阈值”。 重启所有的JobHistory2x实例。 重启实例期间实例不可用,当前实例节点的任务会执行失败。 等待10分钟,观察界面告警是否清除。 是,处理完毕。 否,执行7。 收集故障信息 在FusionInsight
JobHistory2x直接内存使用率统计 (JobHistory2x)”,可查看“阈值”。 重启所有的JobHistory2x实例。 重启实例期间实例不可用,当前实例节点的任务会执行失败。 等待10分钟,观察界面告警是否清除。 是,处理完毕。 否,执行7。 收集故障信息 在FusionInsight
/opt/client 配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 执行以下命令访问Hindex。 hbase org.apache.hadoop.hbase.hindex.mapreduce
者多个节点执行。Fragments separation表示数据在两个节点之间进行交换。Fragment type表示一个fragment如何被执行以及数据在不同fragment之间怎样分布。 SINGLE Fragment会在单个节点上执行。 HASH Fragment会在固定
HDFS应用开发常见问题 HDFS常用API介绍 HDFS Shell命令介绍 配置Windows通过EIP访问普通模式集群HDFS 父主题: HDFS开发指南(普通模式)
执行语句前设置如下参数,当前版本中该值默认为“true”。 set hive.auto.convert.join=true; 使用Map Join时没有Reduce任务,而是在Map任务前起了一个MapReduce Local Task,这个Task通过TableScan读取小表内容到本机
创建FlinkServer作业前准备 访问FlinkServer WebUI界面 创建FlinkServer应用 创建FlinkServer集群连接 创建FlinkServer数据连接 创建FlinkServer流表源 父主题: 使用Flink
查看ClickHouse复制表数据同步监控 配置ClickHouse副本间数据强一致 配置ClickHouse支持事务能力 配置通过ELB访问ClickHouse 配置ClickHouse冷热分离 配置ClickHouse对接开源ClickHouse 配置ClickHouse元数据预先缓存到内存
开发MapReduce应用 MapReduce统计样例程序 MapReduce访问多组件样例程序 父主题: MapReduce开发指南(安全模式)
开发MapReduce应用 MapReduce统计样例程序 MapReduce访问多组件样例程序 父主题: MapReduce开发指南(安全模式)
准备集群配置文件 集群创建成功后,登录FusionInsight Manager创建用于提交Flink作业的集群用户。 选择“系统 > 权限 > 用户 > 添加用户”,在新增用户界面创建一个机机用户,例如flinkuser。 “用户组”需加入“supergroup”用户组,并关联“System_administrator”角色。
HDFS应用开发常见问题 常用API介绍 HDFS Shell命令介绍 配置Windows通过EIP访问安全模式集群HDFS 父主题: HDFS开发指南(安全模式)
Tez常见问题 Tez WebUI界面无法展示Tez任务详情 访问Tez WebUI界面异常 Tez WebUI界面无法查看Yarn日志 TezUI HiveQueries界面表格数据为空 父主题: 使用Tez
可以按0.5倍速率调大。若告警次数比较频繁,可以按1倍速率调大。多业务量、高并发的情况可以考虑增加实例。 重启所有的IndexServer2x实例。 重启实例期间实例不可用,当前实例节点的任务会执行失败。 等待10分钟,观察界面告警是否清除。 是,处理完毕。 否,执行6。 收集故障信息
执行语句前设置如下参数,当前版本中该值默认为true。 set hive.auto.convert.join=true; 使用Map Join时没有Reduce任务,而是在Map任务前起了一个MapReduce Local Task,这个Task通过TableScan读取小表内容到本机
threads”参数值为“10000”,单击“保存”保存配置。 单击“实例”,勾选所有MetaStore实例,选择“更多 > 重启实例”,重启MetaStore实例。 正在重启的MetaStore实例无法对外提供服务,该实例上正在执行的SQL任务可能失败。 等待MetaStore实例重启完成后,查看该告警是否恢复。 是,操作结束。
准备Hive应用开发环境 准备本地应用开发环境 准备连接Hive集群配置文件 导入并配置Hive样例工程 配置Hive JDBC接口访问Hive安全认证 父主题: Hive开发指南(安全模式)
开发Oozie应用 开发Oozie配置文件 Oozie样例代码说明 通过Java API提交Oozie作业 使用Oozie调度Spark2x访问HBase以及Hive 父主题: Oozie开发指南(普通模式)
Kafka企业级能力增强 配置Kafka高可用和高可靠 配置Kafka数据安全传输协议 配置Kafka数据均衡工具 配置外网客户端访问Kafka Broker 父主题: 使用Kafka
配置LDAP输出审计日志 用户可以通过设置LDAP服务的审计日志输出级别,将审计内容输出至系统日志信息中(如“/var/log/messages”),用于查看用户的活动信息及操作指令信息。 LDAP的审计日志开启后,会产生大量日志信息,严重影响集群性能,请谨慎开启。 该章节仅适用于MRS