正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
普通(非Kerberos)模式下,使用用户名和密码进行登录,如不指定用户,则匿名登录; 在JDBC URL地址中提供登录Kerberos用户的principal,程序自动完成安全登录、建立Impala连接。 执行创建表、查询和删除三类Impala SQL语句。 package com.huawei.bigdata
执行以下命令,查看10查找出的同步文件信息及权限。 ll 待查找文件路径 如果文件大小为0,且权限栏全为“-”,则为垃圾文件,请执行以下命令删除。 rm -rf 待删除文件 等待几分钟观察告警是否清除,如果未清除则执行12。 如果文件大小不为0,则执行12。 查看发生告警时间段的日志文件。
L文件的路径,需要满足以下要求。 待执行SQL脚本文件地址,可直接手动输入地址路径,也可单击“HDFS”或者“OBS”选择文件。 最多为1023字符,不能包含;|&>,<'$特殊字符,且不可为空或全空格。 OBS程序路径地址以“obs://”开头,例如“obs://wordcount/program/XXX
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架,基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上,并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业(application/job)通常会把输
接口说明 注册服务器接口 注册服务器用来保存NettySink的IP、端口以及并发度信息,以便NettySource连接使用。为用户提供以下接口: public interface RegisterServerHandler { /** * 启动注册服务器 * @param
客户端机器的时间与MRS集群的时间要保持一致,时间差要小于5分钟。 当Linux环境所在主机不是集群中的节点时,需要在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 准备依赖的Jar包和配置文件。 在Linux环境新建目录,例如“/opt/test”,并创建子目录“
表示此次检查的结束时间。 操作 支持“导出报告”和“查看帮助”。 导出健康检查报告: 在目标健康检查报告所在行,单击“导出报告”,下载报告文件。 在Manager查看健康检查报告(MRS 2.x及之前版本) 登录MRS Manager。 查看或导出健康检查报告。 查看健康检查报告: 单击“服务管理”。
x版本集群还支持在Manager页面上直接查看实例节点上实际的环境变量、角色配置等配置文件内容,以供运维人员在需要快速排查实例对应配置项是否配置错误或者查看部分隐藏类型的配置项。 查看已修改的组件配置参数 登录集群Manager页面。 选择“集群 > 配置”。 根据操作场景,选择对应操作页面: 查看所有非默认值:
留个数越大,会占用更多的磁盘空间。 显示如下结果,说明修改成功: Modify log config successfully 父主题: 查看MRS集群日志
使用调整集群节点接口时参数node_id如何配置? 问: 使用调整集群节点接口时(/v1.1/{project_id}/cluster_infos/{cluster_id}),请求参数“node_id”如何配置? 答: 使用调整集群节点接口时,请求参数“node_id”的值固定为“node_orderadd”。
Kafka Topic监控页签在Manager页面不显示如何处理? 问: Kafka Topic监控页签在Manager页面不显示怎么办? 答: 分别登录集群Master节点,并切换用户为omm。 进入目录“/opt/Bigdata/apache-tomcat-7.0.78/we
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架,基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上,并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业(application/job)通常会把输
MapReduce应用开发简介 Hadoop MapReduce是一个使用简易的并行计算软件框架,基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上,并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业(application/job)通常会把输
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架,基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上,并以一种可靠容错的方式并行处理上TB级别的数据集。 一个MapReduce作业(application/job)通常会把
IoTDB Kafka样例程序 功能简介 该样例介绍如何通过Kafka将数据发送到IoTDB。 代码样例 Producer.java: 该样例展示如何将时序数据发送到Kafka集群。 根据实际场景,修改“KafkaProperties.java”文件中的“TOPIC”变量,例如:public
如何处理Flink任务配置State Backend为RocksDB时报错GLIBC版本问题 问题 Flink任务配置State Backend为RocksDB时,运行报如下错误: Caused by: java.lang.UnsatisfiedLinkError: /srv/B
消费Kafka Topic时报错“Not Authorized to access group XXX”如何处理? 该问题是由于集群的Ranger鉴权和集群自带的ACL鉴权冲突导致。Kafka集群使用自带的ACL进行权限访问控制,且集群的Kafka服务也开启Ranger鉴权控制时
spark.yarn.executor.memoryOverhead设置不生效如何处理? 问题现象 Spark任务需要调整executor的overhead内存,设置了参数spark.yarn.executor.memoryOverhead=4096,但实际计算的时候依旧按照默认值1024申请资源。
查看Flink应用调测结果 操作场景 Flink应用程序运行完成后,您可以查看运行结果数据,也可以通过Flink WebUI查看应用程序运行情况。 操作步骤 查看Flink应用运行结果数据。 当用户查看执行结果时,需要在Flink的web页面上查看Task Manager的Stdout日志。
TezUI界面无法查看Yarn日志 问题 登录Tez WebUI界面,单击Logs跳转yarn日志界面失败,无法加载数据。 回答 Tez WebUI跳转Yarn Logs界面时,目前是通过hostname进行访问,需要在windows机器,配置hostname到ip的映射。具体方法为: