检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何使用IDEA远程调试 问题 在Spark二次开发中如何使用IDEA远程调试？ 回答 以调试SparkPi程序为例，演示如何进行IDEA的远程调试： 打开工程，在菜单栏中选择“Run > Edit Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的号，在
如何查看Flume日志 Flume日志保存在/var/log/Bigdata/flume/flume/flumeServer.log 里。绝大多数数据传输异常、数据传输不成功，在日志里都可以看到提示。可以直接输入以下命令查看： tailf /var/log/Bigdata/flu
如何获取Topic的分布信息 用户问题 如何获取Topic在Broker实例的分布信息？ 前置操作 前提条件 已安装Kafka、ZooKeeper客户端。 操作步骤 以客户端安装用户，登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。
如何获取Kafka Consumer Offset信息 问题背景与现象 使用Kafka Consumer消费数据时，如何获取Kafka Consumer Offset相关信息？ Kafka API简单说明 新Producer API 指org.apache.kafka.clients
安全模式下Yarn和HBase的权限管理默认是开启的，因此在安全模式下默认需要配置Yarn和HBase权限。 在普通模式下，Yarn和HBase的权限管理默认是关闭的，即任何用户都有权限，因此普通模式下默认不需要配置Yarn和HBase权限。如果用户修改了Yarn或者HBase的配置来开启权限管理，则修改后也需要配置Yarn和HBase权限。
如何查看MRS Hive元数据？ Hive的元数据存放在MRS服务集群的GaussDB中，可执行如下步骤查看： 以root用户登录到DBServer主节点。 执行以下命令登录Hive元数据库： su - omm source $DBSERVER_HOME/.dbservice_profile
Java进程OOM被终止 一般Java进程都会配置OOM Killer，当检测到OOM会自动终止进程，OOM日志通常被打印到out日志中，此时可以看运行日志（如DataNode的日志路径为 /var/log/Bigdata/hdfs/dn/hadoop-omm-datanode-主机名.log），看
set mapred.job.queue.name=QueueA; select count(*) from rc; 队列的名称区分大小写，如写成queueA，Queuea均无效；且该队列为叶子队列，不支持提交任务到非叶子队列。 提交任务后，可在Yarn页面看到，如下任务已经提交到队列QueueA。
Hive服务状态为故障如何处理 可能原因 DBservice服务不可用会导致Hive服务状态为Bad。 HDFS服务不可用会导致Hive服务状态为Bad。 ZooKeeper服务不可用会导致Hive服务状态为Bad。 LDAP/KrbServer服务不可用会导致Hive服务状态为Bad。
如何修改HDFS的副本数？ 进入HDFS服务配置页面： MRS 1.8.10及之前版本，登录MRS Manager页面，具体请参见访问MRS Manager，然后选择“服务管理 > HDFS > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 MRS 1.8.10之后及2
如何修改ClickHouse服务时区？ 问题现象 用户插入数据到ClickHouse时发现时区不对，差了八小时。 原因分析 Clickhouse时区默认设置为Europe/Moscow，需要修改为当地时区。 解决步骤 登录FusionInsight Manager页面，选择“集群
HDFS的操作。 登录MRS管理控制台。 单击集群名称进入集群详情页面。 单击“文件管理”，选择“HDFS文件列表”。 进入数据存储目录，如“bd_app1”。 “bd_app1”目录仅为示例，可以是界面上的任何目录，也可以通过“新建”创建新的目录。 单击“导入数据”，通过单击“浏览”选择OBS和HDFS路径。
如何修改DBService的IP地址？ 问： 如何修改DBService的浮动IP地址？ 答： MRS集群内不支持修改DBService的IP地址。 父主题： 组件配置类
如何修改HDFS主备倒换类？ 当MRS 3.x版本集群使用HDFS连接NameNode时，报“org.apache.hadoop.hdfs.server.namenode.ha.AdaptiveFailoverProxyProvider”类无法找到时，是由于MRS 3.x版本集群
如何针对Topic进行配置增加和删除 问题背景与现象 使用Kafka过程中常常需要对特定Topic进行配置或者修改。 Topic级别可以修改参数列表： cleanup.policy compression.type delete.retention.ms file.delete.delay
MRS集群的Task节点如何收费？ 问： Mapreduce服务（MRS）集群的Task节点如何收费？ 答： 包年/包月集群和按需计费集群的Task节点的计费模式为按需计费，即按实际使用时长计费，计费周期为一小时。 父主题： 计费类
如何配置MRS集群knox内存？ 以root用户登录集群Master节点。 在Master节点执行如下命令打开gateway.sh文件。 su omm vim /opt/knox/bin/gateway.sh 将“APP_MEM_OPTS=""” 修改为 “APP_MEM_OPTS="-Xms256m
MRS 1.9.3 Ranger证书如何更新？ 本指导以MRS 1.9.3版本为例，其他版本请替换成具体集群版本号。参考本指导完成证书更新后，请手动清除证书文件失效或证书文件即将过期告警。 Ranger证书更新后，证书有效期为10年。 Ranger证书过期后，Ranger WEB
如何配置Kafka客户端shell命令日志 用户问题 如何设置客户端shell命令的日志输出级别？ 处理步骤 以客户端安装用户，登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。 cd /opt/client 切换到Kafka客户端配置目录。
如何配置HBase双读能力 操作场景 HBase客户端应用通过自定义加载主备集群配置项，实现了双读能力。HBase双读作为提高HBase集群系统高可用性的一个关键特性，适用于四个查询场景：使用Get读取数据、使用批量Get读取数据、使用Scan读取数据，以及基于二级索引查询。它能
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
