检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从HDFS/OBS导出数据时,确保HDFS/OBS数据源的输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的任务需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。
xml"), false); } [1]userdir获取的是编译后资源路径下conf目录的路径。 前提条件 已获取样例工程运行所需的配置文件及认证文件,详细操作请参见准备连接HBase集群配置文件。 配置安全登录 请根据实际情况,在“com.huawei.bigdata.hbase
WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。 选择“集群 > 待操作集群名称 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader
MRS集群加固策略说明 加固Tomcat 在FusionInsight Manager软件安装及使用过程中,针对Tomcat基于开源做了如下功能增强: 升级Tomcat版本为官方稳定版本。 设置应用程序之下的目录权限为500,对部分目录支持写权限。 系统软件安装完成后自动清除Tomcat安装包。
操作类型的接口就不需要消息体,消息体具体内容需要根据具体接口而定。 对于管理员创建IAM用户接口,您可以从接口的请求部分看到所需的请求参数及参数说明。将消息体加入后的请求如下所示,加粗的字段需要根据实际值填写。 accountid为IAM用户所属的账号ID。 username为要创建的IAM用户名。
beeline客户端报错“OutOfMemoryError” 问题背景与现象 beeline客户端查询大量数据时,报OutOFMemoryError:Java heap space,具体报错信息如下: org.apache.thrift.TException: Error in calling
重定向到配置的页面。 是 HTML5安全: 说明:HTML5是下一代的Web开发规范,为开发者提供了许多新的功能并扩展了标签。这些新的标签及功能增加了攻击面,存在被攻击的风险(例如跨域资源共享、客户端存储、WebWorker、WebRTC、WebSocket等)。 安全加固:添加
ZooKeeper > 实例”。查看ZooKeeper角色实例的IP地址。 MRS 3.x及后续版本,登录FusionInsight Manager,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。然后选择“集群 > 待操作的集群名称 > 服务 > ZooKeeper
x环境中调测HBase应用章节的2,以及1导出的Jar包,上传到Linux的“lib”目录。将准备连接HBase集群配置文件获取的配置文件及认证文件上传到Linux中“conf”目录。 在“/opt/test”根目录新建脚本“run.sh”,修改内容如下并保存: #!/bin/sh
x之前版本集群在集群创建后,在主Master节点默认安装有客户端,可以直接使用,安装目录为“/opt/client”。 MRS 3.x及之后版本客户端的安装请参考安装客户端(3.x及之后版本)。 如果集群外的节点已安装客户端且只需要更新客户端,请使用安装客户端的用户例如“root”。 在Core节点安装客户端
ratio计算获取。 MRS 3.x之前版本:-Xmx2048M -Djava.net.preferIPv4Stack=true MRS 3.x及之后版本: 集群已开启Kerberos认证:-Djava.net.preferIPv4Stack=true -Djava.net.prefe
ALM-38001 Kafka磁盘容量不足(2.x及以前版本) 告警解释 系统按60秒周期检测Kafka磁盘空间使用率,并把实际磁盘使用率和阈值相比较。磁盘使用率默认提供一个阈值范围。当检测到磁盘使用率高于阈值时产生该告警。 用户可通过“系统设置 > 阈值配置”修改阈值。 当Ka
使用KafkaStreams统计数据 功能简介 以下提供High level KafkaStreams API代码样例及Low level KafkaStreams API代码样例,通过Kafka Streams读取输入Topic中的消息,统计每条消息中的单词个数,从输出Topi
处理数据的方式。有两种实现方式可用:sort和hash。sort shuffle对内存的使用率更高,是Spark 1.2及后续版本的默认选项。Spark2.x及后续版本不支持hash。 SORT spark.shuffle.consolidateFiles (仅hash方式)如果
该批处理任务时,已经成功执行完成的任务不再重新执行,直接从HiveServer2宕机时正在运行的任务开始运行。 本章节适用于MRS 3.x及后续版本。 操作示例 beeline启动断线重连功能。 示例: beeline -e "${SQL}" --hivevar batchid=xxxxx
致频繁的分组,产生大量日志小文件消耗磁盘I/O。建议增大此值,例如改为“1000”或更大值。 父主题: 使用Spark2x(MRS 3.x及之后版本)
使用KafkaStreams统计数据 功能简介 以下提供High level KafkaStreams API代码样例及Low level KafkaStreams API代码样例,通过Kafka Streams读取输入Topic中的消息,统计每条消息中的单词个数,从输出Topi
Storm业务拓扑配置GC参数不生效 问题背景与现象 业务拓扑代码中配置参数topology.worker.childopts不生效,关键日志如下: [main] INFO b.s.StormSubmitter - Uploading topology jar /opt/jar/example
执行Kafka Topic创建操作时发现Partition的Leader显示为none 问题背景与现象 在使用Kafka客户端命令创建Topic时,发现创建Topic Partition的Leader显示为none。 [root@10-10-144-2 client]# kafka-topics
部分临时数据无法清空。 请确保Jar包和配置文件的用户权限与Flink客户端一致,例如都是omm用户,且权限为755。 MRS 3.2.1及以后版本使用-tm指定taskmanager内存不能小于4096MB。 运行DataStream(Scala和Java)样例程序。 在终端另