检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
jar命令提交任务后返回“GC overhead”报错 Yarn汇聚日志过大导致节点磁盘被占满 MapReduce任务异常,临时文件未删除 Yarn客户端的端口信息错误导致提交任务后报错connection refused 通过Yarn WebUI查看作业日志时提示“Could not access
Spark同时访问两个HBase样例程序 Spark同步HBase数据到CarbonData样例程序 使用Spark执行Hudi样例程序 Hudi的自定义配置项样例程序 父主题: Spark2x开发指南(安全模式)
运行MRS作业时如何读取OBS加密数据 HDFS对接OBS业务应用开发样例说明 MRS集群客户端如何通过AK/SK信息对接OBS 安装在集群外的MRS客户端如何访问OBS 访问MRS集群Manager(2.x及之前版本) MRS集群Core节点扩容成功后状态异常如何处理 父主题: 配置MRS集群存算分离
执行以下命令修改文件。 vim 客户端安装目录/zookeeper/conf/zoo.cfg 调大文件中参数“tickTime”,“syncLimit”的值。 例如调整“tickTime”为“3000”, “syncLimit”为“7”。 保存文件。 父主题: 使用Kafka
配置Controller与Agent间数据传输加密 配置受信任IP地址访问LDAP 加密HFile和WAL内容 配置HBase只读模式集群允许修改数据的IP白名单 配置LDAP输出审计日志 更新MRS集群加密密钥 更新MRS集群节点omm用户ssh密钥 修改MRS集群组件鉴权配置开关 配置MRS集群外节点用户访问普通模式集群资源
运行样例时提示Topic鉴权失败“TOPIC_AUTHORIZATION_FAILED” 解决步骤 向管理员申请该Topic的访问权限。 如果拥有权限后还是无法访问该Topic,使用管理员用户登录FusionInsight Manager,选择“集群 > 服务 > Kafka >
version命令发现文件不能正常查看,该文件损坏。 解决办法 执行hbase hbck -fixVersionFile命令修复文件。 如1不能解决,从同版本的其他集群中获取hbase.version文件上传进行替换。 重新启动HBase服务。 父主题: 使用HBase
创建大量znode后ZooKeeper Server启动失败 为什么ZooKeeper Server出现java.io.IOException: Len的错误日志 为什么ZooKeeper节点上netcat命令无法正常运行 如何查看哪个ZooKeeper实例是Leader 如何使用IBM JDK连接ZooKeeper
如下图可以看出,第三行hostname为controller-192-168-1-3节点和第四行hostname为eth0节点为同一RegionServer上报的信息,登录相应节点,查看/etc/hosts文件,发现,对应同一ip,配置两个hostname。如下: 解决办法 登录RegionServe
保存提交数据,出现类似报错:Invalid query parameter jobgroup id. cause: [jobgroup]。 原因 IE 11浏览器的某些版本在接收到HTTP 307响应时,会将POST请求转化为GET请求,从而使得POST数据无法下发到服务端。 解决建议 使用Google
保存提交数据,出现类似报错:Invalid query parameter jobgroup id. cause: [jobgroup]。 原因 IE 11浏览器的某些版本在接收到HTTP 307响应时,会将POST请求转化为GET请求,从而使得POST数据无法下发到服务端。 解决建议 使用Google
配置Flume非加密传输数据采集任务 生成Flume服务端和客户端的配置文件 使用Flume服务端从本地采集静态日志保存到Kafka 使用Flume服务端从本地采集静态日志保存到HDFS 使用Flume服务端从本地采集动态日志保存到HDFS 使用Flume服务端从Kafka采集日志保存到HDFS
process is not quit。 解决办法 登录节点,后台通过执行ps -ef | grep HRegionServer发现确实存在一个残留的进程。 确认进程可以终止后,使用kill命令终止该进程(如果kill无法终止该进程,需要使用kill -9来强制终止该进程)。 重新启动HBase服务成功。
执行以下命令编辑文件。 vim /opt/client/HDFS/component_env 调大参数“ export GC_OPTS_HDFS”的值,例如修改为“Xmx512m”。 保存文件。 执行以下命令重新加载环境变量。 source bigdata_env 父主题: 使用Yarn
配置Flume非加密传输数据采集任务 生成Flume服务端和客户端的配置文件 使用Flume服务端从本地采集静态日志保存到Kafka 使用Flume服务端从本地采集静态日志保存到HDFS 使用Flume服务端从本地采集动态日志保存到HDFS 使用Flume服务端从Kafka采集日志保存到HDFS
动,或者是网络原因,由于Sqoop迁移数据过程,MapReduce任务是运行在分析core节点,因此需要保证正常加载驱动类的情况下,保证源端数据库和集群节点的网络正常通信。 处理步骤 检查源端数据库端口对集群节点均放通。 若使用EIP公网通信,那么集群节点均需要绑定公网,尤其是分
error. 原因分析 出现该异常可能都是由于Knox线程数不足。 处理步骤 以root用户分别登录OMS主节点和备节点。 在主备OMS节点的gateway-site.xml文件中增加以下配置,适当增加线程池。 vi /opt/knox/conf/gateway-site.xml <property>
sh /tmp 执行命令vi $CONTROLLER_HOME/sbin/controller.sh,找到JVM_ARGS=所在行,在该行的下一行添加一行新内容: JVM_ARGS="$JVM_ARGS -Dfastjson.parser.safeMode=true" 使用omm
( column [, ...] ) ROLLUP ( column [, ...] ) 描述 从零个或多个表中检索行数据。 查询stu表的内容。 SELECT id,name FROM stu; 父主题: HetuEngine DQL SQL语法说明
jar”,与开源PgSQL服务不兼容导致报错。 处理步骤 用户在“pg_hba.conf”文件配置白名单。 驱动重复,集群自带,将其余驱动清除,所有Core节点上的gsjdbc4 jar包去掉,在sqoop/lib目录下添加PgSQL Jar包即可。 mv /opt/Bigdata/FusionInsi