检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MapReduce常见问题 ResourceManager进行主备切换后,任务中断后运行时间过长 MapReduce任务长时间无进展 为什么运行任务时客户端不可用 在缓存中找不到HDFS_DELEGATION_TOKEN如何处理 如何在提交MapReduce任务时设置任务优先级
hadoop 0 2016-04-22 16:10 /user 创建请求上传命令,获取集群分配的可写入DataNode节点地址的信息Location。 执行如下命令访问HTTP: linux1:/opt/client # curl -i -X PUT --negotiate
N-Cluster模式启动一个新的JDBCServer。JDBCServer启动成功后,ProxyServer会获取JDBCServer的地址,并将Beeline连上JDBCServer。 客户端发送SQL语句给ProxyServer,ProxyServer将语句转交给真正连上的
步,非安全模式从Unix中同步。同步模式默认采取增量模式,每次同步周期UserSync只会更新新增或者变更的用户和用户组,当用户或者用户组被删除时,UserSync不会同步该变更到RangerAdmin,即RangerAdmin中不会同步删除。为了提高性能,UserSync也不会
es/flux-examples”目录下的“jdbc.properties”文件,根据实际环境信息修改相关参数。 #配置JDBC服务端IP地址 JDBC_SERVER_NAME= #配置JDBC服务端端口 JDBC_PORT_NUM= #配置JDBC登录用户名 JDBC_USER_NAME=
安全加固:响应头“Access-Control-Allow-Origin”头域默认配置为YARN集群ResourceManager的IP地址,如果源不是来自YARN的,则不能互相访问。 防范敏感信息泄露: 适用于MRS 3.x及之后版本。 说明:带有敏感数据的Web页面都应该禁
原来目录执行impala-shell时会产生某些系统变量或者参数无法找到的情况,所以连接impala-shell连接失败。 处理步骤 任意切换到存在的目录,重新连接impala-shell即可。 父主题: 使用Impala
图2 sparkPi作业 作业类型选择“SparkSubmit”。 作业名称为“sparkPi”。 执行程序路径配置为OBS上存放程序的地址。例如:obs://sparkpi/program/spark-examples_2.11-2.1.0.jar。 运行程序参数选择“--class”,值填写“org
图5 配置“Dependencies” 单击“Apply”,单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后,在IntelliJ IDEA选择“File > Settings
其中,各参数的含义如下: $Sqoop_Home:Sqoop的安装目录。 <driver_type>:数据库驱动类型。 <ip>:源集群数据库的IP地址。 <port>:源集群数据库的端口号。 <table_name>:待导出的表名称。 <user>:用户名。 <passwd>:用户密码。
运行日志。 切换到root用户,将拷贝进去的conf,kafka-examples-lib,logs目录修改为omm:wheel用户组所有,执行以下命令切换用户。 sudo su - root chown -R omm:wheel /opt/example/* 切换为omm用户,
Topic监控页签在Manager页面不显示如何处理? 问: Kafka Topic监控页签在Manager页面不显示怎么办? 答: 分别登录集群Master节点,并切换用户为omm。 进入目录“/opt/Bigdata/apache-tomcat-7.0.78/webapps/web/WEB-INF/li
pid 查看State是否处于Bypass状态,如果界面上的procedures一直处于RUNNABLE(Bypass)状态,需要进行主备切换。执行assigns命令使region重新上线。 hbase hbck -j 客户端安装目录/HBase/hbase/tools/hbase-hbck2-*
MapReduce常见问题 ResourceManager进行主备切换后,任务中断后运行时间过长 MapReduce任务长时间无进展 为什么运行任务时客户端不可用 在缓存中找不到HDFS_DELEGATION_TOKEN如何处理 如何在提交MapReduce任务时设置任务优先级
解决Manager跨越0点查询时,监控指标显示异常的问题。 解决Manager页面内核空间占用CPU百分比数值错误问题。 解决Manager页面主机线管监控页面切换到分布图后在切换时间段查看图标,图标的默认区间取值错误的问题。 解决主OMS的Gaussdb的进程占用内存较大的问题。 解决Manager组件自定
如果当前集群已启用Kerberos认证,请以root用户登录Core节点。 执行su - yarn_user命令切换到yarn_user用户。 如果当前集群已启用Kerberos认证,请执行 su - 提交作业的用户命令切换用户。 执行如下命令查看用户权限,文件所在路径请使用该文件的绝对路径。 ll <文件所在路径>
华为提供开源镜像站,各服务样例工程依赖的Jar包通过华为开源镜像站下载,剩余所依赖的开源Jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载,详情请参考配置华为开源镜像仓。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-Zip 16.04版本。 准备Python开发环境
SDK”为“SDKs”中添加的JDK。 图6 修改“Module SDK” 单击“Apply”,单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后,在IntelliJ IDEA选择“File > Settings
<subscribe-type> <topic> <checkpointLocation> 。 <brokers>指获取元数据的Kafka地址。 <subscribe-type> 指定kakfa的消费方式。 <topic>指要消费的kafka topic。 <checkpointLocation>
RPC端口默认为“8020”,不支持通过Manager修改。 如果本集群数据要备份至多个集群的HDFS中,可以继续配置对应的NameNode RPC地址至haclusterX1、haclusterX2、haclusterX3、haclusterX4。 保存配置并重启Yarn服务: MRS 2