检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户配置的默认路径不正确。 处理步骤 登录任意Master节点。 修改Spark客户端目录下的配置文件。 执行vim 客户端安装目录/Spark/spark/conf/spark-defaults.conf命令,打开spark-defaults.conf文件,设置“spark.executor
HDFS上设置配额导致HBase启动失败 问题现象 HBase启动失败。 原因分析 查看HMaster日志信息(“/var/log/Bigdata/hbase/hm/hbase-omm-xxx.log”),出现如下异常,The DiskSpace quota of /hbase is
Hive日志介绍 日志描述 日志路径:Hive相关日志的默认存储路径为“/var/log/Bigdata/hive/角色名”,Hive1相关日志的默认存储路径为“/var/log/Bigdata/hive1/角色名”,以此类推。 HiveServer:“/var/log/Bigd
Hive日志介绍 日志描述 日志路径:Hive相关日志的默认存储路径为“/var/log/Bigdata/hive/角色名”,Hive1相关日志的默认存储路径为“/var/log/Bigdata/hive1/角色名”,以此类推。 HiveServer:“/var/log/Bigd
doSth(); } } Kerberos认证时需要配置Kerberos认证所需要的文件参数,主要包含keytab文件路径、Kerberos认证的用户名称、Kerberos认证所需要的客户端配置“krb5.conf”文件。 login()方法为调用hadoop
信的安全性。Kafka应用开发需要进行Kafka、ZooKeeper、Kerberos的安全认证,这些安全认证只需要生成一个jaas文件并设置相关环境变量即可。LoginUtil相关接口可以完成这些配置。 代码样例 此代码片段在com.huawei.bigdata.kafka.example
Policy”,为2新建的用户组添加相应OBS路径的“Read”和“Write”权限,OBS目录若不存在则需要提前创建,且不允许带通配符*。 图5 为Spark用户组赋予OBS路径的读和写权限 不支持对视图表进行级联授权。 仅支持对数据库/表进行级联授权操作,不支持对分区做级联权限,如果分区路径不在表路径下,则需要用户手动授权分区路径。
执行Kafka Topic设置ACL操作失败,提示“NoAuthException” 问题背景与现象 在使用Kafka客户端命令设置Topic ACL权限时,发现Topic无法被设置。 kafka-acls.sh --authorizer-properties zookeeper
怎么通过客户端设置Map/Reduce内存? 问题现象 客户端怎么设置Map/Reduce内存? 处理步骤 Hive在执行SQL语句前,可以通过set命令来设置Map/Reduce相关客户端参数。 以下为与Map/Reduce内存相关的参数: set mapreduce.map.memory
对接OBS场景中,spark-beeline登录后指定loaction到OBS建表失败 问题 对接OBS ECS/BMS集群,spark-beeline登录后,指定location到OBS建表报错失败。 图1 错误信息 回答 HDFS上ssl.jceks文件权限不足,导致建表失败。
在“客户端类型”选择“完整客户端”。 在“下载路径”选择“远端主机”。 将“主机IP”设置为新申请的弹性云服务器的IP地址,设置“主机端口”为“22”,并将“存放路径”设置为“/tmp”。 如果使用SSH登录ECS的默认端口“22”被修改,请将“主机端口”设置为新端口。 “保存路径”最多可以包含256个字符。
如何在提交MapReduce任务时设置任务优先级 问题 如何在提交MapReduce任务时设置任务优先级? 回答 当您在客户端提交MapReduce任务时,可以在命令行中增加“-Dmapreduce.job.priority=<priority>”参数来设置任务优先级。格式如下: yarn
如何在提交MapReduce任务时设置任务优先级 问题 如何在提交MapReduce任务时设置任务优先级? 回答 当您在客户端提交MapReduce任务时,可以在命令行中增加“-Dmapreduce.job.priority=<priority>”参数来设置任务优先级。格式如下: yarn
DBService日志介绍 日志描述 日志存储路径:DBService相关日志的默认存储路径为“/var/log/Bigdata/dbservice”。 gaussDB:“/var/log/Bigdata/dbservice/DB”(gaussDB运行日志目录),“/var/lo
在ZooKeeper中的存放数据的根路径,一般为:“/kafka/{topic}”,“id”表示应用的标示,如:app1。读取offset会有以下两种场景: 场景1 当拓扑运行后,KafkaSpout会将offset存放在ZooKeeper路径:“/{zkRoot}/{id}/{
IoTDB管理员权限:具有表1的所有权限。 表1 设置角色 任务场景 角色授权操作 设置IoTDB管理员权限 在“配置资源权限”的表格中选择“待操作集群的名称 > IoTDB”,勾选“IoTDB管理员权限”。 设置用户创建存储组的权限 在“配置资源权限”的表格中选择“待操作集群的名称
DBService日志介绍 日志描述 日志存储路径:DBService相关日志的默认存储路径为“/var/log/Bigdata/dbservice”。 gaussDB:“/var/log/Bigdata/dbservice/DB”(gaussDB运行日志目录),“/var/lo
CDL日志介绍 日志描述 日志路径:CDL默认的日志存储路径为“/var/log/Bigdata/cdl/角色名简写”。 CDLService:“/var/log/Bigdata/cdl/service”(运行日志),“/var/log/Bigdata/audit/cdl/service”(审计日志)。
Flume日志介绍 日志描述 日志路径:Flume相关日志的默认存储路径为“/var/log/Bigdata/角色名”。 FlumeServer:“/var/log/Bigdata/flume/flume” FlumeClient:“/var/log/Bigdata/flume-client-n/flume”
Ranger日志介绍 日志描述 日志存储路径:Ranger相关日志的默认存储路径为“/var/log/Bigdata/ranger/角色名” RangerAdmin:“/var/log/Bigdata/ranger/rangeradmin”(运行日志),“/var/log/Big