检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flume日志介绍 日志描述 日志路径：Flume相关日志的默认存储路径为“/var/log/Bigdata/角色名”。 FlumeServer：“/var/log/Bigdata/flume/flume” FlumeClient：“/var/log/Bigdata/flume-client-n/flume”
Doris日志介绍 日志描述 日志路径：Doris相关日志的默认存储路径为“/var/log/Bigdata/doris/角色名”。 FE：“/var/log/Bigdata/doris/fe”（运行日志），“/var/log/Bigdata/audit/doris/fe”（审计日志）。
设置HBase和HDFS的句柄数限制 操作场景 当打开一个HDFS文件时，句柄数限制导出，出现如下错误： IOException (Too many open files) 此时可以参考该章节设置HBase和HDFS的句柄数。 设置HBase和HDFS的句柄数限制 联系集群管理员
IoTDB管理员权限：具有表1的所有权限。 表1 设置角色 任务场景 角色授权操作 设置IoTDB管理员权限 在“配置资源权限”的表格中选择“待操作集群的名称 > IoTDB”，勾选“IoTDB管理员权限”。 设置用户创建存储组的权限 在“配置资源权限”的表格中选择“待操作集群的名称
CDL日志介绍 日志描述 日志路径：CDL默认的日志存储路径为“/var/log/Bigdata/cdl/角色名简写”。 CDLService：“/var/log/Bigdata/cdl/service”（运行日志），“/var/log/Bigdata/audit/cdl/service”（审计日志）。
Flume日志介绍 日志描述 日志路径：Flume相关日志的默认存储路径为“/var/log/Bigdata/角色名”。 FlumeServer：“/var/log/Bigdata/flume/flume” FlumeClient：“/var/log/Bigdata/flume-client-n/flume”
Ranger日志介绍 日志描述 日志存储路径：Ranger相关日志的默认存储路径为“/var/log/Bigdata/ranger/角色名” RangerAdmin：“/var/log/Bigdata/ranger/rangeradmin”（运行日志），“/var/log/Big
Loader日志介绍 日志描述 日志存储路径：Loader相关日志的默认存储路径为“/var/log/Bigdata/loader/日志分类”。 runlog：“/var/log/Bigdata/loader/runlog”（运行日志） scriptlog：“/var/log/B
Loader日志介绍 日志描述 日志存储路径：Loader相关日志的默认存储路径为“/var/log/Bigdata/loader/日志分类”。 runlog：“/var/log/Bigdata/loader/runlog”（运行日志） scriptlog：“/var/log/B
schedule-tool工具使用指导 概述 schedule-tool工具，用于提交数据源为SFTP的作业。提交作业前可以修改输入路径、文件过滤条件，当目标源为HDFS时，可以修改输出路径。 参数说明 表1 schedule.properties配置参数说明 配置参数 说明 示例 server.url
文件最大打开句柄数设置太小导致读写文件异常 问题背景与现象 文件最大打开句柄数设置太小，导致文件句柄不足。写文件到HDFS很慢，或者写文件失败。 原因分析 DataNode日志“/var/log/Bigdata/hdfs/dn/hadoop-omm-datanode-XXX.log”，存在异常提示java
行度，充分利用集群机器的计算能力，一般并行度设置为集群CPU总和的2-3倍。 操作步骤 并行度可以通过如下三种方式来设置，用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数，优先级最高。 testRDD.groupByKey(24)
HBase日志介绍 日志描述 日志存储路径：HBase相关日志的默认存储路径为“/var/log/Bigdata/hbase/角色名”。 HMaster：“/var/log/Bigdata/hbase/hm”（运行日志），“/var/log/Bigdata/audit/hbase/hm”（审计日志）。
HDFS日志介绍 日志描述 日志存储路径：HDFS相关日志的默认存储路径为“/var/log/Bigdata/hdfs/角色名”。 NameNode：“/var/log/Bigdata/hdfs/nn”（运行日志），“/var/log/Bigdata/audit/hdfs/nn”（审计日志）。
Ranger日志介绍 日志描述 日志存储路径：Ranger相关日志的默认存储路径为“/var/log/Bigdata/ranger/角色名” RangerAdmin：“/var/log/Bigdata/ranger/rangeradmin”（运行日志）。 TagSync：“/va
HDFS日志介绍 日志描述 日志存储路径：HDFS相关日志的默认存储路径为“/var/log/Bigdata/hdfs/角色名”。 NameNode：“/var/log/Bigdata/hdfs/nn”（运行日志），“/var/log/Bigdata/audit/hdfs/nn”（审计日志）。
HBase日志介绍 日志描述 日志存储路径：HBase相关日志的默认存储路径为“/var/log/Bigdata/hbase/角色名”。 HMaster：“/var/log/Bigdata/hbase/hm”（运行日志），“/var/log/Bigdata/audit/hbase/hm”（审计日志）。
当文件写入程序的并行度大于1时，输出文件的路径下会创建一个目录，并将不同的结果文件（每个并行写程序任务）放入该目录。 设置为true，那么并行度为1的写入程序也将创建一个目录并将一个结果文件放入其中。 设置为false，则并行度为1的写入程序将直接在输出路径中创建文件，而不再创建目录。 false
输入文件数超出设置限制导致任务执行失败 问题背景与现象 Hive执行查询操作时报Job Submission failed with exception 'java.lang.RuntimeException(input file number exceeded the limits
HBase表如何设置和修改数据保留期？ 创建表时指定 创建t_task_log表，列族f, TTL设置86400秒过期 create 't_task_log',{NAME => 'f', TTL=>'86400'} 在已有表的基础上指定： alter "t_task_log",NAME=>'data'
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
