检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
transport.TTransportException: java.net.SocketException: Broken pipe 原因分析 从外部存储(例如HDFS)导入数据时,由于目录下文件过多,导致列出文件目录超时。 处理步骤 登录FusionInsight Manager,选择“集群
Hue日志介绍 日志描述 日志路径:Hue相关日志的默认存储路径为“/var/log/Bigdata/hue”(运行日志),“/var/log/Bigdata/audit/hue”(审计日志)。 日志归档规则:Hue的日志启动了自动压缩归档功能,默认情况下,当“access.log”、“error
Tez日志介绍 日志描述 日志路径:Tez相关日志的默认存储路径为“/var/log/Bigdata/tez/角色名”。 TezUI:“/var/log/Bigdata/tez/tezui”(运行日志),“/var/log/Bigdata/audit/tez/tezui”(审计日志)。
描述 是否必填 table 需要查询表的表名,支持database.tablename格式 是 log_file_path_pattern log file的路径,支持正则匹配 否 merge 执行show_logfile_records时,通过merge控制是否将多个log file中的record合并在一起返回
Hue日志介绍 日志描述 日志路径:Hue相关日志的默认存储路径为“/var/log/Bigdata/hue”(运行日志),“/var/log/Bigdata/audit/hue”(审计日志)。 日志归档规则:Hue的日志启动了自动压缩归档功能,默认情况下,当“access.log”、“error
Tez日志介绍 本章节适用于MRS 3.x及后续版本。 日志描述 日志路径:Tez相关日志的默认存储路径为“/var/log/Bigdata/tez/角色名”。 TezUI:“/var/log/Bigdata/tez/tezui”(运行日志),“/var/log/Bigdata/
TEXTFILE类型文件使用ARC4压缩时查询结果乱码 问题现象 Hive查询结果表做压缩存储(ARC4),对结果表做select * 查询时返回结果为乱码。 可能原因 Hive默认压缩格式不是ARC4格式或者未开启输出压缩。 解决方案 在select结果乱码时,在beeline中进行如下设置。
ZooKeeper日志介绍 日志描述 日志存储路径:“/var/log/Bigdata/zookeeper/quorumpeer”(运行日志),“/var/log/Bigdata/audit/zookeeper/quorumpeer”(审计日志) 日志归档规则:ZooKeeper
singletonList(this.topic)); // 消息消费请求 ConsumerRecords<Integer, String> records = consumer.poll(waitTime); // 消息处理
表1 SHOW SEGMENTS FOR TABLE参数描述 参数 描述 db_name Database名,若未指定,则使用当前database。 table_name 在给定database中的表名。 number_of_loads 加载数的限制。 注意事项 无。 示例 create
表1 SHOW SEGMENTS FOR TABLE参数描述 参数 描述 db_name Database名,如果未指定,则使用当前database。 table_name 在给定database中的表名。 number_of_loads 加载数的限制。 注意事项 无。 示例 create
详细介绍请参见通过成本标签维度查看成本分配。 使用成本单元进行成本分配 企业可以使用成本中心的“成本单元”来拆分公共成本。公共成本是指多个部门共享的计算、网络、存储或资源包产生的云成本,或无法直接通过企业项目、成本标签分配的云成本。这些成本不能直接归属于单一所有者,因此不能直接归属到某一类别。使用拆分
汇总在一个时间窗口内每个女性上网时间 JavaPairDStream<String, Integer> aggregateRecords = JavaPairDStream.fromJavaDStream(femaleRecords) .reduceByKeyAndWindow(new
ConsumerRecords<String, String> records = consumer.poll(waitTime); for (ConsumerRecord<String, String> record : records) {
[db_name.]table_name; 参数描述 表1 DROP TABLE参数描述 参数 描述 db_name Database名称。如果未指定,将选择当前database。 table_name 需要删除的Table名称。 注意事项 在该命令中,IF EXISTS和db_name是可选配置。
// 2.获取每一个行的字段属性 val records = lines.map(getRecord) // 3.筛选女性网民上网时间数据信息 val femaleRecords = records.filter(_._2 == "female")
根据权限适用范围的不同,将库表的权限分为以下四个层级: CATALOG LEVEL:数据目录(Catalog)级权限。被授予的权限适用于指定Catalog中的任意库表。 DATABASE LEVEL:数据库级权限。被授予的权限适用于指定数据库中的任意表。 TABLE LEVEL:表级权限。被授予的权限适用于指定数据库中的指定表。
在关系列表的“操作”列可以对已添加的关系进行编辑和删除。 对于没有配置在OBS权限控制的用户,且没有配置AK、SK时,将以集群配置的委托在“对象存储服务”项目下所拥有的权限访问OBS。 无论用户是否配置OBS权限控制,只要配置AK、SK时,将以AK、SK的权限访问OBS。 映射关系的修
Hive SQL运行变慢阶段如何排查 场景说明 对于一个Hive SQL任务,如果运行时间突然变长,可能有多种原因造成,如HiveServer编译变慢、访问HDFS变慢、访问Yarn变慢或访问元数据变慢。 操作步骤 以下为Hive SQL在哪个阶段执行变慢的排查方法: HiveServer编译变慢
'scan.records-per-second.limit' = '1000' #真实的限流流量如下 min( parallelism * scan.records-per-second.limit,partitions num * scan.records-per-second