检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CarbonData常见问题 为什么对decimal数据类型进行带过滤条件的查询时会出现异常输出? 如何避免对历史数据进行minor compaction? 如何在CarbonData数据加载时修改默认的组名? 为什么INSERT INTO CARBON TABLE失败? 为什么含转义字符的输入数据记录到Bad
功能。 然而,开启container日志聚合功能之后,其日志聚合至HDFS目录中,只能通过获取HDFS文件来查看日志。 开源Spark和Yarn服务不支持通过WebUI查看聚合后的日志。 父主题: Spark Core
),检查磁盘是否已经挂载在目录“DirName”上。 是,针对MRS 1.9.3.10及之后补丁版本集群,执行10。其他版本请手动清除告警,操作结束。 否,执行11。 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行11。 收集故障信息。 在MRS Manager界面,单击“系统设置
MRS组件jar包版本与集群对应关系说明 MRS 3.1.5 表1 MRS 3.1.5版本集群jar版本 组件 组件版本 jar版本 Flink 1.12.2 1.12.2-hw-ei-315008 Hive 3.1.0 3.1.0-hw-ei- 315008 Tez 0.9.2
当在Filter中使用Big Double类型数值时,过滤结果与Hive不一致 executor内存不足导致查询性能下降 父主题: 使用CarbonData(MRS 3.x及之后版本)
在告警详情页面单击“清除告警”,并继续观察该告警,查看同一块磁盘的告警是否会继续上报。 如果当前磁盘出现三次以上该告警,建议用户更换磁盘。 是,执行17。 否,操作结束。 更换磁盘。 在MRS Manager界面,单击“告警管理”。 查看该告警的详细信息,查看定位信息中对应的“主机名”字段和“磁
JDK版本不匹配导致启动spark-sql和spark-shell失败 问题背景与现象 JDK版本不匹配导致客户端启动spark-sql、spark-shell失败。 原因分析 在Driver端打印异常如下: Exception Occurs: BadPadding 16/02/22
server2.enable.doAs必须设置为false。 将此属性设置为false,查询将以hiveserver2进程运行的用户身份运行。 父主题: 使用CarbonData(MRS 3.x及之后版本)
huawei.clickhouse.examples.Demo 查看调测结果 ClickHouse应用程序运行完成后,可通过以下方式查看程序运行情况: 通过运行结果查看程序运行情况。 通过ClickHouse日志获取应用运行情况。 即查看当前jar文件所在目录的“logs/clickhouse-example
作业提交成功后默认为“已接受”状态,不需要用户手动执行作业。 查看作业执行结果。 进入“作业管理”页面,查看作业是否执行完成。 作业运行需要时间,作业运行结束后,刷新作业列表。 作业执行成功或失败后都不能再次执行,只能新增作业,配置作业参数后重新提交作业。 进入Yarn原生界面,查看作业输出信息。 进入“作业管理
登录服务页面: MRS 3.x之前版本,在MRS控制台单击集群名称,选择“组件管理 > Hue”。 MRS 3.x及后续版本,登录FusionInsight Manager,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本),选择“集群 > 服务 > Hue”。
y的过滤器中触发Select查询,则执行子查询,并将输出作为IN过滤器广播到左表,否则将执行SortMergeSemiJoin。建议在IN过滤器子查询未返回太多记录时启用此参数。例如,IN子句子查询返回10k或更少的记录时,启用此参数将更快地给出查询结果。 示例:select *
查看MRS集群补丁信息 查看集群组件的补丁信息。如果集群组件,如Hadoop或Spark等出现了异常,可下载补丁版本,修复问题。 登录MRS管理控制台。 选择“现有集群”,选中一集群并单击集群名,进入集群基本信息页面。 进入“补丁管理”页面,可查看当前MRS集群补丁信息。 补丁版本信息如下:
HANDLER_LOGFILE_SIZE Hue日志文件最大大小。 5MB - Hue自定义参数请参见表2。以下自定义参数仅MRS 3.1.2及之后版本适用。 表2 Hue自定义参数 配置参数 参数描述 dfs.customized.configs 添加全局hdfs-site.xml中用户自定义配置项
Spark运维管理 快速配置参数 常用参数 Spark2x日志介绍 调整Spark日志级别 配置WebUI上查看Container日志 获取运行中Spark应用的Container日志 配置Spark Eventlog日志回滚 配置WebUI上显示的Lost Executor信息的个数
MRS 2.1.0版本集群对Storm日志的大小有什么限制? 问: MRS 2.1.0版本的集群对Storm日志的大小有什么限制? 答: MRS 2.1.0版本的集群对Storm日志有不超过20G的限制,超出后会循环删除。 因为日志是保存在系统盘上,有空间限制。如需长期保存,则需要将日志挂载出来。
在页面中,查看JournalNode的“健康状态”是否为“良好”。 是,执行2.a。 否,执行1.e。 选择故障的JournalNode,单击“更多 > 重启实例”。查看JournalNode能否成功启动。 是,执行1.f。 否,执行5。 等待5分钟后,在“告警管理”页签,查看该告警是否恢复。
单击,选择HiveQL语句执行的引擎。 单击 开始执行HiveQL语句。 在命令输入框内输入show tables;,单击按钮,查看结果中有5创建的表hue_table。 父主题: 使用Hue(MRS 3.x之前版本)
用Filter查询 为了获取特定deviceinformationid的记录,可以运行以下命令。 select * from x1 where deviceinformationid='1010'; 在执行数据查询操作后,如果查询结果中某一列的结果含有中文字等非英文字符,会导致查询结果中
LOAD DATA 命令功能 LOAD DATA命令以CarbonData特定的数据存储类型加载原始的用户数据,这样,CarbonData可以在查询数据时提供良好的性能。 仅支持加载位于HDFS上的原始数据。 命令格式 LOAD DATA INPATH 'folder_path' INTO