检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/Spark2x/component_env MRS 3.3.0-LTS及之后的版本中,Spark2x服务改名为Spark,服务包含的角色名也有差异,例如JobHistory2x变更为JobHistory。相关涉及服务名称、角色名称的描述和操作请以实际版本为准。 kinit sparkuser 上传
ALTER TABLE COMPACTION 命令功能 ALTER TABLE COMPACTION命令将合并指定数量的segment为一个segment。这将提高该表的查询性能。 命令格式 ALTER TABLE[db_name.]table_name COMPACT 'MIN
特殊字符组成。 table_blocksize 数据文件的block大小。更多详细信息,请参考•Block大小。 注意事项 db_name为可选项。 示例 create table productdb.productSalesTable(id int,price int,productName
Alluxio Alluxio是一个面向基于云的数据分析和人工智能的数据编排技术。在MRS的大数据生态系统中,Alluxio位于计算和存储之间,为包括Apache Spark、Presto、Mapreduce和Apache Hive的计算框架提供了数据抽象层,使上层的计算应用可以通过统
HDFS是Apache的Hadoop项目的子项目,HBase利用Hadoop HDFS作为其文件存储系统。HBase位于结构化存储层,Hadoop HDFS为HBase提供了高可靠性的底层存储支持。除了HBase产生的一些日志文件,HBase中的所有数据文件都可以存储在Hadoop HDFS文件系统上。
SQL和DataFrame调优 Spark SQL join优化 INSERT...SELECT操作调优 父主题: Spark应用调优
client.block.write.locateFollowingBlock.retries的值来增加retry的次数,可以将值设置为6,那么中间睡眠等待的时间为400ms、800ms、1600ms、3200ms、6400ms、12800ms,也就是说close函数最多要50.8秒才能返回。
ClickHouse日志管理规则 日志路径 ClickHouse相关日志的默认存储路径为:“${BIGDATA_LOG_HOME}/clickhouse”。 ClickHouseServer运行相关日志:“/var/log/Bigdata/clickhouse/clickhouseServer/
problems.Please try again later. 原因分析 Hue浮动IP故障。 处理步骤 登录Manager页面,选择“集群 > 服务 > Hue > 配置”,搜索“HUE_FLOAT_IP”,查看Hue当前配置的浮动IP。 连接到Hue主实例节点,检查主实例是否绑定浮动IP网卡。
CLEAN FILES 命令功能 DELETE SEGMENT命令会将被删除的segments标识为delete状态;segment合并后,旧的segments状态会变为compacted。这些segments的数据文件不会从物理上删除。如果用户希望强制删除这些文件,可以使用CLEAN
如何判断某个服务是否使用了Ranger鉴权 问题 如何判断某个支持使用Ranger鉴权的服务当前是否启用了Ranger鉴权? 回答 登录FusionInsight Manager,选择“集群 > 服务 > 服务名称”,在服务详情页上继续单击“更多”,查看“启用Ranger鉴权”是否为可单击?
警恢复。 告警属性 告警ID 告警级别 可自动清除 12055 一般 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 提示用户证书文件即将过期,如果证书文件
because lease recovery is in progress. Try again later. 如果该文件的释放时间没有超过默认设置60s,原有客户端会继续持有该租约,则会发生AlreadyBeingCreatedException异常,实际上向客户端返回的是null,导致客户端出现如下异常:
because lease recovery is in progress. Try again later. 如果该文件的释放时间没有超过默认设置60s,原有客户端会继续持有该租约,则会发生AlreadyBeingCreatedException异常,实际上向客户端返回的是null,导致客户端出现如下异常:
数据库的名称。若未指定,选择当前默认数据库。 table_name 需要删除的表的名称。 注意事项 该命令中IF EXISTS和db_name为可选项。 示例 DROP INDEX if exists productNameIndexTable ON productdb.productSalesTable;
action为count时无此参数。如果action为filter默认为0。 取值范围: ≥0 默认取值: 不涉及 matches 否 Array of Match objects 参数解释: 搜索字段,key为要匹配的字段,如resource_name等。value为匹配的值。此
HDFS是Apache的Hadoop项目的子项目,HBase利用Hadoop HDFS作为其文件存储系统。HBase位于结构化存储层,Hadoop HDFS为HBase提供了高可靠性的底层存储支持。除了HBase产生的一些日志文件,HBase中的所有数据文件都可以存储在Hadoop HDFS文件系统上。
介绍怎么把DWS数据仓库服务中的表数据导出到CSV文件,再把CSV文件数据导入到ClickHouse表中。 前提条件 ClickHouse集群和实例状态正常。 DWS集群已创建,已获取到相关表所在的数据库用户名和密码。 已安装MRS客户端,例如安装目录为“/opt/client”
告警属性 告警ID 告警级别 是否自动清除 45639 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 应用名(适用于MRS 3.2.1及以后版本) 产生告警的应用名称。 任务名 产生告警的任务名称。 用户名 产生告警的用户名称。
自定义Flink log4j日志输出级别不生效 用户问题 MRS 3.1.0集群自定义Flink log4j日志级别不生效。 问题现象 在使用MRS 3.1.0集群Flink数据分析时,将“$Flink_HOME/conf”目录下的“log4j.properties”文件中日志级别修改为INFO级别日志。