-
创建Hue操作任务 - MapReduce服务 MRS
创建Hue操作任务 在Hue WebUI使用HiveQL编辑器 在Hue WebUI使用SparkSql编辑器 在Hue WebUI使用元数据浏览器 在Hue WebUI使用文件浏览器 在Hue WebUI使用作业浏览器 在Hue WebUI使用HBase 父主题: 使用Hue(MRS
-
执行Spark任务报内存不足告警如何处理? - MapReduce服务 MRS
执行Spark任务报内存不足告警如何处理? 问题现象 执行Spark任务就会报内存不足告警,告警id:18022,可用内存会陡降到0。 处理步骤 在SQL脚本前设置executor参数,限制executor的核数和内存。 例如设置如下: set hive.execution.engine=spark;
-
MRS 3.0.5.1补丁说明 - MapReduce服务 MRS
2021-08-14 解决的问题 MRS 3.0.5.1 修复问题列表: MRS Manager 解决SQL语句过长导致作业管理界面提交SparkSQL作业失败的问题 解决带有注释的SQL语句作业执行失败问题 大数据组件 解决ClickHouse集群IAM用户同步失败问题 解决集群内Flume客户端无法使用委托访问OBS问题
-
配置仅Hive管理员用户能创建库和在default库建表 - MapReduce服务 MRS
配置仅Hive管理员用户能创建库和在default库建表 操作场景 此功能适用于Hive,Spark2x/Spark。 开启此功能后,仅有Hive管理员可以创建库和在default库中建表,其他用户需通过Hive管理员授权才可使用库。 开启本功能之后,会限制普通用户新建库和在default库新建表。请
-
CREATE VIRTUAL SCHEMA - MapReduce服务 MRS
VIRTUAL SCHEMA(S) CREATE HetuEngine中的CREATE语句用来创建SCHEMA映射,通过映射信息对外开放本域数据源。 语法如下: CREATE VIRTUAL SCHEMA [ IF NOT EXISTS ] [ ctlg_dest.]schema_name
-
Spark并发写Hudi建议 - MapReduce服务 MRS
数。 不建议同分区内并发写,这种并发写入需要开启Hudi OCC方式并发写入,必须严格遵守并发参数配置,否则会出现表数据损坏的问题。 并发OCC参数控制: SQL方式: // 开启OCC set hoodie.write.concurrency.mode=optimistic_concurrency_control;
-
自定义Hive表行分隔符 - MapReduce服务 MRS
通常情况下,Hive以文本文件存储的表会以回车作为其行分隔符,即在查询过程中,以回车符作为一行表数据的结束符。但某些数据文件并不是以回车分隔的规则文本格式,而是以某些特殊符号分割其规则文本。 MRS Hive支持指定不同的字符或字符组合作为Hive文本数据的行分隔符,即在创建表的时候,指定inputformat为S
-
Hudi对接OBS文件系统 - MapReduce服务 MRS
_ import scala.collection.JavaConversions._ import org.apache.spark.sql.SaveMode._ import org.apache.hudi.DataSourceReadOptions._ import org
-
Spark故障排除 - MapReduce服务 MRS
Datasource Avro格式查询异常 通过Spark-sql创建Hudi表或者Hive表,未插入数据前,查询表统计信息为空 建表语句分区列为timestamp时,使用非标准格式的时间指定分区查询表统计失败 SQL语法兼容TIMESTAMP/DATE特殊字符 父主题: 使用Spark/Spark2x
-
访问Hue WebUI界面 - MapReduce服务 MRS
使用文档查看、导入、导出在Hue页面上操作的任务,例如保存的Workflow任务、定时任务、Bundle任务等。 使用表管理Hive、SparkSql中的元数据。需要MRS集群已安装Hive、Spark2x。 使用文件查看HDFS中的目录和文件。需要MRS集群已安装HDFS。 使用作业查看M
-
ALTER MATERIALIZED VIEW STATUS - MapReduce服务 MRS
物化视图第一次创建时的状态 SUSPEND:暂停使用状态,暂停使用的物化视图不会参与改写 ENABLE:可使用状态 REFRESHING:正在刷新物化视图数据,不可用于改写 DISABLE:关闭使用 示例 将“mv.default.mv1”的状态更新为“SUSPEND”。 alter materialized
-
Impala应用开发常用概念 - MapReduce服务 MRS
等将不会向该实例分发。 Catalog Catalog实例服务将每个Impalad实例上发生的元数据变动同步到集群内其他Impalad实例,从而避免在一个Impalad实例中更改元数据,其他各个实例需要执行REFRESH操作来更新。但是,在Hive中建表,修改表等,则需要执行REFRESH或者INVALIDATE
-
Hive企业级能力增强 - MapReduce服务 MRS
Hive企业级能力增强 配置Hive目录旧数据自动移除至回收站 配置Hive插入数据到不存在的目录中 配置创建Hive内部表时不能指定Location 配置用户在具有读和执行权限的目录中创建外表 配置基于HTTPS/HTTP协议的REST接口 配置Hive Transform功能开关
-
TABLESAMPLE - MapReduce服务 MRS
SYSTEM 此采样方法将表划分为数据的逻辑段,并按此粒度对表进行采样。此采样方法要么从特定数据段中选择所有行,要么跳过它(基于采样百分比与运行时计算的随机值之间的比较)。系统采样中行的选择依赖于使用的connector。例如,如果使用Hive数据源,这将取决于数据在HDFS上的布局。这种采样方法不能保证独立的抽样概率。
-
COMPACTION - MapReduce服务 MRS
COMPACTION 命令功能 压缩( compaction)用于在 MergeOnRead表将基于行的log日志文件转化为parquet列式数据文件,用于加快记录的查找。 命令格式 SCHEDULE COMPACTION on tableIdentifier |tablelocation;
-
Quantile digest函数 - MapReduce服务 MRS
Quantile digest(分位数摘要)是存储近似百分位信息的数据草图。HetuEngine中用qdigest表示这种数据结构。 函数 merge(qdigest) → qdigest 描述:将所有输入的qdigest数据合并成一个qdigest。 value_at_quantile(qdigest(T)
-
对同一目录创建多个外表,可能导致外表查询失败 - MapReduce服务 MRS
on denied异常。 回答 当userB对tableB执行insert操作后,会在外表数据路径下生成新的数据文件,且文件属组是userB,当userA查询tableA时,会读取外表数据目录下的所有的文件,此时会因没有userB生成的文件的读取权限而查询失败。 实际上,不只是查
-
Hive企业级能力增强 - MapReduce服务 MRS
Hive企业级能力增强 配置Hive表不同分区分别存储至OBS和HDFS 配置Hive目录旧数据自动移除至回收站 配置Hive插入数据到不存在的目录中 配置创建Hive内部表时不能指定Location 配置用户在具有读和执行权限的目录中创建外表 配置基于HTTPS/HTTP协议的REST接口
-
配置仅Hive管理员用户能创建库和在default库建表 - MapReduce服务 MRS
配置仅Hive管理员用户能创建库和在default库建表 操作场景 此功能在MRS 3.x之前版本适用于Hive,Spark。在MRS3.x及后续版本适用于Hive,Spark2x。 开启此功能后,仅有Hive管理员可以创建库和在default库中建表,其他用户需通过Hive管理员授权才可使用库。 开启
-
对同一目录创建多个外表,可能导致外表查询失败 - MapReduce服务 MRS
on denied异常。 回答 当userB对tableB执行insert操作后,会在外表数据路径下生成新的数据文件,且文件属组是userB,当userA查询tableA时,会读取外表数据目录下的所有的文件,此时会因没有userB生成的文件的读取权限而查询失败。 实际上,不只是查