-
如何获取Spark Jar包? - MapReduce服务 MRS
huaweicloud.com/),各服务样例工程依赖的jar包都可在华为开源镜像站下载,剩余所依赖的开源jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载。 本地环境使用开发工具下载依赖的jar包前,需要确认以下信息。 确认本地环境网络正常。 打开浏览器访问:华
-
新增并执行作业 - MapReduce服务 MRS
t,通过接口查询作业列表信息时作业类型请选择SparkSubmit。 HiveScript HiveSql DistCp,导入、导出数据。 SparkScript SparkSql Flink job_name 是 String 作业名称,只能由字母、数字、中划线和下划线组成,并且长度为1~64个字符。
-
ALM-45003 HetuEngine QAS磁盘容量不足 - MapReduce服务 MRS
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 磁盘容量不足会导致QAS写入数据失败,影响SQL诊断、自动物化视图推荐等功能的使用。 可能原因 告警阈值配置不合理。 HetuEngine QAS数据的磁盘配置无法满足业务需求,磁盘使用率达到上限。 处理步骤 检查阈值设置是否合理
-
配置Hudi分区并发控制 - MapReduce服务 MRS
/tb_test_cow") spark-sql开启分区并发写: set hoodie.support.partition.lock=true; insert into hudi_table1 select 1,1,1; 父主题: 数据管理维护
-
Flume常用配置参数 - MapReduce服务 MRS
的位置处,以读取最新的数据。 idleTimeout 120000 设置读取文件的空闲时间,单位:毫秒。如果在该时间内文件内容没有变更,关闭掉该文件,关闭后如果该文件有数据写入,重新打开并读取数据。 writePosInterval 3000 设置将元数据写入到文件的周期,单位:毫秒。
-
CREATE FUNCTION - MapReduce服务 MRS
atalog、schema概念无关联;“parameter_type”需要为HetuEngine支持的数据类型。 “return_type”需要为HetuEngine支持的数据类型,要与函数的返回实际类型匹配,不做类型强制转换。 可以指定一组特征来修饰函数并指定其行为,每个特征最多只能指定一次,详情请参考表1。
-
配置组件隔离访问Hive MetaStore - MapReduce服务 MRS
统一分配。 此功能仅限制各组件服务端访问的MetaStore实例,元数据未隔离。 暂不支持Flink,Flink任务均使用客户端配置,仍可连接所有MetaStore实例,不支持统一配置。 使用spark-sql执行任务时客户端直接连接MetaStore,隔离后需要更新客户端才可生效。
-
数据序列化 - MapReduce服务 MRS
序列化功能用在两个地方:序列化任务和序列化数据。Spark任务序列化只支持JavaSerializer,数据序列化支持JavaSerializer和KryoSerializer。 操作步骤 Spark程序运行时,在shuffle和RDD Cache等过程中,会有大量的数据需要序列化,默认使用Jav
-
Spark Core数据序列化 - MapReduce服务 MRS
序列化功能用在两个地方:序列化任务和序列化数据。Spark任务序列化只支持JavaSerializer,数据序列化支持JavaSerializer和KryoSerializer。 操作步骤 Spark程序运行时,在shuffle和RDD Cache等过程中,会有大量的数据需要序列化,默认使用Jav
-
MRS 2.1.0.6补丁说明 - MapReduce服务 MRS
Manager 解决磁盘IO利用率监控数据不准确问题 解决偶现spark作业状态未刷新问题 解决作业运行失败问题 优化补丁机制 MRS 大数据组件 解决HBase异常问题 解决Hive Role绑定权限卡顿问题 MRS 2.1.0.5 修复问题列表: MRS 大数据组件 impala支持ObsFileSystem功能
-
查看HetuEngine实例监控页面 - MapReduce服务 MRS
D Rows Task读取的总数据条数,单位为千(k)、百万(M),通过分析相同Stage阶段不同Task读取的条数可以快速判断当前任务是否存在数据倾斜 Rows/s Task每秒钟读取的数据条数,通过分析相同Stage阶段不同Task每秒中读取数据条数可以快速判断节点是否存在网络带宽差异,定位是否节点网卡存在问题
-
GROUP BY - MapReduce服务 MRS
设置为NUll。具有复杂分组语法(GROUPING SETS、CUBE或ROLLUP)的查询只从基础数据源读取一次,而使用UNION ALL的查询将读取基础数据三次。这就是当数据源不具有确定性时,使用UNION ALL的查询可能会产生不一致的结果的原因。 --创建一个航运表 create
-
如何开发Flume第三方插件 - MapReduce服务 MRS
d/thirdPlugin/native”放置本地库文件。 配置“Flume客户端安装目录/fusionInsight-flume-*/conf/properties.properties”文件。 具体properties.properties参数配置方法,参考配置Flume非加密传输数据采集任务和配置Flu
-
如何开发Flume第三方插件 - MapReduce服务 MRS
d/thirdPlugin/native”放置本地库文件。 配置“Flume客户端安装目录/fusionInsight-flume-*/conf/properties.properties”文件。 具体properties.properties参数配置方法,参考配置Flume非加密传输数据采集任务和配置Flu
-
MRS 1.9.0.7补丁说明 - MapReduce服务 MRS
Manager支持包周期集群指定节点缩容 MRS 大数据组件 解决Hivese提交sql卡顿问题 支持jobhistory查询失败信息接口 解决细粒度权限不生效问题 解决hive on Spark读取数据异常问题 解决Hive on mrs任务执行两次数据量增大问题 解决Hive开启矢量向量化查询有些字符串性能差问题
-
创建集群并执行作业 - MapReduce服务 MRS
Master和Core节点数据磁盘存储空间。为增大数据存储容量,创建集群时可同时添加磁盘。可以根据如下应用场景合理选择磁盘存储空间大小: 数据存储和计算分离,数据存储在OBS系统中,集群费用相对较低,计算性能不高,并且集群随时可以删除,建议数据计算不频繁场景下使用。 数据存储和计算不分离,数据存储在
-
MRS 2.1.0.5补丁说明 - MapReduce服务 MRS
解决的问题 MRS 2.1.0.5 修复问题列表: MRS 大数据组件 impala支持ObsFileSystem功能 支持MRS Manager页面以及组件原生页面超时时间可配置 解决Hive绑定权限卡顿问题 解决数据连接失败问题 MRS 2.1.0.3 修复问题列表: MRS Manager
-
转换函数 - MapReduce服务 MRS
返回表达式的数据类型名称。 SELECT typeof(123);-- integer SELECT typeof('cat');-- varchar(3) SELECT typeof(cos(2)+1.5);-- double 父主题: HetuEngine SQL函数和操作符说明
-
二进制函数和运算符 - MapReduce服务 MRS
concat(binary1, ..., binaryN) → varbinary 将binary1,binary2,binaryN串联起来。这个函数返回与SQL标准连接符||相同的功能。 select concat(X'32335F',x'00141f'); -- 32 33 5f 00 14 1f
-
CREATE TABLE AS - MapReduce服务 MRS
orders GROUP BY orderdate; 用和表orders具有相同schema创建新表empty_orders table,但是没数据: CREATE TABLE empty_orders AS SELECT * FROM orders WITH NO DATA; 使用VALUES