-
开发Hive用户自定义函数 - MapReduce服务 MRS
在项目中example目录下新建udf包,并编写AddDoublesUDF类,将项目打包(例如: AddDoublesUDF.jar),并上传到HDFS指定目录下(如“/user/hive_examples_jars/”)且创建函数的用户与使用函数的用户有该文件的可读权限。
-
FlinkIoTDBSource样例程序 - MapReduce服务 MRS
if ("true".equals(IOTDB_SSL_ENABLE)) { // set truststore.jks path System.setProperty("iotdb_ssl_truststore", "truststore文件路径
-
MapReduce任务运行失败,ApplicationMaster出现物理内存溢出异常 - MapReduce服务 MRS
解决方案: 将ApplicationMaster的内存配置调大,在客户端“客户端安装路径/Yarn/config/mapred-site.xml”配置文件中优化如下参数: “yarn.app.mapreduce.am.resource.mb” “yarn.app.mapreduce.am.command-opts
-
ALM-16002 Hive SQL执行成功率低于阈值 - MapReduce服务 MRS
打开日志文件查找“Result=FAIL”关键字筛选执行错误语句的日志信息,再根据日志信息中的“UserName”查看执行错误语句的用户。 输入正确的HQL语句,观察命令是否正确执行。 是,执行12。 否,执行4。 检查HBase服务是否异常。
-
添加Impala的Ranger访问权限策略 - MapReduce服务 MRS
如果HDFS Ranger策略可以匹配到Hive库表的文件或目录权限,则优先使用HDFS Ranger策略。 如果在Hive中创建的表,需要在Impala执行invalidate metadata刷新元数据。
-
配置Ranger安全区信息 - MapReduce服务 MRS
在“Select Resource Services”中选择服务后,需要在“Resource”列中添加具体的资源对象,例如HDFS服务器的文件目录、Yarn的队列、Hive的数据库及表、HBase的表及列。
-
Spark常用命令介绍 - MapReduce服务 MRS
示例:一行代码可以实现统计一个文件中所有单词出现的频次。
-
使用MRS Spark SQL访问DWS表 - MapReduce服务 MRS
登录GaussDB(DWS)管理控制台,单击左侧的“连接管理”,下载JDBC驱动,如下图所示: 解压,获取“gsjdbc200.jar”文件,并上传到MRS集群主Master节点,例如上传到“/tmp”目录下。
-
配置Ranger安全区信息 - MapReduce服务 MRS
在“Select Resource Services”中选择服务后,需要在“Resource”列中添加具体的资源对象,例如HDFS服务器的文件目录、Yarn的队列、Hive的数据库及表、HBase的表及列。
-
MapReduce任务运行失败,ApplicationMaster出现物理内存溢出异常 - MapReduce服务 MRS
解决方案: 将ApplicationMaster的内存配置调大,在客户端“客户端安装路径/Yarn/config/mapred-site.xml”配置文件中优化如下参数: “yarn.app.mapreduce.am.resource.mb” “yarn.app.mapreduce.am.command-opts
-
批量加载HBase数据并生成本地二级索引 - MapReduce服务 MRS
hdfs dfs -mkdir <inputdir> hdfs dfs -put <local_data_file> <inputdir> 例如定义数据文件“data.txt”,内容如下: 12005000201,Zhang San,Male,19,City a, Province
-
批量加载HBase数据并生成本地二级索引 - MapReduce服务 MRS
hdfs dfs -mkdir <inputdir> hdfs dfs -put <local_data_file> <inputdir> 例如定义数据文件“data.txt”,内容如下: 12005000201,Zhang San,Male,19,City a, Province
-
Flink常见参数说明 - MapReduce服务 MRS
20 选填 state.backend.rocksdb.files.open 最大打开文件数目,-1意味着没有限制,通过-yD添加。
-
运行HadoopStream作业 - MapReduce服务 MRS
该参数仅在JAR文件未指定其清单的类时需要。 com.bigdata.mrs.test 针对MRS 3.x及之后版本,运行程序参数不支持“-yn”。 表3 服务配置参数 参数 参数说明 取值样例 fs.obs.access.key 访问OBS的密钥ID。
-
Spark执行应用时上报“Connection to ip:port has been quiet for xxx ms while there are outstanding requests”并导致应用结束 - MapReduce服务 MRS
解决办法:在Spark客户端的“spark-defaults.conf”文件中或通过set命令行进行设置。
-
使用CDL从Opengauss同步数据到Hudi - MapReduce服务 MRS
观察数据传输是否生效,例如在opengauss数据库中对表进行插入数据操作,查看Hudi导入的文件内容。 父主题: 创建CDL作业
-
Spark执行应用时上报“Connection to ip:port has been quiet for xxx ms while there are outstanding requests”并导致应用结束 - MapReduce服务 MRS
解决办法:在Spark客户端的“spark-defaults.conf”文件中或通过set命令行进行设置。
-
HBase应用开发建议 - MapReduce服务 MRS
EndKey为rowB for(Result result : demoTable.getScanner(scan)) { // process Result instance } 不要关闭WAL WAL是Write-Ahead-Log的简称,是指数据在入库之前,首先会写入到日志文件中
-
未开启Kerberos认证集群中的默认用户清单 - MapReduce服务 MRS
ficommon MRS集群系统公共组,对应“compcommon”,可以访问集群在操作系统中保存的公共资源文件。 数据库用户 MRS集群系统数据库用户包含OMS数据库用户、DBService数据库用户。 数据库用户不能删除,否则可能导致集群或组件服务无法正常工作。
-
配置弹性伸缩指标 - MapReduce服务 MRS
路径可以是OBS文件系统的路径或虚拟机本地的路径。 OBS文件系统的路径,必须以obs://开头,以.sh结尾。例如:obs://mrs-samples/xxx.sh 虚拟机本地的路径,脚本所在的路径必须以‘/’开头,以.sh结尾。