-
Sqoop对接外部存储系统 - MapReduce服务 MRS
com.mysql.jdbc.Driver”,如图1所示,则表示缺少MySQL驱动包,需在MySQL官网下载对应MySQL驱动包,解压并上传至“客户端安装目录/Sqoop/sqoop/lib”目录下,再执行Sqoop导入或导出数据命令即可 图1 缺少MySQL驱动包报错 父主题: MRS集群组件对接OBS(基于委托)
-
安装客户端(3.x及之后版本) - MapReduce服务 MRS
x及之后版本)访问Manager,单击“集群”在“概览”选择“更多 > 下载客户端”,弹出“下载集群客户端”提示框,选择相关下载参数后单击“确定”。 图1 下载客户端 在Manager主页下载的客户端软件包,包含了集群内所有服务(除Flume之外)的客户端。如果只需要安装单个服务的客户端,请选择“集群
-
Spark读写Hudi开发规范 - MapReduce服务 MRS
只读两次commit之间的数据。不是全表扫描,比通过where条件取两次commit之前的数据效率要高很多。 read_optimized 读优化视图。 只读取表里面parquet文件中的数据, 对于mor表来说,新增数据会写到log里面,故该模式读取的数据不是最新的。 SparkSQL:
-
使用Oozie调度Spark访问HBase以及Hive - MapReduce服务 MRS
SessionStateUserGroupAuthenticator”。 执行以下命令创建Hive表。 可以在Hue UI里hive面板里面直接输入以下的SQL。 图1 执行Hive SQL命令 CREATE DATABASE test; CREATE TABLE IF NOT EXISTS `test`
-
ALM-14010 NameService服务异常 - MapReduce服务 MRS
” “Safe mode is ON.”表示安全模式已打开,后面的提示信息为告警信息,根据实际情况展现。 是,执行21。 否,执行24。 图1 Overview 以root用户登录客户端,用户密码为安装前用户自定义,请咨询系统管理员。执行cd命令进入客户端安装目录,然后执行source
-
从零开始使用Spark SQL - MapReduce服务 MRS
OBS路径:obs://sparksql/input/sparksql-test.txt HDFS路径:/user/userinput 图1 从OBS导入数据至HDFS 提交Spark SQL语句。 在MRS控制台选择“作业管理”,具体请参见运行Spark作业。 只有“mrs_
-
调测Hive HCatalog样例程序 - MapReduce服务 MRS
在IDEA界面左下方找到Terminal,单击进入终端,执行mvn clean install进行编译 当输出“BUILD SUCCESS”,表示编译成功,如下图所示。编译成功后将会在样例工程的target下生成含有“hcatalog-example-*.jar”包。 以上jar包名称仅供参考,具体名称以实际生成为主。
-
调测HCatalog样例程序 - MapReduce服务 MRS
在IDEA界面左下方找到Terminal,单击进入终端,执行mvn clean install进行编译 当输出“BUILD SUCCESS”,表示编译成功,如下图所示。编译成功后将会在样例工程的target下生成含有“hcatalog-example-*.jar”包。 以上jar包名称仅供参考,具体名称以实际生成为主。
-
ALM-12033 慢盘故障(2.x及以前版本) - MapReduce服务 MRS
x及以前版本: 当前慢盘故障告警的检查原理为: 在Linux平台上判断IO是否存在问题,输入命令iostat -x -t 1,观察svctm的值(如图所示红色框中的部分)。 svctm值表示该磁盘IO服务时间。 MRS 1.9.3.10及之后的补丁版本: svctm的获取方法: svctm
-
Sqoop客户端使用实践 - MapReduce服务 MRS
com.mysql.jdbc.Driver”,如图1所示,则表示缺少MySQL驱动包,需在MySQL官网下载对应MySQL驱动包,解压并上传至“客户端安装目录/Sqoop/sqoop/lib”目录下,再执行Sqoop导入或导出数据命令即可 图1 缺少MySQL驱动包报错 父主题: 使用Sqoop
-
准备连接Hive集群配置文件 - MapReduce服务 MRS
OPTION的权限。 ALTER VIEW view_name RENAME TOnew_view_name 是视图view_name的所有者。 DROP VIEW view_name 是视图view_name的所有者。 FUNCTION CREATE [TEMPORARY] FUNCTION
-
创建Hive角色 - MapReduce服务 MRS
“Hive读写权限”:Hive数据表管理权限,可设置与管理已创建的表的数据操作权限。 Hive角色管理支持授予管理员权限、访问库、表和视图的权限。 Hive管理员权限不支持管理HDFS的权限。 如果数据库中的表或者表中的文件数量比较多,在授权时可能需要等待一段时间。例如表的文件数量为1万时,可能需要等待2分钟。
-
创建SparkSQL角色 - MapReduce服务 MRS
“Hive读写权限”:Hive数据表管理权限,可设置与管理已创建的表的数据操作权限。 Hive角色管理支持授予Hive管理员权限、访问表和视图的权限,不支持数据库的授权。 Hive管理员权限不支持管理HDFS的权限。 如果数据库中的表或者表中的文件数量比较多,在授权时可能需要等待一
-
ALM-12180 磁盘卡IO(2.x及以前版本) - MapReduce服务 MRS
第二次采集的数据中,第4列的数字是“rd_ios_new”,第8列的数字是“wr_ios_new”,第13列的数字是“tot_ticks_new”。 则上图中svctm值为: (19571460 - 19569526) / (1101553 + 28747977 - 1101553 - 28744856)
-
Storm业务拓扑配置GC参数不生效 - MapReduce服务 MRS
worker.childopts,则该参数会与服务端参数worker.gc.childopts共同配置,但是后面的相同参数会将前面的覆盖掉,如上面图有两个-Xmx,-Xmx1G会覆盖掉-Xmx4096m。 如果配置了topology.worker.gc.childopts则服务端参数worker
-
ClickHouse基本原理 - MapReduce服务 MRS
tabase Management System),基本功能如下所示。 DDL (数据定义语言):可以动态地创建、修改或删除数据库、表和视图,而无须重启服务。 DML(数据操作语言):可以动态查询、插入、修改或删除数据。 权限控制:可以按照用户粒度设置数据库或者表的操作权限,保障数据的安全性。
-
Flume日志采集概述 - MapReduce服务 MRS
流程如下所示。 安装Flume客户端。 配置Flume服务端和客户端参数。 查看Flume客户端收集日志。 停止及卸载Flume客户端。 图1 Flume使用流程 Flume模块介绍 Flume客户端/服务端由一个或多个Agent组成,而每个Agent是由Source、Chann
-
创建SparkSQL角色 - MapReduce服务 MRS
“Hive读写权限”:Hive数据表管理权限,可设置与管理已创建的表的数据操作权限。 Hive角色管理支持授予Hive管理员权限、访问表和视图的权限,不支持数据库的授权。 Hive管理员权限不支持管理HDFS的权限。 如果数据库中的表或者表中的文件数量比较多,在授权时可能需要等待一
-
CDL数据集成概述 - MapReduce服务 MRS
ervice是负责管理和创建任务的实例。 CDL支持在CDLService WebUI界面创建数据同步任务和数据比较任务,使用流程如图1所示。 图1 CDL使用流程 数据同步任务 CDL支持的数据同步任务类型: 表1 CDL支持的数据同步任务类型 数据源 目的端 描述 MySQL
-
Flink异步Checkpoint Java样例代码 - MapReduce服务 MRS
total += count; collector.collect(total); } } 应用代码 该段代码是流图定义代码,具体实现业务流程,另外,代码中窗口的触发时间使用了processing time。 1 2 3 4 5 6 7 8