-
在Linux环境中调测ClickHouse应用(MRS 3.3.0及之后版本) - MapReduce服务 MRS
查看调测结果 ClickHouse应用程序运行完成后,可通过以下方式查看程序运行情况: 通过运行结果查看程序运行情况。 通过ClickHouse日志获取应用运行情况。 即查看当前jar文件所在目录的“logs/clickhouse-example.log”日志文件,例如“客户端安装目录/J
-
配置Container日志聚合功能 - MapReduce服务 MRS
会收集到HDFS中。 修改参数值后,需重启YARN服务使其生效。 说明: 在修改值为“false”并生效后,生效前的日志无法在WebUI中获取。 如果需要在WebUI界面上查看之前产生的日志,建议将此参数设置为“true”。 true yarn.nodemanager.log-aggregation
-
配置HBase主备集群容灾 - MapReduce服务 MRS
中的数据备份到另一个集群。支持HBase表普通写数据与Bulkload批量写数据场景下的容灾。 前提条件 主备集群都已经安装并启动成功,且获取集群的管理员权限。 必须保证主备集群间的网络畅通和端口的使用。 如果主集群部署为安全模式且不由一个FusionInsight Manage
-
配置MRS多用户访问OBS细粒度权限 - MapReduce服务 MRS
您只允许用户组A访问某一OBS文件系统中的日志文件,您可以执行以下操作来实现: 为MRS集群配置OBS访问权限的委托,实现使用ECS自动获取的临时AK/SK访问OBS。避免了AK/SK直接暴露在配置文件中的风险。 在IAM中创建一个只允许访问某一OBS文件系统中的日志文件的策略,并创建一个绑定该策略权限的委托。
-
Superior Scheduler REST API接口介绍 - MapReduce服务 MRS
业务IP获取。 端口:ResourceManager的HTTP端口。可登录FusionInsight Manager界面,选择“集群 > 服务 > Yarn > 配置 > 全部配置”搜索并查看“yarn.resourcemanager.webapp.port”参数值获取。 输入 无
-
导出Doris数据至HDFS - MapReduce服务 MRS
FE的查询连接端口,可以通过登录Manager,单击“集群 > 服务 > Doris > 配置”,查询Doris服务的“query_port”参数获取。 Doris FE实例IP地址可通过登录MRS集群的Manager界面,单击“集群 > 服务 > Doris > 实例”,查看任一FE实例的IP地址。
-
Hadoop离线数据分析集群快速入门 - MapReduce服务 MRS
准备Hadoop应用程序运行数据 wordcount是最经典的Hadoop作业,用于统计海量文本的单词数量。 MRS集群创建成功后,可获取集群客户端内的wordcount样例程序进行运行,也可准备上层业务自行开发的大数据应用程序并上传至集群。本指南以运行MRS集群客户端内的w
-
配置Container日志聚合功能 - MapReduce服务 MRS
会收集到HDFS中。 修改参数值后,需重启YARN服务使其生效。 说明: 在修改值为“false”并生效后,生效前的日志无法在WebUI中获取。 如果需要在WebUI界面上查看之前产生的日志,建议将此参数设置为“true”。 true yarn.nodemanager.log-aggregation
-
Superior Scheduler REST API接口介绍 - MapReduce服务 MRS
IP地址:可登录FusionInsight Manager界面,选择“集群 > 服务 > Yarn > 实例”查看任一ResourceManager的业务IP获取。 端口:ResourceManager的HTTPS端口。可登录FusionInsight Manager界面,选择“集群 > 服务 > Yarn
-
使用Hive加载HDFS数据并分析图书评分情况 - MapReduce服务 MRS
勾选“确认授权” 图1 购买Hadoop分析集群 单击“立即购买”,等待MRS集群创建成功。 图2 集群购买成功 将本地数据导入到HDFS中 在本地已获取某图书网站后台图书点评记录的原始数据文件“book_score.txt”,例如内容如下。 字段信息依次为:用户ID、图书ID、图书评分、备注信息。
-
HDFS C API接口介绍 - MapReduce服务 MRS
fprintf(stderr, "hdfsUtime- SUCCESS!, Set time success for %s\n",file); 获取文件信息。 hdfsFileInfo *fileInfo = NULL; if((fileInfo = hdfsGetPathInfo(fs
-
HDFS C API接口介绍 - MapReduce服务 MRS
fprintf(stderr, "hdfsUtime- SUCCESS!, Set time success for %s\n",file); 获取文件信息。 hdfsFileInfo *fileInfo = NULL; if((fileInfo = hdfsGetPathInfo(fs
-
Spark应用开发常用概念 - MapReduce服务 MRS
DStream(又称Discretized Stream)是Spark Streaming提供的抽象概念。 DStream表示一个连续的数据流,是从数据源获取或者通过输入流转换生成的数据流。从本质上说,一个DStream表示一系列连续的RDD。RDD一个只读的、可分区的分布式数据集。 DStre
-
编译并调测Flink应用 - MapReduce服务 MRS
Build”开始生成Jar包。 图5 Build 当Event log中出现如下类似日志时,表示Jar包生成成功。您可以从1.c中配置的路径下获取到Jar包。 21:25:43 Compilation completed successfully in 36 sec 将2中生成的Ja
-
窗口函数 - MapReduce服务 MRS
描述:从1开始,按照顺序,生成分组内记录的序列–比如,按照pv降序排列,生成分组内每天的pv名次ROW_NUMBER() 的应用场景非常多,再比如,获取分组内排序第一的记录。获取一个session中的第一条refer等。 SELECT cookieid, createtime, pv, ROW_NUMBER()
-
Sqoop对接外部存储系统 - MapReduce服务 MRS
-split-by<column-name> 表的列名,用来切分工作单元,一般后面跟主键ID。 -table <table-name> 关系数据库表名,数据从该表中获取。 -target-dir <dir> 指定hdfs路径。 -warehouse-dir <dir> 与-target-dir不能同时使用
-
缩容ClickHouseServer约束限制 - MapReduce服务 MRS
free_space列表示磁盘空闲空间,total_space列表示磁盘总空间,total_space-free_space大小即为磁盘已使用空间,获取的值均以字节为单位。 在退服节点执行上述命令,计算total_space-free_space磁盘已使用空间,得到退服节点数据量大小。 在
-
Sqoop客户端使用实践 - MapReduce服务 MRS
-split-by<column-name> 表的列名,用来切分工作单元,一般后面跟主键ID。 -table <table-name> 关系数据库表名,数据从该表中获取。 -target-dir <dir> 指定hdfs路径。 -warehouse-dir <dir> 与-target-dir不能同时使用
-
编译并调测Flink应用 - MapReduce服务 MRS
Build”开始生成Jar包。 图5 Build 当Event log中出现如下类似日志时,表示Jar包生成成功,您可以从1.c中配置的路径下获取到Jar包。 21:25:43 Compilation completed successfully in 36 sec 将2中生成的Ja
-
查询特定标签的集群列表 - MapReduce服务 MRS
nstances/action 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 tags 否 Array of TagWithMultiValue