-
资源监控 - MapReduce服务 MRS
单击配置空间监控,可以指定HDFS文件系统目录进行监控。 资源使用(按副本) 按副本数统计HDFS的资源使用情况。 可选择按“已使用容量”或“文件数”观察。 资源使用(按文件大小) 按文件大小统计HDFS的资源使用情况。 可选择按“已使用容量”或“文件数”观察。
-
StarRocks基本原理 - MapReduce服务 MRS
Observer Observer主要用于扩展集群的查询并发能力,可选部署。Observer不参与选主,不会增加集群的选主压力。 StarRocks基本概念 在StarRocks中,数据都以表(Table)的形式进行逻辑上的描述。
-
Java样例代码 - MapReduce服务 MRS
final String brokers = args[1]; final String topic = args[2]; SparkConf sparkConf = new SparkConf().setAppName("KafkaWriter"); // 配置
-
Spark Streaming对接Kafka0-10样例程序(Java) - MapReduce服务 MRS
KafkaWordCount"); JavaStreamingContext ssc = new JavaStreamingContext(sparkConf, new Duration(Long.parseLong(batchTime) * 1000)); //配置
-
Spark Streaming对接Kafka0-10样例程序(Java) - MapReduce服务 MRS
KafkaWordCount"); JavaStreamingContext ssc = new JavaStreamingContext(sparkConf, new Duration(Long.parseLong(batchTime) * 1000)); //配置
-
Spark Streaming对接Kafka0-10样例程序(Java) - MapReduce服务 MRS
KafkaWordCount"); JavaStreamingContext ssc = new JavaStreamingContext(sparkConf, new Duration(Long.parseLong(batchTime) * 1000)); //配置
-
Spark Streaming对接Kafka0-10样例程序(Java) - MapReduce服务 MRS
KafkaWordCount"); JavaStreamingContext ssc = new JavaStreamingContext(sparkConf, new Duration(Long.parseLong(batchTime) * 1000)); //配置
-
Java样例代码 - MapReduce服务 MRS
KafkaWordCount"); JavaStreamingContext ssc = new JavaStreamingContext(sparkConf, new Duration(Long.parseLong(batchSize) * 1000)); //配置
-
在本地Windows环境中调测MapReduce应用 - MapReduce服务 MRS
运行多组件样例程序 确保已将将user.keytab、hive-site.xml、hbase-site.xml、hiveclient.properties等配置文件放置到工程的“conf”目录下。
-
Flink应用开发简介 - MapReduce服务 MRS
DataStream Checkpoint 窗口 Job Pipeline 配置表 架构 Flink架构如图2所示。 图2 Flink架构 Flink整个系统包含三个部分: Client Flink Client主要给用户提供向Flink系统提交用户任务(流式作业)的能力。
-
Flink应用开发简介 - MapReduce服务 MRS
DataStream Checkpoint 窗口 Job Pipeline 配置表 结构 Flink结构如图2所示。 图2 Flink结构 Flink整个系统包含三个部分: Client Flink Client主要给用户提供向Flink系统提交用户任务(流式作业)的能力。
-
在本地Windows环境中调测ClickHouse应用(MRS 3.3.0及之后版本) - MapReduce服务 MRS
图2 复制配置文件绝对路径 使用clickhouse-example.properties路径替换Demo.java中getProperties()方法中proPath的路径。
-
查询集群节点列表 - MapReduce服务 MRS
deployment_type String 部署类型。支持Server主机类型。 server_info ServerInfo object 如果部署类型为Server类型,则该字段不为空。
-
Hive用户权限说明 - MapReduce服务 MRS
如果当前组件使用了Ranger进行权限控制,须基于Ranger配置相关策略进行权限管理,具体操作可参考添加Hive的Ranger访问权限策略。 Hive权限模型 使用Hive组件,必须对Hive数据库和表(含外表和视图)拥有相应的权限。
-
Flink应用开发简介 - MapReduce服务 MRS
DataStream Checkpoint 窗口 Job Pipeline 配置表 架构 Flink架构如图2所示。 图2 Flink架构 Flink整个系统包含三个部分: Client Flink Client主要给用户提供向Flink系统提交用户任务(流式作业)的能力。
-
Flink应用开发简介 - MapReduce服务 MRS
DataStream Checkpoint 窗口 Job Pipeline 配置表 架构 Flink架构如图2所示。 图2 Flink架构 Flink整个系统包含三个部分: Client Flink Client主要给用户提供向Flink系统提交用户任务(流式作业)的能力。
-
Hive应用开发简介 - MapReduce服务 MRS
如果当前组件使用了Ranger进行权限控制,需基于Ranger配置相关策略进行权限管理,具体操作可参考添加Hive的Ranger访问权限策略章节。 父主题: Hive开发指南(安全模式)
-
IAM用户同步MRS说明 - MapReduce服务 MRS
对于自定义用户,二次同步后用户的权限以Manager配置的权限为准。 系统用户:如果IAM用户所在用户组全部都绑定系统策略(RABC策略和细粒度策略均属于系统策略),则该用户为系统用户。 自定义用户:如果IAM用户所在用户组只要有绑定任何自定义策略,则该用户为自定义用户。
-
Hive用户权限说明 - MapReduce服务 MRS
MRS 3.x及后续版本支持Ranger,如果当前组件使用了Ranger进行权限控制,须基于Ranger配置相关策略进行权限管理,具体操作可参考添加Hive的Ranger访问权限策略。 Hive权限模型 使用Hive组件,必须对Hive数据库和表(含外表和视图)拥有相应的权限。
-
Spark Python API接口介绍 - MapReduce服务 MRS
pyspark.SparkConf:Spark应用配置类。如设置应用名称,执行模式,executor内存等。