-
配置ZooKeeper ZNode ACL - MapReduce服务 MRS
本文所有涉及sasl方式的鉴权操作均是在安全集群中进行。
-
Kafka相关特性说明 - MapReduce服务 MRS
社区开放了ReplicaSelector接口来支持此特性,MRS Kafka中默认提供两种实现此接口的方式。 RackAwareReplicaSelector:优先从相同机架的副本进行消费(机架内就近消费特性)。
-
典型场景:从Hive导出数据到关系型数据库 - MapReduce服务 MRS
表3 算子输入、输出参数设置 输入类型 输出类型 Hive输入 表输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,设置数据保存方式。 表4 输出设置参数 参数名 说明 示例 架构名称 数据库模式名。
-
使用Spark客户端创建CarbonData表 - MapReduce服务 MRS
在Spark-shell上使用CarbonData 用户若需要在Spark-shell上使用CarbonData,需通过如下方式创建CarbonData Table,加载数据到CarbonData Table和在CarbonData中查询数据的操作。
-
Kafka相关特性说明 - MapReduce服务 MRS
社区开放了ReplicaSelector接口来支持此特性,MRS Kafka中默认提供两种实现此接口的方式。 RackAwareReplicaSelector:优先从相同机架的副本进行消费(机架内就近消费特性)。
-
使用Spark客户端创建CarbonData表 - MapReduce服务 MRS
在Spark-shell上使用CarbonData 用户如果需要在Spark-shell上使用CarbonData,需通过如下方式创建CarbonData Table,加载数据到CarbonData Table和在CarbonData中查询数据的操作。
-
Hive表支持级联授权功能 - MapReduce服务 MRS
创建一个表“test”,该表的Location为“obs://obs-test/test/数据库名/表名”: create table test(name string) location "obs://obs-test/test/数据库名/表名"; 配置Hive基于MetaStore方式对接
-
Flink应用开发简介 - MapReduce服务 MRS
Flink开发接口简介 Flink DataStream API提供Scala和Java两种语言的开发方式,如表1所示。 表1 Flink DataStream API接口 功能 说明 Scala API 提供Scala语言的API,提供过滤、join、窗口、聚合等数据处理能力。
-
配置HDFS同分布策略(Colocation) - MapReduce服务 MRS
2 创建一批新的locators,并重新规划数据存放方式。 旧的locators使用的是旧的数据节点,而新创建的locators偏重使用新的数据节点,所以需要根据实际业务对数据的使用需求,重新规划locators的使用。
-
准备Spark连接集群配置文件 - MapReduce服务 MRS
如果当前节点与MRS集群所在网络平面不互通,可以通过绑定EIP的方式访问MRS集群。 Windows本地hosts文件存放路径举例:“C:\WINDOWS\system32\drivers\etc\hosts”。 场景二:准备Linux环境运行程序所需配置文件。
-
配置HDFS同分布策略(Colocation) - MapReduce服务 MRS
2 创建一批新的locators,并重新规划数据存放方式。 旧的locators使用的是旧的数据节点,而新创建的locators偏重使用新的数据节点,所以需要根据实际业务对数据的使用需求,重新规划locators的使用。
-
配置HDFS同分布策略(Colocation) - MapReduce服务 MRS
2 创建一批新的locators,并重新规划数据存放方式。 旧的locators使用的是旧的数据节点,而新创建的locators偏重使用新的数据节点,所以需要根据实际业务对数据的使用需求,重新规划locators的使用。
-
ALM-24001 Flume Agent异常 - MapReduce服务 MRS
ketab路径查看方式:cat properties.properties | grep keytab 将步骤18中kerberosKeytab参数的值指定为用户自定的keytab路径,执行21。
-
添加集群/节点标签 - MapReduce服务 MRS
弹性伸缩方式为节点自动增加节点标签 配置弹性伸缩策略时添加标签,MRS会自动为新扩容的节点加上该标签,并将标签同步至云服务器和云硬盘。 登录MRS管理控制台。 在左侧导航栏中选择“现有集群”。选中一个运行中的集群并单击集群名称,进入集群基本信息页面。
-
导入导出数据 - MapReduce服务 MRS
MRS可以直接处理OBS中的数据,客户可以基于管理控制台Web界面和OBS客户端对数据进行浏览、管理和使用,同时可以通过REST API接口方式单独或集成到业务程序进行管理和访问数据。 用户创建作业前需要将本地数据上传至OBS系统,MRS使用OBS中的数据进行计算分析。
-
Flink应用开发简介 - MapReduce服务 MRS
Flink开发接口简介 Flink DataStream API提供Scala和Java两种语言的开发方式,如表1所示。
-
配置HDFS同分布策略(Colocation) - MapReduce服务 MRS
2 创建一批新的locators,并重新规划数据存放方式。 旧的locators使用的是旧的数据节点,而新创建的locators偏重使用新的数据节点,所以需要根据实际业务对数据的使用需求,重新规划locators的使用。
-
典型场景:从HBase导出数据到关系型数据库 - MapReduce服务 MRS
表3 算子输入、输出参数设置 输入类型 输出类型 HBase输入 表输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,设置数据保存方式。 表4 输出设置参数 参数名 说明 示例 架构名称 数据库模式名。
-
ClickHouse应用开发建议 - MapReduce服务 MRS
use_minimalistic_part_header_in_zookeeper:ZooKeeper中数据存储是否启动新版本的优化存储方式。
-
ALM-38011 Broker上用户连接数使用率超过设定阈值 - MapReduce服务 MRS
将用户添加到白名单,需要重启Kafka服务,这样会中断服务导致业务受影响,因此如果要采用这种方式,必须和业务侧确认后才能进行。