-
MRS 2.1.0.11补丁说明 - MapReduce服务 MRS
解决Hive删除分区慢的问题 解决Spark 长时间运行Token过期问题 MRS 2.1.0.8 修复问题列表: MRS Manager 解决委托访问OBS,ECS接口限流问题 MRS Manager支持多人登录 支持全链路监控 MRS 大数据组件 carbon2.0升级 解决HBASE-18484问题 MRS
-
权限管理 - MapReduce服务 MRS
户仅能对集群进行指定的管理操作。如不允许某用户组删除集群,仅允许操作MRS集群基本操作,如创建集群、查询集群列表等。多数细粒度策略以API接口为粒度进行权限拆分,MRS支持的API授权项请参见权限策略和授权项。 如表1所示,包括了MRS的所有默认系统策略。 表1 MRS系统策略 策略名称
-
structured streaming功能与可靠性介绍 - MapReduce服务 MRS
支持Options 容错性 说明 File Sink Append Path:必须指定 指定的文件格式,参见DataFrameWriter中的相关接口 exactly-once 支持写入分区表,按时间分区用处较大 Kafka Sink Append, Update, Complete 参见:https://spark
-
structured streaming功能与可靠性介绍 - MapReduce服务 MRS
支持Options 容错性 说明 File Sink Append Path:必须指定 指定的文件格式,参见DataFrameWriter中的相关接口 exactly-once 支持写入分区表,按时间分区用处较大 Kafka Sink Append, Update, Complete 参见:https://spark
-
structured streaming功能与可靠性介绍 - MapReduce服务 MRS
支持Options 容错性 说明 File Sink Append Path:必须指定 指定的文件格式,参见DataFrameWriter中的相关接口 exactly-once 支持写入分区表,按时间分区用处较大 Kafka Sink Append, Update, Complete 参见:https://spark
-
structured streaming功能与可靠性介绍 - MapReduce服务 MRS
支持Options 容错性 说明 File Sink Append Path:必须指定 指定的文件格式,参见DataFrameWriter中的相关接口 exactly-once 支持写入分区表,按时间分区用处较大 Kafka Sink Append, Update, Complete 参见:https://spark
-
MRS作业简介 - MapReduce服务 MRS
MRS可以直接处理OBS中的数据,客户可以基于管理控制台Web界面和OBS客户端对数据进行浏览、管理和使用,同时可以通过REST API接口方式单独或集成到业务程序进行管理和访问数据。 用户创建作业前需要将本地数据上传至OBS系统,MRS使用OBS中的数据进行计算分析。当然MR
-
配置Spark应用安全认证 - MapReduce服务 MRS
程序命令中设置安全认证参数。 安全认证代码(Java版) 目前样例代码统一调用LoginUtil类进行安全认证。安全登录流程请参见安全认证接口章节。 在Spark样例工程代码中,不同的样例工程,使用的认证代码不同,基本安全认证或带ZooKeeper认证。样例工程中使用的示例认证参
-
配置Spark应用安全认证 - MapReduce服务 MRS
程序命令中设置安全认证参数。 安全认证代码(Java版) 目前样例代码统一调用LoginUtil类进行安全认证。安全登录流程请参见安全认证接口章节。 在Spark样例工程代码中,不同的样例工程,使用的认证代码不同,基本安全认证或带ZooKeeper认证。样例工程中使用的示例认证参
-
Spark2x多租户 - MapReduce服务 MRS
指定JDBCServer节点的URL。 “CLIENT_HOME”是指客户端路径。 多租户模式与非多租户模式两种模式的JDBCServer接口相比,除连接方式不同外其他使用方法相同。由于Spark JDBCServer是Hive中的HiveServer2的另外一个实现,其使用方法
-
HDFS应用开发规则 - MapReduce服务 MRS
apache.hadoop.fs”包中,这些API能够支持的操作包含:打开文件,读写文件,删除文件等。Hadoop类库中最终面向用户提供的接口类是FileSystem,该类是个抽象类,只能通过来类的get方法得到具体类。get方法存在几个重载版本,常用的是这个: static FileSystem
-
Storm基本原理 - MapReduce服务 MRS
功能丰富:CQL除了包含标准SQL的各类基本表达式等功能之外,还特别针对流处理场景增加了窗口、过滤、并发度设置等功能。 易于扩展:CQL提供了拓展接口,以支持日益复杂的业务场景,用户可以自定义输入、输出、序列化、反序列化等功能来满足特定的业务场景 易于调试:CQL提供了详细的异常码说明,降低了用户对各种错误的处理难度。
-
HBase基本原理 - MapReduce服务 MRS
制。 稀疏:表中为空(null)的列不占用存储空间。 MRS服务支持HBase组件的二级索引,支持为列值添加索引,提供使用原生的HBase接口的高性能基于列过滤查询的能力。 HBase结构 HBase集群由主备Master进程和多个RegionServer进程组成。如图1所示。 图1
-
常见概念 - MapReduce服务 MRS
数据库表中的一列或多列,提供了快速随机查找和有效访问有序记录的基础。 协处理器 HBase提供的在RegionServer执行的计算逻辑的接口。协处理器分两种类型,系统协处理器可以全局导入RegionServer上的所有数据表,表协处理器即是用户可以指定一张表使用协处理器。 Block
-
创建FlinkServer作业写入数据至HDFS文件系统 - MapReduce服务 MRS
success-file'。 sink.partition-commit.policy.class - String 用于实现分区提交策略接口的分区提交策略类。 仅在自定义提交策略中生效。 sink.partition-commit.success-file.name _SUCCESS
-
更新用户(组)与IAM委托的映射关系 - MapReduce服务 MRS
更新用户(组)与IAM委托的映射关系 功能介绍 更新用户(组)与IAM委托之间的映射关系。 接口约束 无 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/clusters/{cluster_id}/agency-mapping 表1 路径参数 参数
-
查询对应版本元数据 - MapReduce服务 MRS
1/{project_id}/metadata/versions/MRS%203.1.0 响应示例 状态码: 200 版本元数据详情。(该样例省略了部分内容,详细返回请调用接口查看) { "other" : { }, "name" : "MRS 3.1.0", "template_type" : "clusterFusion"
-
Spark应用开发常用概念 - MapReduce服务 MRS
由SQLContext及其子类可以方便的创建SparkSQL中的基本数据集DataFrame,DataFrame向上提供多种多样的编程接口,向下兼容多种不同的数据源,例如Parquet、JSON、Hive数据、Database、HBase等,这些数据源都可以使用统一的语法来读取。
-
购买自定义集群 - MapReduce服务 MRS
当节点的实例规格选项后标示“已售罄”时,将无法购买此规格的节点,请选择其他规格节点进行购买。 Master节点中的4核8GB规格不在SLA售后范围内,仅适用于测试环境,不建议用于生产环境。 MRS 3.x及之后版本集群Master节点规格不能小于64GB。 系统盘 节点系统盘的存储类型和存储空间。 存储类型:
-
MRS 3.1.0版本补丁说明 - MapReduce服务 MRS
h_Diskmgt_v2.1_20230502.tar.gz,补丁下载地址请参考补丁下载地址。 MRS支持作业返回日志路径 MRS作业查询接口,支持返回多个application_id 大数据组件 支持HDFS单副本检测能力 解决的问题 MRS 3.1.0.0.5 修复问题列表: