-
MRS各组件样例工程汇总 - MapReduce服务 MRS
帮助用户理解认证、配置加载等关键使用方式。 Presto presto-examples 该样例工程提供以下JDBC/HCatalog样例程序: Presto JDBC处理数据Java示例程序。 本工程使用JDBC接口连接Presto,在Presto中执行相关数据操作。
-
Spark Java API接口介绍 - MapReduce服务 MRS
SparkConf:Spark应用配置类,如设置应用名称,执行模式,executor内存等。 JavaRDD:用于在java应用中定义JavaRDD的类,功能类似于scala中的RDD(Resilient Distributed Dataset)类。
-
策略及授权项说明 - MapReduce服务 MRS
clusters/{cluster_id}/sql-execution mrs:sql:execute √ √ 获取所有的弹性伸缩策略 GET/v2/{project_id}/autoscaling-policy/{cluster_id} mrs:cluster:policy √ √ 配置弹性伸缩规则
-
Spark Java API接口介绍 - MapReduce服务 MRS
SparkConf:Spark应用配置类,如设置应用名称,执行模式,executor内存等。 JavaRDD:用于在java应用中定义JavaRDD的类,功能类似于scala中的RDD(Resilient Distributed Dataset)类。
-
Spark Java API接口介绍 - MapReduce服务 MRS
SparkConf:Spark应用配置类,如设置应用名称,执行模式,executor内存等。 JavaRDD:用于在java应用中定义JavaRDD的类,功能类似于scala中的RDD(Resilient Distributed Dataset)类。
-
CREATE MATERIALIZED VIEW - MapReduce服务 MRS
可通过设置need_auto_refresh为true,创建具备自动刷新能力的物化视图,它会自动创建并提交物化视图刷新任务,在此基础上,可对refresh_duration,start_refresh_ahead_of_expiry,refresh_priority等属性做进一步配置来调整自动刷新任务
-
Spark Java API接口介绍 - MapReduce服务 MRS
SparkConf:Spark应用配置类,如设置应用名称,执行模式,executor内存等。 JavaRDD:用于在java应用中定义JavaRDD的类,功能类似于scala中的RDD(Resilient Distributed Dataset)类。
-
ClickHouse概述 - MapReduce服务 MRS
Enum 保存 'string'= integer 的对应关系,例如:Enum8('hello' = 1, 'world' = 2) Enum16 Enum16 取值范围:【-32768,32767】 可为空 Nullable Nullable 除非在ClickHouse服务器配置中另有说明
-
调整集群节点 - MapReduce服务 MRS
用户不需要配置。 表3 ClusterScalingParams 参数 是否必选 参数类型 描述 order_id 否 String 扩容/缩容时系统获取的订单号,用户不需要配置。
-
费用账单 - MapReduce服务 MRS
输入4查询到的弹性云服务器的ID,单击图标即可搜索集群节点的费用: 图4 查看集群节点的费用 场景示例:核对资源用量是否与实际相符 假设用户在2023/07/24 14:38:04购买了按需计费的MRS普通版集群,并在2023/07/24 15:38:04时刻将其删除,该集群的规格配置为
-
查询单个作业信息 - MapReduce服务 MRS
properties String 配置参数,用于传-d参数。最多为2048字符,不能包含><|'`&!\特殊字符,可为空。 app_id String 实际作业编号。 tracking_url String 日志链接地址。当前仅SparkSubmit作业支持该参数。
-
ClickHouse概述 - MapReduce服务 MRS
Enum 保存 'string'= integer 的对应关系,例如:Enum8('hello' = 1, 'world' = 2) Enum16 Enum16 取值范围:【-32768,32767】 可为空 Nullable Nullable 除非在ClickHouse服务器配置中另有说明
-
ClickHouse表创建 - MapReduce服务 MRS
(可选的)分片键(sharding key) 该键与config.xml中配置的分片权重(weight)一同决定写入分布式表时的路由,即数据最终落到哪个物理表上。它可以是表中一列的原始数据(如site_id),也可以是函数调用的结果,如上面的SQL语句采用了随机值rand()。
-
Flink基本原理 - MapReduce服务 MRS
图1 Flink技术栈 Flink在当前版本中重点构建如下特性: DataStream Checkpoint 窗口 Job Pipeline 配置表 其他特性继承开源社区,不做增强,具体请参考:https://ci.apache.org/projects/flink/flink-docs-release
-
ALM-12033 慢盘故障(2.x及以前版本) - MapReduce服务 MRS
磁盘不支持smart,通常是因为配置的RAID卡不支持,此时需要使用对应RAID卡厂商的检查工具进行处理,然后执行16。 例如LSI一般是MegaCLI工具。 在告警详情页面单击“清除告警”,并继续观察该告警,查看同一块磁盘的告警是否会继续上报。
-
MRS各组件样例工程汇总 - MapReduce服务 MRS
帮助用户理解认证、配置加载等关键使用方式。 Oozie 开启Kerberos认证集群的样例工程目录“oozie-examples/ooziesecurity-examples”。
-
查询作业列表信息 - MapReduce服务 MRS
properties String 配置参数,用于传-d参数。最多为2048字符,不能包含><|'`&!\特殊字符,可为空。 app_id String 实际作业编号。 tracking_url String 日志链接地址。当前仅SparkSubmit作业支持该参数。
-
在本地Windows环境中调测ClickHouse应用(MRS 3.3.0及之后版本) - MapReduce服务 MRS
图2 复制配置文件绝对路径 使用clickhouse-example.properties路径替换Demo.java中getProperties()方法中proPath的路径。
-
Spark HA方案介绍 - MapReduce服务 MRS
不同的租户可以配置不同的YARN队列,从而达到资源隔离,且JDBCServer根据需求动态启动,可避免浪费资源。 实现方案 多租户模式的HA方案原理如图2所示。
-
IoTDB UDF概述 - MapReduce服务 MRS
配置UDF运行时必要的信息,即指定UDF访问原始数据时采取的策略和输出结果序列的类型。 创建资源,比如建立外部链接,打开文件等。 UDFParameters UDFParameters的作用是解析SQL语句中的UDF参数(SQL中UDF函数名称后括号中的部分)。