-
Spark Streaming对接Kafka0-10样例程序(Scala) - MapReduce服务 MRS
val sparkConf = new SparkConf().setAppName("KafkaWordCount") val ssc = new StreamingContext(sparkConf, Seconds(batchSize.toLong)) //配置
-
Spark Streaming对接Kafka0-10样例程序(Scala) - MapReduce服务 MRS
val sparkConf = new SparkConf().setAppName("KafkaWordCount") val ssc = new StreamingContext(sparkConf, Seconds(batchSize.toLong)) //配置
-
Scala样例代码 - MapReduce服务 MRS
conf.set("spark.kryo.registrator", "com.huawei.bigdata.spark.examples.MyRegistrator") val sc = new SparkContext(conf) // 建立连接hbase的配置参数
-
OpenTSDB样例程序开发思路 - MapReduce服务 MRS
表4 在OpenTSDB中开发的功能 序号 步骤 代码实现 1 根据典型场景说明建立了数据模型 请参见配置OpenTSDB参数 2 写入指标数据 请参见写入OpenTSDB数据 3 根据指标项进行数据查询 请参见查询OpenTSDB数据 4 删除指定范围的数据 请参见删除OpenTSDB
-
Spark SQL样例程序开发思路 - MapReduce服务 MRS
运行Python样例程序 由于Python样例代码中未给出认证信息,请在执行应用程序时通过配置项“--keytab”和“--principal”指定认证信息。
-
Flink开启Checkpoint样例程序(Java) - MapReduce服务 MRS
String[] args) throws Exception{ StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 设置相关配置
-
Spark Core样例程序开发思路 - MapReduce服务 MRS
运行Python样例程序 由于Python样例代码中未给出认证信息,请在执行应用程序时通过配置项“--keytab”和“--principal”指定认证信息。
-
HBase开源增强特性 - MapReduce服务 MRS
通过配置参数来限制客户端连接到HBase服务器端的session数目,来实现HBase过载保护。 HBase开源增强特性:容灾增强 主备集群之间的容灾能力可以增强HBase数据的高可用性,主集群提供数据服务,备用集群提供数据备份,当主集群出现故障时,备集群可以提供数据服务。
-
Flink开启Checkpoint样例程序(Java) - MapReduce服务 MRS
String[] args) throws Exception{ StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 设置相关配置
-
创建Hive表 - MapReduce服务 MRS
ALTER TABLE employees_info_extended ADD COLUMNS (tel_phone STRING, email STRING); 建表时配置Hive数据加密 指定表的格式为RCFile(推荐使用)或SequenceFile,加密算法为ARC4Codec
-
Java样例代码 - MapReduce服务 MRS
spark.kryo.registrator", "com.huawei.bigdata.spark.examples.MyRegistrator"); JavaSparkContext jsc = new JavaSparkContext(conf); // 建立连接hbase的配置参数
-
Scala样例代码 - MapReduce服务 MRS
val sparkConf = new SparkConf().setAppName("KafkaWordCount") val ssc = new StreamingContext(sparkConf, Seconds(batchSize.toLong)) //配置
-
Flink开启Checkpoint样例程序(Java) - MapReduce服务 MRS
String[] args) throws Exception{ StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 设置相关配置
-
Spark SQL样例程序开发思路 - MapReduce服务 MRS
运行Python样例程序 由于Python样例代码中未给出认证信息,请在执行应用程序时通过配置项“--keytab”和“--principal”指定认证信息。
-
beeline客户端报错“OutOfMemoryError” - MapReduce服务 MRS
如数量在一定范围内需要显示,请调整hive客户端的jvm参数, 在hive客户端目录/Hive下的component_env中添加export HIVE_OPTS=-Xmx1024M(具体数值请根据业务调整),并重新执行source 客户端目录/bigdata_env配置环境变量。
-
ALM-25004 LdapServer数据同步异常(2.x及以前版本) - MapReduce服务 MRS
单击“服务管理 > LdapServer > 服务配置”,记录LdapServer的端口号为PORT(若告警定位信息中的IP地址为oms备节点IP地址,则端口号为默认端口21750)。
-
查看弹性伸缩策略 - MapReduce服务 MRS
当启用弹性伸缩时,资源计划与自动伸缩规则需至少配置其中一种。 rules Array of Rule objects 自动伸缩的规则列表。当启用弹性伸缩时,资源计划与自动伸缩规则需至少配置其中一种。
-
成本管理 - MapReduce服务 MRS
监控资源利用率,评估当前配置是否过高。例如:CPU、内存、云硬盘、带宽等资源的利用率。 监控闲置的资源,避免浪费。例如:未挂载的云硬盘、未绑定的EIP等。 计费模式优化 不同类型的业务对资源使用周期有不同的要求,为每一类业务确定合适的计费模式,灵活组合以达到最优效果。
-
Flink开启Checkpoint样例程序(Java) - MapReduce服务 MRS
String[] args) throws Exception{ StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 设置相关配置
-
Spark从Hive读取数据再写入HBase样例程序开发思路 - MapReduce服务 MRS
由于Python样例代码中未给出认证信息,请在执行应用程序时通过配置项“--keytab”和“--principal”指定认证信息。