检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flume业务配置指南 本章节适用于MRS 3.x及之后版本。 该操作指导用户完成Flume常用业务的配置。其他一些不太常用的Source、Channel、Sink的配置请参考Flume社区提供的用户手册（http://flume.apache.org/releases/1.9.0
十进制函数和操作符 DECIMAL字面量 可以使用DECIMAL 'xxxxxxx.yyyyyyy' 语法来定义DECIMAL类型的字面量。 DECIMAL类型的字面量精度将等于字面量（包括尾随零和前导零）的位数。范围将等于小数部分（包括尾随零）的位数。 示例字面量 数据类型 DECIMAL
myhuaweicloud.com/mrs-demon-samples/demon/detail-records.zip获取Spark样例数据到本地。 将下载的“detail-records.zip”解压，获取图3所示的样例数据。 图3 样例数据 进入“input”文件夹，单击“上传文件”，选择本地存放的Spark样例数据。
2018-05-08 21:29:17,328 INFO [main] input.FileInputFormat: Total input files to process : 1 2018-05-08 21:29:17,413 INFO [main] mapreduce.JobSubmitter:
S/hdfs-c-example/hdfs_test.c”文件。 设置HDFS NameNode参数，建立HDFS文件系统连接。 hdfsFS fs = hdfsConnect("default", 0); fprintf(stderr, "hdfsConnect- SUCCESS
" : 373, "numActiveBatches" : 0, "numProcessedRecords" : 1, "numReceivedRecords" : 1, "avgInputRate" : 0.002680965147453083, "avgSchedulingDelay"
Hive CBO原理介绍 Hive CBO原理介绍 CBO，全称是Cost Based Optimization，即基于代价的优化器。 其优化目标是： 在编译阶段，根据查询语句中涉及到的表和查询条件，计算出产生中间结果少的高效join顺序，从而减少查询时间和资源消耗。 Hive中实现CBO的总体过程如下：
Doris建表规范 该章节主要介绍创建Doris表时需遵循的规则和建议。 Doris建表规则 在创建Doris表指定分桶buckets时，每个桶的数据大小应保持在100MB~3GB之间，单分区中最大分桶数量不超过5000。 表数据超过5亿条以上必须设置分区分桶策略。 表的分桶列不
Hive应用开发建议 HQL编写之隐式类型转换 查询语句使用字段的值做过滤时，不建议通过Hive自身的隐式类型转换来编写HQL。因为隐式类型转换不利于代码的阅读和移植。 建议示例： select * from default.tbl_src where id = 10001; select
创建FlinkServer作业写入数据至Kafka消息队列 本章节适用于MRS 3.1.2及之后的版本。 操作场景 本章节介绍Kafka作为source表或者sink表的DDL定义，以及创建表时使用的WITH参数和代码示例，并指导如何在FlinkServer作业管理页面操作。 本示例以安全模式Kafka为例。
配置内存 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-defaults
Spark Core内存调优 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default
Set Digest函数 概述 HetuEngine提供了几个处理MinHash技术的函数。 MinHash用于估计两个集合的Jaccard相似系数。它通常用于数据挖掘，用于大规模检测近乎相同的网页。通过使用这些信息，搜索引擎有效地避免了在搜索结果中显示两个几乎相同的网页。 以下示例展示了如何使用Set
Spark Core内存调优 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default
Spark从Hive读取数据再写入HBase样例程序开发思路 场景说明 假定Hive的person表存储用户当天消费的金额信息，HBase的table2表存储用户历史消费的金额信息。 现person表有记录name=1,account=100，表示用户1在当天消费金额为100元。
ticator”。 执行以下命令创建Hive表。 可以在Hue WebUI中的Hive面板直接输入以下SQL创建表。 CREATE DATABASE test; CREATE TABLE IF NOT EXISTS `test`.`usr` (user_id int comment
执行以下命令创建Hive表。 可以在Hue UI里hive面板里面直接输入以下的SQL。 图1 执行Hive SQL命令 CREATE DATABASE test; CREATE TABLE IF NOT EXISTS `test`.`usr` (user_id int comment
多流Join场景支持配置表级别的TTL时间 本章节适用于MRS 3.3.0及以后版本。 在Flink双流Join场景下，如果Join的左表和右表其中一个表数据变化快，需要较短时间的过期时间，而另一个表数据变化较慢，需要较长时间的过期时间。目前Flink只有表级别的TTL（Time
Flume常用配置参数 MRS 3.x之前版本需在“properties.properties”文件中配置。 MRS 3.x及之后版本，部分参数可在Manager界面配置。 基本介绍 使用Flume需要配置Source、Channel和Sink，各模块配置参数说明可通过本节内容了解。
File Channel：基于WAL（预写式日志Write-Ahead Logging）的持久化实现。 JDBC Channel：基于嵌入Database的持久化实现。 Channel支持事务，可提供较弱的顺序保证，可以和任何数量的Source和Sink工作。 Sink Sink负责将
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
