检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark Distinct聚合优化 本章节仅适用于MRS 3.3.1-LTS及之后版本。 配置场景 当SQL中存在多个count(distinct)聚合函数，且存在cube，rollup等导致数据膨胀的算子时，使用该特性可以有效减少数据的膨胀倍数，且减少shuffle落盘的数据
insertTablets(Map<String, Tablet> tablet) 插入多个Tablet。 void insertRecords(List<String> deviceIds, List<Long> times, List<List<String>> measurementsList
dfs -mkdir 文件夹名称 创建文件夹 hdfs dfs -mkdir /tmp/mydir hdfs dfs -ls 文件夹名称 查看文件夹 hdfs dfs -ls /tmp hdfs dfs -put 客户端节点上本地文件 HDFS指定路径 上传本地文件到HDFS指定路径
它可以由用户根据需要自由的定义，与通常理解的集群有一定的差异。多个ClickHouse节点之间是一种松耦合的关系，各自独立存在。 shards shard（分片）是对cluster的横向切分，1个cluster可以由多个shard组成。 replicas replica（副本），
它可以由用户根据需要自由的定义，与通常理解的集群有一定的差异。多个ClickHouse节点之间是一种松耦合的关系，各自独立存在。 shards shard（分片）是对cluster的横向切分，1个cluster可以由多个shard组成。 replicas replica（副本），
组件业务用户 在hdfs命令行显式添加要访问的OBS文件系统。 例如： 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 例如，执行以下命令访问“mrs-word001”并行文件系统，返回文件列表即表示访问OBS成功，如图1所示： hadoop
数表格添加相应配置信息。单击“导入”。 选择导入的类型。 导出的文件 通过算子导出的json文件导入字段的配置信息。 指导的模板 通过根据算子模板手动编写txt文件，将字段配置信息导入到算子中。 单击，选择上传文件对应路径。 单击“上传”，字段的配置信息将会导入到算子。 导出操作
System.out.println(HttpClientUtil.doPost(url, jsonstr, "utf-8", true , token)); } catch (Exception e) { System.out.println(e);
将lines切分为word words = lines.select(explode(split(lines.value, " ")).alias("word")) # 生成正在运行的word count wordCounts = words.groupBy("word")
将lines切分为word words = lines.select(explode(split(lines.value, " ")).alias("word")) # 生成正在运行的word count wordCounts = words.groupBy("word")
amespace进行创建、查询、删除，获取指定Namespace中表的操作。 HBase表以“命名空间:表名”格式进行存储，若在创建表时不指定命名空间，则默认存储在“default”中。其中，“hbase”命名空间为系统表命名空间，请不要对该系统表命名空间进行业务建表或数据读写等操作。
amespace进行创建、查询、删除，获取指定Namespace中表的操作。 HBase表以“命名空间:表名”格式进行存储，若在创建表时不指定命名空间，则默认存储在“default”中。其中，“hbase”命名空间为系统表命名空间，请不要对该系统表命名空间进行业务建表或数据读写等操作。
amespace进行创建、查询、删除，获取指定Namespace中表的操作。 HBase表以“命名空间:表名”格式进行存储，若在创建表时不指定命名空间，则默认存储在“default”中。其中，“hbase”命名空间为系统表命名空间，请不要对该系统表命名空间进行业务建表或数据读写等操作。
amespace进行创建、查询、删除，获取指定Namespace中表的操作。 HBase表以“命名空间:表名”格式进行存储，若在创建表时不指定命名空间，则默认存储在“default”中。其中，“hbase”命名空间为系统表命名空间，请不要对该系统表命名空间进行业务建表或数据读写等操作。
huawei.bigdata.spark.examples.hbasecontext.JavaHBaseBulkGetExample --files /opt/user.keytab,/opt/krb5.conf SparkOnHbaseJavaExample.jar bulktable
Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：
接受的值是：'never'、'allow'、'try'、'require'（默认值）。 tls_cert_file：证书文件。 tls_key_file：证书密钥文件。 tls_ca_cert_file：CA证书文件。 tls_ca_cert_dir：CA证书所在的目录。 tls_cipher_suite：允许加密套件。
ALM-12099 发生core dump 告警解释 GaussDB A提供了core文件管理特性，对应用程序发生crash时产生的core文件进行统一的生命周期管理以及告警通知管理。当检测到有新的core文件产生时，会产生该告警。 该章节适用于MRS 3.1.5及之后版本。 MRS 3
创建Impala表 功能简介 本小节介绍了如何使用Impala SQL建内部表、外部表的基本操作。创建表主要有以下三种方式。 自定义表结构，以关键字EXTERNAL区分创建内部表和外部表。 内部表，如果对数据的处理都由Impala完成，则应该使用内部表。在删除内部表时，元数据和数据一起被删除。
执行df -h命令查看磁盘使用率。 通过kafka配置文件/opt/Bigdata/MRS_2.1.0/1_11_Broker/etc/server.properties中的配置项log.dirs获得数据存储目录。 其中配置文件路径请根据时间环境的集群版本修改，当磁盘有多块时，该配置项有多个，逗号间隔。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
