检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
segments属性，则UPDATE操作失败。要解决该问题，在查询前执行以下语句。 语法： SET carbon.input.segments. <database_name>. <table_name>=*; 示例 示例1： update carbonTable1 d set (d.column3
segments属性，则UPDATE操作失败。要解决该问题，在查询前执行以下语句。 语法： SET carbon.input.segments. <database_name>. <table_name>=*; 示例 示例1： update carbonTable1 d set (d.column3
MRS集群节点类型包括Master节点、Core节点和Task节点。 Master节点：集群中的管理节点。分布式系统的Master进程和Manager以及数据库均部署在该节点；该类型节点不可扩容。该类型节点的处理能力决定了整个集群的管理上限，MRS服务支持将Master节点规格提高，以支持更大集群的管理。
配置Spark应用安全认证 场景说明 在安全集群环境下，各个组件之间的相互通信不能够简单的互通，而需要在通信之前进行相互认证，以确保通信的安全性。 用户在开发Spark应用程序时，某些场景下，需要Spark与Hadoop、HBase等之间进行通信。那么Spark应用程序中需要写入
配置Spark应用安全认证 场景说明 在安全集群环境下，各个组件之间的相互通信不能够简单的互通，而需要在通信之前进行相互认证，以确保通信的安全性。 用户在开发Spark应用程序时，某些场景下，需要Spark与Hadoop、HBase等之间进行通信。那么Spark应用程序中需要写入
udi数据的交互式快速查询场景。 HetuEngine跨源功能简介 出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多的各种数据库、数据仓库等，此时会面临数据源种类繁多、数据集结构化混合、相关数据存放分散等困境，导致跨源查询开发成本高，跨源复杂查询耗时长。 HetuE
examples.KafkaWordCountProducer {BrokerList} {Topic} {messagesPerSec} {wordsPerMessage} 开发思路 接收Kafka中数据，生成相应DataStreamReader。 对单词记录进行分类统计。 计算结果，并进行打印。
create_table_query; 如果存在，请将不一致的表结构修改一致。 执行如下SQL排查是否存在mutation任务异常： select FQDN(), database, table, mutation_id, create_time, command from clusterAllReplicas(default_cluster
create_table_query; 如果存在，请将不一致的表结构修改一致。 执行如下SQL排查是否存在mutation任务异常： select FQDN(), database, table, mutation_id, create_time, command from clusterAllReplicas(default_cluster
bloom.num_entries 存储在布隆过滤器中的条目数。 假设maxParquetFileSize为128MB，averageRecordSize为1024B，因此，一个文件中的记录总数约为130K。 默认值（60000）大约是此近似值的一半。 注意： 将此值设置的太低，将产生
ClickHouseServer的实例IP --user 用户名 --password --port 9000 输入用户密码 执行以下命令，创建数据表。 CREATE DATABASE cktest ON CLUSTER default_cluster; CREATE TABLE cktest.test2 ON CLUSTER
EXPLAIN ANALYZE 语法 EXPLAIN ANALYZE [VERBOSE] statement 描述 执行一条SQL语句，并显示分布式执行计划，以及过程中每个操作的代价。 VERBOSE可选参数，带上这个参数意味着会显示更多详细信息和底层统计数据。这个统计信息不能保
hetu-cli --catalog 数据源名称 --schema 数据库名 例如执行以下命令： hetu-cli --catalog hudi --schema default 执行以下命令，可正常查看数据库表信息或不报错即表示连接成功。 show tables; Hudi数据类型映射
CarbonData性能调优常见配置参数 操作场景 CarbonData的性能与配置参数相关，本章节提供了能够提升性能的相关配置介绍。 操作步骤 用于CarbonData查询的配置介绍，详情请参见表1和表2。 表1 Shuffle过程中，启动Task的个数 参数 spark.sql
CarbonData性能调优常见配置参数 操作场景 CarbonData的性能与配置参数相关，本章节提供了能够提升性能的相关配置介绍。 操作步骤 用于CarbonData查询的配置介绍，详情请参见表1和表2。 表1 Shuffle过程中，启动Task的个数 参数 spark.sql
快速开发Spark应用 Spark是分布式批处理框架，提供分析挖掘与迭代式内存计算能力，支持多种语言的应用开发。 通常适用以下场景： 数据处理（Data Processing）：可以用来快速处理数据，兼具容错性和可扩展性。 迭代计算（Iterative Computation）：
examples.KafkaWordCountProducer {BrokerList} {Topic} {messagesPerSec} {wordsPerMessage} 开发思路 接收Kafka中数据，生成相应DataStreamReader。 对单词记录进行分类统计。 计算结果，并进行打印。
分布式Scan HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用hbaseRDD方法以特定的规则扫描HBase表。 数据规划 使用操作Avro格式数据章节中创建的HBase数据表。 开发思路 设置scan的规则，例如：setCaching。
分布式Scan HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用hbaseRDD方法以特定的规则扫描HBase表。 数据规划 使用操作Avro格式数据章节中创建的HBase数据表。 开发思路 设置scan的规则，例如：setCaching。
xml”文件，且根据实际集群情况配置所需要的参数。JDBCServer相关参数详情，请参见Spark JDBCServer接口介绍。 开发思路 在default数据库下创建child表。 把“/home/data”的数据加载进child表中。 查询child表中的数据。 删除child表。 打包项目 通
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
