检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
varchar(200) 执行查询的FE的IP地址。 cpu_time_ms bigint 查询总共消耗的CPU时间。 sql_hash varchar(48) 查询的HASH值。 sql_digest varchar(48) SQL摘要，非慢查询时为空。 peak_memory_bytes
4)) T(v1, v2); -- 0.5 hash_counts(x) 描述：返回一个包含Murmur3Hash128哈希值及其在属于x的内部MinHash结构中出现的计数的Map。其中x是setdigest类型。 SELECT hash_counts(make_set_digest(value))
kafka_partition_hash 否 划分kafka topic partition的算法，支持default或murmur3 default kafka_key_format 否 Kafka record的key生成方式，支持array或Hash Hash ddl_kafka_topic
执行以下命令配置环境变量。 source bigdata_env 首次登录IoTDB客户端前需执行以下步骤生成SSL客户端证书： 执行以下命令生成客户端SSL证书： keytool -noprompt -import -alias myservercert -file ca.crt -keystore
SASL is enabled异常 向动态分区表中插入数据时，在重试的task中出现"Failed to CREATE_FILE"异常 使用Hash shuffle出现任务失败 访问Spark应用的聚合日志页面报“DNS查找失败”错误 由于Timeout waiting for task异常导致Shuffle
SASL is enabled异常 向动态分区表中插入数据时，在重试的task中出现"Failed to CREATE_FILE"异常 使用Hash shuffle出现任务失败 访问Spark应用的聚合日志页面报“DNS查找失败”错误 由于Timeout waiting for task异常导致Shuffle
kafka_partition_hash 否 划分kafka topic partition的算法，支持default或murmur3 default kafka_key_format 否 Kafka record的key生成方式，支持array或Hash Hash ddl_kafka_topic
处理数据的方式。有两种实现方式可用：sort和hash。sort shuffle对内存的使用率更高，是Spark 1.2及后续版本的默认选项。Spark2.x及后续版本不支持hash。 SORT spark.shuffle.consolidateFiles （仅hash方式）如果要合并在shuff
配置Kafka数据安全传输协议 本章节内容适用于MRS 3.x及后续版本。 Kafka API简单说明 Producer API 指org.apache.kafka.clients.producer.KafkaProducer中定义的接口，在使用“kafka-console-producer
执行以下命令创建表z_test并插入数据： create table z_test(id int, name string) distributed by hash(id) buckets 10; insert into z_test values(123, 'aaa'), (234, 'bbb')
DeathWatch检测机制参数等。 SSL： 当需要配置安全Flink集群时，需要配置SSL相关配置项，配置项包括SSL开关，证书，密码，加密算法等。 Network communication (via Netty)： Flink运行Job时，Task之间的数据传输和反压检测都依赖
Kafka安全使用说明 Kafka API简单说明 新Producer API 指org.apache.kafka.clients.producer.KafkaProducer中定义的接口，在使用“kafka-console-producer.sh”时，默认使用此API。 旧Producer
使用ClickHouse客户端 ClickHouse是面向联机分析处理的列式数据库，支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级。 前提条件 已安装客户端，例如安装目录为“/opt/client”。以下操作的客户端目
后提供给Reducer。当Job有大量的Maps输出需要处理的时候，Shuffle过程将变得非常耗时。对于一些特定的任务（例如hash join或hash aggregation类型的SQL任务），Shuffle过程中的排序并非必须的。但是Shuffle却默认必须进行排序，所以需要对此处进行改进。
密的列和加密算法。当使用insert语句向表中插入数据时，即可实现将对应列加密。列加密只支持存储在HDFS上的TextFile和SequenceFile文件格式的表。Hive列加密不支持视图以及Hive over HBase场景。 Hive列加密机制目前支持的加密算法有两种，在建表时指定：
shuffle.manager 处理数据的方式。有两种实现方式可用：sort和hash。sort shuffle对内存的使用率更高，是Spark 1.2及后续版本的默认选项。Spark2.x及后续版本不支持hash。 SORT spark.deploy.zookeeper.url Zo
r支持流式数据不丢失。 false Netty/NIO及Hash/Sort配置 Shuffle是大数据处理中最重要的一个性能点，网络是整个Shuffle过程的性能点。目前Spark支持两种Shuffle方式，一种是Hash，另外一种Sort。网络也有两种方式，Netty和NIO。
default value was set for the new column on each row. // Note: scanning a hash-partitioned table will not return results in primary key order. int
default value was set for the new column on each row. // Note: scanning a hash-partitioned table will not return results in primary key order. int
对接OBS场景中，spark-beeline登录后指定loaction到OBS建表失败 问题 对接OBS ECS/BMS集群，spark-beeline登录后，指定location到OBS建表报错失败。 图1 错误信息 回答 HDFS上ssl.jceks文件权限不足，导致建表失败。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
