检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在创建的Source流表中添加“subtask.scan.records-per-second.limit”参数，该参数表示每秒消费Kafka单分区记录数，因此Source端整体限流速率为：min( source parallelism * subtask.scan.records-per-second.limit，kafka
配置Spark Native引擎 本章节仅适用于MRS 3.3.0及之后版本。 配置场景 Spark Native引擎是通过使用向量化的C++加速库，实现对Spark算子性能加速的一种技术方案。传统的SparkSQL是基于行式数据，通过JVM的codegen来实现查询加速的，由于
配置parquet表的压缩格式 配置场景 当前版本对于parquet表的压缩格式分以下两种情况进行配置： 对于分区表，需要通过parquet本身的配置项“parquet.compression”设置parquet表的数据压缩格式。如在建表语句中设置tblproperties："parquet
Spark动态分区插入场景内存优化 操作场景 SparkSQL在往动态分区表中插入数据时，分区数越多，单个Task生成的HDFS文件越多，则元数据占用的内存也越多。这就导致程序GC（Gabage Collection）严重，甚至发生OOM（Out of Memory）。 经测试证
ClickHouse逻辑视图设计 建议如下： 业务逻辑上有很多比较复杂的SQL运算，可以封装为一个视图，后续查询时只查询视图，简化业务查询使用。 如果业务间有权限隔离诉求，可将部分数据查询封装到视图中，使用视图方只能看到视图下有限行及列的数据。 父主题： ClickHouse应用开发规范
Hue开源增强特性 Hue开源增强特性 存储策略定义。HDFS文件存储在多种等级的存储介质中，有不同的副本数。本特性可以手工设置HDFS目录的存储策略，或者根据HDSF文件最近访问时间和最近修改时间，自动调整文件存储策略、修改文件副本数、移动文件所在目录、自动删除文件，以便充分利用存储的性能和容量。
ortTsv继承了HBase批量加载数据工具ImportTsv的所有功能。此外，若在执行HIndexImportTsv工具之前未建表，直接运行该工具，将会在创建表时创建索引，并在生成用户数据的同时生成索引数据。 前提条件 已安装客户端，具体请参考安装客户端章节。 已根据业务需要创
Master节点可以访问对接服务器的IP地址和指定端口。 配置MRS集群对接SNMP网管平台上报告警 登录Manager，进入SNMP配置界面。 MRS 3.x及之后版本 登录FusionInsight Manager。 选择“系统 > 对接 > SNMP”。 开启“SNMP服务”开关。
动态分区插入场景内存优化 操作场景 SparkSQL在往动态分区表中插入数据时，分区数越多，单个Task生成的HDFS文件越多，则元数据占用的内存也越多。这就导致程序GC（Gabage Collection）严重，甚至发生OOM（Out of Memory）。 经测试证明：102
配置过滤掉分区表中路径不存在的分区 配置场景 当读取HIVE分区表时，如果指定的分区路径在HDFS上不存在，则执行select查询时会报FileNotFoundException异常。此时可以通过配置“spark.sql.hive.verifyPartitionPath”参数来过
ALM-45325 Presto服务不可用（2.x及以前版本） 告警解释 系统每60秒周期性检测Presto服务状态。当Presto服务不可用时产生该告警。 当Presto服务恢复时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 45325 紧急 是 告警参数 参数名称
配置过滤掉分区表中路径不存在的分区 配置场景 当读取Hive分区表时，如果指定的分区路径在HDFS上不存在，则执行select查询时会报FileNotFoundException异常。此时可以通过配置“spark.sql.hive.verifyPartitionPath”参数来过
TABLE修改表结构 本章节主要介绍ClickHouse修改表结构的SQL基本语法和使用说明。 基本语法 ALTER TABLE [database_name].name [ON CLUSTER cluster] ADD|DROP|CLEAR|COMMENT|MODIFY COLUMN
RS集群通过IAM委托对接OBS。 在MRS集群中配置AK/SK，AK/SK会明文暴露在配置文件中，请谨慎使用，具体请参考MRS集群客户端如何通过AK/SK信息对接OBS。 MRS通过集群内的Guardian组件对接OBS，为其他组件提供获取访问OBS的临时认证凭据、细粒度权限控
在以下场景中，INSERT INTO CARBON TABLE命令会失败： 当源表和目标表的列数据类型不同时，源表中的数据将被视为Bad Records，则INSERT INTO命令会失败。 源列上的aggregartion函数的结果超过目标列的最大范围，则INSERT INTO命令会失败。
ALM-44000 Presto服务不可用 告警解释 系统每60秒周期性检测Presto服务状态。当Presto服务不可用时产生该告警。 当Presto服务恢复时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 44000 紧急 是 告警参数 参数名称 参数含义 ServiceName
e, database_name, table_name, [sharding_key]) Distributed表参数解析如下： cluster_name：集群名称，在对分布式表执行读写的过程中，使用集群的配置信息查找对应的ClickHouse实例节点。 database_name：数据库名称。
hive conn = hive.Connection(host=JDBCServerHost, port=JDBCServerPort,database='default') cursor=conn.cursor() cursor.execute("select * from test")
在以下场景中，INSERT INTO CARBON TABLE命令会失败： 当源表和目标表的列数据类型不同时，源表中的数据将被视为Bad Records，则INSERT INTO命令会失败。 源列上的aggregartion函数的结果超过目标列的最大范围，则INSERT INTO命令会失败。
rtTsv继承了HBase批量加载数据工具ImportTsv的所有功能。此外，如果在执行HIndexImportTsv工具之前未建表，直接运行该工具，将会在创建表时创建索引，并在生成用户数据的同时生成索引数据。 前提条件 已安装客户端，具体请参考安装客户端章节。 已根据业务需要创
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
