检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ANALYZE 语法 ANALYZE table_name [ WITH ( property_name = expression [, ...] ) ] 描述 收集给定表的表和列统计信息。 可选WITH子句可用于指定connector的属性。使用下面命令可列出所有可用的属性：SELECT
PREPARE 语法 PREPARE statement_name FROM statement 描述 预处理一条语句，以便以后执行。预处理语句是将查询保存在给定名称的会话中。语句可以包含参数，以代替执行时要替换的文本，参数用问号表示。 示例 预处理查询 PREPARE my_select1
取值范围：30000~3600000 180000 ipc.client.connect.max.retries.on.timeouts 客户端与服务端建立Socket连接超时时，客户端的重试次数。
配置描述 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面，在搜索框中输入表1中参数名称。
图1 AM作业保留 配置描述 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。 根据表1，对如下参数进行设置。
登录FusionInsight Manager，选择“集群 > 服务 > Kafka > 实例”，启动停止的Broker实例。 等待5至10分钟后查看Broker实例的运行状态是否为“良好”。
执行HDFS文件并发操作命令 操作场景 集群内并发修改文件和目录的权限及访问控制的工具。 本章节适用于MRS 3.x及后续版本。 对系统的影响 因为集群内使用文件并发修改命令会对集群性能造成较大负担，所以在集群空闲时使用文件并发操作命令。 前提条件 已安装HDFS客户端或者包括HDFS
在服务端配置文件“ENV_VARS”中进行配置。JobHistory Server和JDBCServer的日志级别在服务端配置文件“log4j.properties”中设置。
经验总结 使用mapPartitions，按每个分区计算结果 如果每条记录的开销太大，例： rdd.map{x=>conn=getDBConn;conn.write(x.toString);conn.close} 则可以使用MapPartitions，按每个分区计算结果，如： rdd.mapPartitions
合并CBO优化 操作场景 Spark SQL默认支持基于规则的优化，但仅仅基于规则优化不能保证Spark选择合适的查询计划。CBO（Cost-Bsed Optimizer）是一种为SQL智能选择查询计划的技术。通过配置开启CBO后，CBO优化器可以基于表和列的统计信息，进行一系列的估算
Spark Streaming Streaming任务打印两次相同DAG日志 Spark Streaming任务一直阻塞 运行Spark Streaming任务参数调优的注意事项 为什么提交Spark Streaming应用超过token有效期，应用失败 为什么Spark Streaming
对于批量初始化后需要接Flink或Spark流作业实时写入的场景，一般建议通过对上有消息进行过滤，从一个指定的时间范围开始消费来控制数据的重复接入量（例如Spark初始化完成后，Flink消费Kafka时过滤掉2小时之前的数据），如果无法对kafka消息进行过滤，则可以考虑先实时接入生成
将Hudi表数据同步到Hive 通过执行run_hive_sync_tool.sh可以将Hudi表数据同步到Hive中。 例如：需要将HDFS上目录为hdfs://hacluster/tmp/huditest/hudimor1_deltastreamer_partition的Hudi
采集数据时报错HoodieException 问题 数据采集时报错： com.uber.hoodie.exception.HoodieException: created_at(Part -created_at) field not found in record. Acceptable
hcd.setCompressionType(Compression.Algorithm.SNAPPY);// 重新设置列簇的压缩算法为SNAPPY admin.modifyColumnFamily(TableName.valueOf("t1"), hcd.build());// 提交到服务端修改列簇
创建IoTDB权限角色 该任务指导MRS集群管理员在Manager创建并设置IoTDB的角色。IoTDB角色可设置IoTDB管理员权限以及普通用户对数据的读、写或删除等权限。 前提条件 MRS集群管理员已明确业务需求。 已安装好IoTDB客户端。 操作步骤 登录FusionInsight
Spark shuffle异常处理 问题 在部分场景Spark shuffle阶段会有如下异常 解决方法 JDBC应该： 登录FusionInsight Manager管理界面，修改JDBCServer的参数“spark.authenticate.enableSaslEncryption
INSERT INTO插入表数据 本章节主要介绍ClickHouse插入表数据的SQL基本语法和使用说明。 基本语法 方法一：标准格式插入数据。 INSERT INTO [database_name.]table [(c1, c2, c3)] VALUES (v11, v12, v13
DESC查询表结构 本章节主要介绍ClickHouse查询表结构的SQL基本语法和使用说明。 基本语法 DESC|DESCRIBE TABLE [database_name.]table [INTO OUTFILE filename] [FORMAT format] 使用示例 --
操作步骤 使用具有CDL管理操作权限的用户或admin用户（未开启Kerberos认证的集群）登录FusionInsight Manager，选择“集群 > 服务 > CDL”。 在“CDLService UI”右侧，单击链接，访问CDLService WebUI。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
