检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
t、timestamp 、tinyint、smallint、double类型配置脱敏策略后，spark-beeline查询结果存在与策略预期不一致的现象，但查询结果非原始值，如需要与策略结果保持一致，则推荐使用“Nullify”脱敏策略。 对于不支持的数据类型，如果配置了脱敏策略
配置Spark Eventlog日志回滚 配置场景 当Spark开启事件日志模式，即设置“spark.eventLog.enabled”为“true”时，就会往配置的一个日志文件中写事件，记录程序的运行过程。当程序运行很久，job很多，task很多时就会造成日志文件很大，如JDBCServer、Spark
配置Spark Eventlog日志回滚 配置场景 当Spark开启事件日志模式，即设置“spark.eventLog.enabled”为“true”时，就会往配置的一个日志文件中写事件，记录程序的运行过程。当程序运行很久，job很多，task很多时就会造成日志文件很大，如JDBCServer、Spark
schemaFemaleInfo.registerTempTable("FemaleInfoTable"); // 执行SQL查询 DataFrame femaleTimeInfo = sqlContext.sql("select * from " +
polygon连接查询 IN_POLYGON_JOIN(GEO_HASH_INDEX_COLUMN, POLYGON_COLUMN) 两张表做join查询，一张表为空间数据表（有经纬度列和GeoHashIndex列），另一张表为维度表，保存polygon数据。 查询使用IN_POLYGON_JOIN
件。 -diff <oldSnapshot> <newSnapshot> 将新旧版本之间的差异内容，拷贝到目标位置的旧版本文件中。 -skipcrccheck 是否跳过源文件和目标文件之间的CRC校验。 -strategy {dynamic|uniformsize} 指定拷贝任务
Encoders.STRING()).groupBy("value").count(); //开始运行将运行计数打印到控制台的查询。 StreamingQuery query = wordCounts.writeStream() .outputMode("complete")
指定以当天时间命名的数据目录 参数项配置为“/user/data/inputdate_@{dateformat("yyyy-MM-dd")}@”。 通过SQL语句查询最近7天的数据 select * from table where time between '@{dateformat("yyyy-MM-dd
将被忽略。 如果未指定默认值，则新列的默认值将被视为null。 如果在该列上应用filter，则在排序期间不会考虑新增列，新增列可能会影响查询性能。 示例 ALTER TABLE carbon ADD COLUMNS (a1 INT, b1 STRING); ALTER TABLE
指定以当天时间命名的数据目录 参数项配置为“/user/data/inputdate_@{dateformat("yyyy-MM-dd")}@”。 通过SQL语句查询最近7天的数据 select * from table where time between '@{dateformat("yyyy-MM-dd
打开配置文件“${BIGDATA_HOME}/FusionInsight_Current/*HiveServer/etc/hivemetastore-site.xml”，查找配置项“javax.jdo.option.ConnectionURL”，复制配置项值。 登录Manager页面，选择“集群 > 服务 > Hive
配置Spark作业失败时清理残留文件 本章节仅适用于MRS 3.3.1-LTS及之后版本。 配置场景 Spark作业失败时可能出现文件残留的情况，可能会长期积累导致磁盘空间告警，因此需要定时清理。 使用约束 本特性需要启动Spark JDBCServer服务，借助JDBCServ
件。 -diff <oldSnapshot> <newSnapshot> 将新旧版本之间的差异内容，拷贝到目标位置的旧版本文件中。 -skipcrccheck 是否跳过源文件和目标文件之间的CRC校验。 -strategy {dynamic|uniformsize} 指定拷贝任务
schemaFemaleInfo.registerTempTable("FemaleInfoTable"); // 执行SQL查询 Dataset<ROW> femaleTimeInfo = spark.sql("select * from " +
wordCounts = words.groupBy("word").count() # 开始运行将running counts打印到控制台的查询 query = wordCounts.writeStream\ .outputMode("complete")\
hive_sync.enable指定为false。 指定为false将导致新写入的分区无法同步到Hive Metastore中。由于缺失新写入的分区信息，查询引擎读取该时会丢数。 禁止指定Hudi的索引类型为INMEMORY类型。 该索引仅是为了测试使用。生产环境上使用该索引将导致数据重复。 建表示例
timestamp类型到hive元数据中。该值默认为false，默认将timestamp类型同步为bigInt，默认情况可能导致使用sql查询包含timestamp类型字段的hudi表出现错误。 true 父主题： Hudi常见配置参数
polygon连接查询 IN_POLYGON_JOIN(GEO_HASH_INDEX_COLUMN, POLYGON_COLUMN) 两张表做join查询，一张表为空间数据表（有经纬度列和GeoHashIndex列），另一张表为维度表，保存polygon数据。 查询使用IN_POLYGON_JOIN
flatMap(_.split(" ")).groupBy("value").count() //开始运行将运行计数打印到控制台的查询。 val query = wordCounts.writeStream .outputMode("complete")
将被忽略。 如果未指定默认值，则新列的默认值将被视为null。 如果在该列上应用filter，则在排序期间不会考虑新增列，新增列可能会影响查询性能。 示例 ALTER TABLE carbon ADD COLUMNS (a1 INT, b1 STRING); ALTER TABLE
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
