检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对于时延敏感型业务，可能会导致大量的业务读写请求超时。 可能原因 RegionServer GC时间过长。 HDFS RPC响应时间过长。 客户端请求不合理（大请求、高并发）。
对系统的影响 Broker实例的Produce请求在请求队列的时延超过阈值，请求队列堆积造成写入请求的响应时间增加，对于时延敏感型业务，可能会导致大量的业务写入请求超时。 可能原因 Broker用于处理请求的线程数配置不合理。 慢盘故障。 Broker磁盘IO繁忙。
目前Spark的优化器都是基于RBO的，已经有数十条优化规则，例如谓词下推、常量折叠、投影裁剪等，这些规则是有效的，但是它对数据是不敏感的。导致的问题是数据表中数据分布发生变化时，RBO是不感知的，基于RBO生成的执行计划不能确保是最优的。
UDF函数名称是大小写不敏感的。 请不要给UDF函数注册一个内置函数的名字。使用内置函数的名字给UDF注册会失败。 不同的JAR包中建议不要有全类名相同但实现功能逻辑不一样的类。例如UDF(UDAF/UDTF)：udf1、udf2分别对应资源udf1.jar、udf2.jar。
而且批量计算对写入时延不是很敏感，因此可以采用COW表。 Hudi表的写任务要开启Hive元数据同步功能。 SparkSQL天然与Hive集成，无需考虑元数据问题。
false case-insensitive-name-matching.cache-ttl Oracle数据源的大小写敏感的Schema和Table名称缓存超时时长，默认值：1m（1分钟）。
分区列的排序规则必须支持大小写敏感，否则在数据导入过程中，可能会出现数据丢失。 不建议分区列选择类型为float或double的字段，因为精度问题，可能导致分区列字段的最小值、最大值所在记录无法导入。 id 分区列空值 配置对数据库列中为null值记录的处理方式。
对系统的影响 RegionServer RPC写队列数超过阈值，请求队列堆积会导致RegionServer内存GC压力，造成写入请求的响应时间增加，对于时延敏感型业务，可能会导致大量的业务写入请求超时。 可能原因 RegionServer堆内存配置不合理。 慢盘故障。
对系统的影响 RegionServer Call队列大小超过阈值，请求队列堆积会导致RegionServer内存GC压力，造成读写请求的响应时间增加，对于时延敏感型业务，可能会导致大量的业务读写请求超时。 可能原因 RegionServer堆内存配置不合理。 慢盘故障。
对系统的影响 RegionServer RPC读队列数超过阈值，请求队列堆积会导致读取请求的响应时间增加，对于时延敏感型业务，可能会导致大量的业务读取请求超时。 可能原因 RegionServer堆内存配置不合理。 RegionServer配置不合理。
例如对于一些对数据丢失不敏感的业务，可以在业务中不考虑数据丢失处理从而提高系统性能；而对于一些严格要求数据可靠性的业务，则需要使用精确一次的可靠性方案，以确保数据被处理且仅被处理一次。 容错 Storm是一个容错系统，提供较高可用性。
分区列的排序规则必须支持大小写敏感，否则在数据导入过程中，可能会出现数据丢失。 不建议分区列选择类型为float或double的字段，因为精度问题，可能导致分区列字段的最小值、最大值所在记录无法导入。 id 分区列空值 配置对数据库列中为null值记录的处理方式。
分区列的排序规则必须支持大小写敏感，否则在数据导入过程中，可能会出现数据丢失。 不建议分区列选择类型为float或double的字段，因为精度问题，可能导致分区列字段的最小值、最大值所在记录无法导入。 id 分区列空值 配置对数据库列中为null值记录的处理方式。
Hive对大小写不敏感，所以在Hudi表中的字段不建议使用大写字母，否则可能会造成数据无法正常读写。
分区列的排序规则必须支持大小写敏感，否则在数据导入过程中，可能会出现数据丢失。 不建议分区列选择类型为float或double的字段，因为精度问题，可能导致分区列字段的最小值、最大值所在记录无法导入。 id 分区列空值 配置对数据库列中为null值记录的处理方式。
分区列的排序规则必须支持大小写敏感，否则在数据导入过程中，可能会出现数据丢失。 不建议分区列选择类型为float或double的字段，因为精度问题，可能导致分区列字段的最小值、最大值所在记录无法导入。 id 分区列空值 配置对数据库列中为null值记录的处理方式。
decimal-default-scale Decimal/Number/Numeric映射数据类型Decimal(38，x)小数位精度值，取值范围0~38，默认为0 0 case-insensitive-name-matching HetuEngine支持的GAUSSDB数据源的Schema和Table名称大小写格式敏感
如果是自定义connector，密码字段名要用“password”关键字，否则页面可能显示敏感信息。 关闭SQL加密存储可能会存在密码泄漏风险，建议保持默认开启SQL加密存储。如果要关闭，可参考如下操作： （可选）备份已存在的作业，然后删除所有作业。
分区列的排序规则必须支持大小写敏感，否则在数据导入过程中，可能会出现数据丢失。 不建议分区列选择类型为float或double的字段，因为精度问题，可能导致分区列字段的最小值、最大值所在记录无法导入。 id 分区列空值 配置对数据库列中为null值记录的处理方式。
true spark.security.hideInfo.enabled 配置UI界面是否隐藏敏感信息。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
