检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FlinkSQL HBase数据表开发建议 客户端提交作业时通过with属性添加HBase配置信息 Flink客户端提交作业，如SQL client提交，在建表语句中添加如下配置： 表1 Flink作业with属性 配置 说明 'properties.hbase.rpc.protection'
指定的instant所更新或插入文件名中的时间戳 total_records_updated 该文件中多少个record被更新 total_records_written 该文件中新插入了多少个record total_bytes_written 该文件新增多少bytes的数据 total_errors
权衡当前需要创建的Topic创建完成后，会不会达到文件句柄上限，每个Partition文件夹下会最多保存多大的数据，会产生多少个数据文件（*.log文件，默认配置为1GB，可通过修改log.segment.bytes来调整大小）和索引文件（*.index文件，默认配置为10MB，可通过修改log.index.size
mysqlimport命令，并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容，如果没有这两个命令或版本不兼容，请参考http://dev.mysql.com/doc/refman/5.7/en/linux-installation-rpm.html，安装MySQL
mysqlimport命令，并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容，如果没有这两个命令或版本不兼容，请参考http://dev.mysql.com/doc/refman/5.7/en/linux-installation-rpm.html，安装MySQL
写算子的并行度调整参数：write.tasks 采用状态索引在作业重启的时候（非Checkpoint重启），需要读目标表重建索引，可以增大该算子并行度提升性能。 加载索引的并行度调整参数：write.index_bootstrap.tasks 采用状态索引写数据需要进行主键唯一性检查，分配具体写入文件，提升该算子并行度提升性能。
ALM-14004 损坏的HDFS块数量超过阈值（2.x及以前版本） 告警解释 系统每30秒周期性检测损坏的块数量，并把损坏的块数量和阈值相比较。损坏的块数量指标默认提供一个阈值范围。当检测到损坏的块数量超出阈值范围时产生该告警。 当损坏的块数量小于或等于阈值时，告警恢复。建议使用命令（hdfs fsck
指定JDBC连接的URL，格式为：jdbc:mysql://MySQL数据库IP地址:MySQL的端口/数据库名称。 --username 连接MySQL数据库的用户名。 -password 连接MySQL数据库的用户密码。命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。
mysqlimport命令，并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容，如果没有这两个命令或版本不兼容，请参考http://dev.mysql.com/doc/refman/5.7/en/linux-installation-rpm.html，安装MySQL
mysqlimport命令，并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容，如果没有这两个命令或版本不兼容，请参考http://dev.mysql.com/doc/refman/5.7/en/linux-installation-rpm.html，安装MySQL
Spark应用开发建议 RDD多次使用时，建议将RDD持久化 RDD在默认情况下的存储级别是StorageLevel.NONE，即既不存磁盘也不放在内存中，如果某个RDD需要多次使用，可以考虑将该RDD持久化，方法如下： 调用spark.RDD中的cache()、persist(
指定JDBC连接的URL，格式为：jdbc:mysql://MySQL数据库IP地址:MySQL的端口/数据库名称。 --username 连接MySQL数据库的用户名。 -password 连接MySQL数据库的用户密码。命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。
每个月份一个文件夹。 ORDER BY：排序字段，支持多字段的索引排序，第一个相同的时候按照第二个排序依次类推。 index_granularity = 8192：排序索引的颗粒度，每8192条数据记录一个排序索引值。 如果被查询的数据存在于分区或排序字段中，能极大降低数据查找时间。
Impala开发建议 Impala SQL编写之不支持隐式类型转换 查询语句使用字段的值做过滤时，不支持使用Hive类似的隐式类型转换来编写Impala SQL： Impala示例： select * from default.tbl_src where id = 10001; select
Impala开发建议 Impala SQL编写之不支持隐式类型转换 查询语句使用字段的值做过滤时，不支持使用Hive类似的隐式类型转换来编写Impala SQL： Impala示例： select * from default.tbl_src where id = 10001; select
JDBC表开发规则 提前在对应数据库中创建表 JDBC作为sink表时，需要提前在对应数据库（如MySQL）中创建好用于接收数据的空表。 JDBC作为维表时，需要提前在对应数据库（如MySQL）中创建好维度表。 父主题： FlinkSQL Connector开发规范
配资源。 定时进行小文件合并，减少单表的文件数量，提升元数据加载速率 Impala元数据和分区、文件数量正相关，太多分区会导致Impala元数据占用内存过大，刷新元数据时需要扫描的分区文件就越多，极大地降低查询效率。 建表时存储类型建议选择orc或者parquet orc和par
高（毫秒内~毫秒级） 数据量 小，建议单个TM保持1GB以内 大，TB级 中，GB级 存储资源 内存消耗大，单个TM全量存储 外置存储，无存储资源消耗 各TM分散存储，内存+磁盘存储 时效性 周期性数据加载，时效低 相对高 高 关联数据结果 低 中 - 大数据量的维度表建议采用HBase 数据
为对Hudi表本身和对集群环境的调优。 Hudi表调优 可参考如下建议优化表和数据设计： 建表时尽量按照频繁使用的过滤条件字段进行分区。 如果大部分查询场景均带有主键或主键子集的等值查询，建议使用bucket索引建表，并将查询字段作为分桶键。 查询MOR表时，定期执行Compac
性能好，特别是基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级。 ClickHouse的设计优点： 数据压缩比高 多核并行计算 向量化计算引擎 支持嵌套数据结构 支持稀疏索引 支持数据Insert和Update ClickHouse的应用场景： 实时数仓场景
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
