检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
近一个月的数据更新占比最大，可以按照月份创建分区；近一天内的数据更新占比大，可以按照天进行分区。 采用Bucket索引，写入是通过主键Hash打散的，数据会均匀的写入到分区下每个桶。因为各个分区的数据量是会有波动的，分区下桶的个数设计一般会按照最大分区数据量计算，这样会出现越细粒度的分区，桶的个数会冗余越多。例如：
sql.hbase.HBaseSQLParser spark.shuffle.manager 处理数据的方式。有两种实现方式可用：sort和hash。sort shuffle对内存的使用率更高，是Spark 1.2及后续版本的默认选项。 SORT spark.deploy.zookeeper
创建Hive表时，可以指定要加密的列和加密算法。当使用insert语句向表中插入数据时，即可将对应的列进行加密。Hive列加密不支持视图以及Hive over HBase场景。 Hive列加密机制目前支持的加密算法有两种，具体使用的算法在建表时指定。 AES（对应加密类名称为：org
格可序列化的一致性的选项。 提供同时运行顺序读写和随机读写的良好性能。 易于管理。 高可用性。Master和TServer采用raft算法，该算法可确保只要副本总数的一半以上可用，tablet就可以进行读写操作。例如，如果3个副本中有2个副本或5个副本中有3个副本可用，则tabl
列和加密算法。当使用insert语句向表中插入数据时，即可实现将对应列的数据加密。只支持对存储在HDFS上的TextFile和SequenceFile文件格式的Hive表进行列加密，不支持视图以及Hive over HBase场景。 Hive列加密机制目前支持的加密算法有两种，在建表时指定：
格可序列化的一致性的选项。 提供同时运行顺序读写和随机读写的良好性能。 易于管理。 高可用性。Master和TServer采用raft算法，该算法可确保只要副本总数的一半以上可用，tablet就可以进行读写操作。例如，如果3个副本中有2个副本或5个副本中有3个副本可用，则tabl
GROUP BY day, MOD(HASH_CODE(user_id), 1024) ) GROUP BY day 多流join场景建议join字段设置为主键 如果join字段不为主键，会导致Flink shuffle task按照hash进行数据处理，导致在Flink中无法保序。同时状态后端中同一个join
1千万~2亿以内数据为了方便可以不设置分区（Doris内部有一个默认分区），直接用分桶策略即可。 如果分桶字段存在30%以上的数据倾斜，则禁止使用Hash分桶策略，改为使用Random分桶策略，相关命令为： Create table ... DISTRIBUTED BY RANDOM BUCKETS
运行Flink任务报错“java.lang.NoSuchFieldError: SECURITY_SSL_ENCRYPT_ENABLED”如何处理？ 问： Flink任务运行失败，报错如下： Caused by: java.lang.NoSuchFieldError: SECUR
TLS_RSA_WITH_AES_128_CBC_SHA256 设置SSL加密的算法。 如下参数MRS的Flink默认配置没有，用户可以根据需要进行添加，外部连接开启SSL，YARN的代理无法访问Flink页面。这是由于YARN不支持https代理。配置文件中包含认证密码信息可能存在安全风险，建议当前
它用来计算Pi（π）值。 操作步骤 准备sparkPi程序。 开源的Spark的样例程序包含多个例子，其中包含sparkPi。可以从https://archive.apache.org/dist/spark/spark-2.1.0/spark-2.1.0-bin-hadoop2
insertAll(ExternalSorter.scala:217) at org.apache.spark.shuffle.hash.HashShuffleReader.read(HashShuffleReader.scala:102) at org.apache
Manager管理界面，选择“系统 > 权限 > 用户”，选择用户flume_hdfs，选择“更多 > 下载认证凭据”下载Kerberos证书文件并保存在本地。 图1 下载认证凭据 配置Flume参数。 使用FusionInsight Manager界面中的Flume来配置Flume角色服务端参数并生成配置文件。
在FusionInsight Manager管理界面，选择“系统 > 权限 > 用户”，选择“更多 > 下载认证凭据”下载用户flume_hdfs的kerberos证书文件并保存在本地。 图1 下载认证凭据 配置Flume参数。 使用FusionInsight Manager界面中的Flume配置工具来配
POST -HContent-type:application/json -d '{"plainText":"password"}' 'https://x.x.x.x:28443/web/api/v2/tools/encrypt' 其中user name:password分别为当前
在FusionInsight Manager管理界面，选择“系统 > 权限 > 用户”，选择“更多 > 下载认证凭据”下载用户flume_hdfs的kerberos证书文件并保存在本地。 图1 下载认证凭据 配置Flume角色客户端参数。 使用FusionInsight Manager界面中的Flume配
在FusionInsight Manager管理界面，选择“系统 > 权限 > 用户”，选择“更多 > 下载认证凭据”下载用户flume_hdfs的kerberos证书文件并保存在本地。 图1 下载认证凭据 配置Flume角色服务端参数。 使用FusionInsight Manager界面中的Flume配
fileoutputcommitter.algorithm.version 用于指定Job的最终输出文件提交的算法版本，取值为“1”或“2”。 说明： 版本2为建议的优化算法版本。该算法通过让任务直接将每个task的输出结果提交到最终的结果输出目录，从而减少大作业的输出提交时间。 2 父主题：
在FusionInsight Manager管理界面，选择“系统 > 权限 > 用户”，选择“更多 > 下载认证凭据”下载用户flume_hdfs的kerberos证书文件并保存在本地。 图1 下载认证凭据 配置Flume角色客户端参数。 使用FusionInsight Manager界面中的Flume配
insertAll(ExternalSorter.scala:217) at org.apache.spark.shuffle.hash.HashShuffleReader.read(HashShuffleReader.scala:102) at org.apache
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
