检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi的自定义配置项样例程序 HoodieDeltaStreamer 自定义排序器 父主题： 开发Spark应用
要附加到任何指定的ApplicationName客户端信息属性的前缀，该属性用于设置HetuEngine查询的源名称，如果既未设置此属性也未设置ApplicationName，则查询的源将为HetuEngine JDBC。 accessToken 基于令牌的身份验证令牌。 SSL
实例”，获取HSFabric所有实例的业务IP；在“配置”页签，搜索“gateway.port”，获取HSFabric的端口号。 user 访问HetuEngine的用户名，即在集群中创建的“人机”用户的用户名。 KerberosPrincipal KerberosKeytabPath指定的keytab对应的用户名。
”，作业配置完成。 在“作业管理”的作业列表中，找到创建的作业名称，单击操作列的“启动”，等待作业启动。 观察数据传输是否生效，例如在PgSQL数据库中对表进行插入数据操作，然后参考查看Kafka数据生产消费详情进入KafkaUI界面查看Kafka的Topic中是否有数据生成。 父主题：
访问Impala WebUI界面 使用Impala操作Kudu表 Impala对接外部LDAP Impala启用并配置动态资源池 使用Impala查询管理界面 Impala常见配置参数 Impala常见问题
y.java:745) 若发生此异常，请为租户配置足够的磁盘空间配额。 例如： 需要的磁盘空间配置可以按照如下方法计算： 如果HDFS的副本数为3， HDFS默认的块大小为128MB，则最小需要384MB的磁盘空间用于写表的schema文件到HDFS上。计算公式：no. of block
如何处理由于Region处于FAILED_OPEN状态而造成的建表失败异常 问题 如何处理由于Region处于FAILED_OPEN状态而造成的建表失败异常。 回答 建表过程中如果发生网络故障、HDFS故障或者Active HMaster故障等情况时，可能会造成部分Region上
滤掉分区路径不存在的分区，来避免读取时报错。 配置描述 可以通过以下两种方式配置是否过滤掉分区表分区路径不存在的分区。 在Spark Driver端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.sql.hive.verifyPartitionPath
读取出来，重新拼成完整的信息。而Spark2x直接使用相应的key获取对应的信息。这样在Spark2x中去读取Spark1.5创建的DataSource表时，就无法成功读取到key对应的信息，导致解析DataSource表信息失败。 而在处理Hive格式的表时，Spark2x与Spark1
Impala正常使用的udf突然报了找不到类路径，Hive中可用，但Impala报找不到类路径 问题 Impala之前正常使用的udf突然报了找不到类路径，Hive中可正常使用，但Impala报找不到类路径。 回答 Impala默认将UDF对应的jar包缓存到“/tmp”目录下，
提交和部署拓扑的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 Flux框架是Storm提供的提高拓扑部署易用性的框架。通过Flux框架，用户可以使用yaml文件来定义和部署拓扑，并且最终通过storm jar命令来提交拓扑的一种方式，极大地方便了拓扑的部署和提交，缩短了业务开发周期。
为各个分区的数据量是会有波动的，分区下桶的个数设计一般会按照最大分区数据量计算，这样会出现越细粒度的分区，桶的个数会冗余越多。例如： 采用天级分区，平均的日增数据量是3GB，最多一天的日志是8GB，这个会采用Bucket桶数= 8GB/2GB = 4 来创建表；每天的更新数据占比
Spark的表管理层次如图1所示，最底层是Spark的临时表，存储着使用DataSource方式的临时表，在这一个层面中没有数据库的概念，因此对于这种类型表，表名在各个数据库中都是可见的。 上层为Hive的MetaStore，该层有了各个DB之分。在每个DB中，又有Hive的临时表与
Hudi应用开发规范 Hudi开发规范概述 Hudi数据表设计规范 Hudi数据表管理操作规范 Spark on Hudi开发规范 Bucket调优示例
使用Storm 从零开始使用Storm 使用Storm客户端 使用客户端提交Storm拓扑 访问Storm的WebUI 管理Storm拓扑 查看Storm拓扑日志 Storm常用参数 配置Storm业务用户密码策略 迁移Storm业务至Flink Storm日志介绍 性能调优
式关联B表字段（P1，B1，B2，B3）生成C的场景中，B表信息发生大量更新，但是B中的所需字段没有更新，在该关联中仅用到了B表的B1和B2字段，对于B表，每个记录更新只更新B3字段，B1和B2不更新，因此当B表更新，可以忽略更新后的数据。 select A.A1,B.B1,B
特性，支持高吞吐量数据访问的分布式文件系统，适合大规模数据集应用。 HDFS适用于如下场景。 处理海量数据（TB或PB级别以上） 需要很高的吞吐量 需要高可靠性 需要很好的可扩展能力 HDFS开发接口简介 HDFS支持使用Java语言进行程序开发，具体的API接口内容请参考HDFS
将准备应用开发配置文件中获取的集群配置文件及用户认证文件放置在样例工程的“conf”目录下。 在HDFS样例工程代码中，不同的样例工程，使用的认证代码不同，包括基本安全认证和带ZooKeeper认证。 本示例中，不需要访问HBase或ZooKeeper，所以使用基本的安全认证代码即可。 在“com
[1]userdir获取的是编译后资源路径下conf目录的路径。将初始化需要的配置文件“core-site.xml”、“hdfs-site.xml”、“hbase-site.xml”和用于安全认证的用户凭证文件放置到“src/main/resources”的目录下。 安全登录 请根
HBase企业级能力增强 配置HBase本地二级索引提升查询效率 增强HBase BulkLoad工具数据迁移能力 配置RSGroup管理RegionServer资源 父主题： 使用HBase
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
