检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
call）通道，HMaster和RegionServer间的RPC通道。设置为“privacy”表示通道加密，认证、完整性和隐私性功能都全部开启，设置为“integrity”表示不加密，只开启认证和完整性功能，设置为“authentication”表示不加密，仅要求认证报文，不要求完整性和隐私性。 说明：
oKeeper实现避免HBase单点故障问题的问题。 ZooKeeper和Kafka的配合关系 ZooKeeper与Kafka的关系如图 ZooKeeper和Kafka的关系所示。 图4 ZooKeeper和Kafka的关系 Broker端使用ZooKeeper用来注册broker信息，并进行partition
Spark Core 日志聚合下，如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中
Hive应用开发常见问题 Hive对外接口介绍 配置Windows通过EIP访问普通模式集群Hive 使用IBM JDK产生异常“Problem performing GSS wrap”如何处理 父主题： Hive开发指南（普通模式）
Transaction特性 特性说明：Kafka在0.11版本中，引入了事务特性，Kafka事务特性指的是一系列的生产者生产消息和消费者提交偏移量的操作在一个事务中，或者说是一个原子操作，生产消息和提交偏移量同时成功或者失败，此特性提供的是read committed隔离级别的事务，保证多条消息原子性的
FS、TaskManager、Kafka和Zookeeper。 使用YARN内部的认证机制：Yarn Resource Manager与Application Master（简称AM）。 如果用户安装安全集群需要使用kerberos认证和security cookie认证。根据日
Payload的格式是基于Apache Avro的，它使用了Avro的schema来定义数据的结构和类型。Payload可以被序列化和反序列化，以便在Hudi中进行数据的读取和写入。总之，Hudi Payload是Hudi的一个重要组成部分，它提供了一种可靠的、高效的、可扩展的方式来管理大规模数据湖中的数据变更。
Flink DataStream样例程序 Flink Kafka样例程序 Flink开启Checkpoint样例程序 Flink Job Pipeline样例程序 Flink Join样例程序 父主题： Flink开发指南（安全模式）
准备Storm应用开发环境 Storm应用开发环境简介 准备Eclipse与JDK 准备Linux客户端环境 导入并配置Storm样例工程 父主题： Storm开发指南
步骤） kinit 组件业务用户 执行以下命令登录客户端工具。 zkCli.sh -server <任一ZooKeeper实例所在节点业务IP>:<clientPort> 执行以下命令删除无用数据。 delete 待删除文件路径 登录FusionInsight Manager，选择“集群
jar，该jar包可在client目录下获取。 下面列出producer和consumer，以及Flink Stream SQL Join使用主要逻辑代码作为演示。 完整代码参见com.huawei.bigdata.flink.examples.WriteIntoKafka和com.huawei.bigdata.flink
jar，该jar包可在Kafka客户端目录下获取。 下面列出producer和consumer，以及Flink Stream SQL Join使用主要逻辑代码作为演示。 完整代码参见com.huawei.bigdata.flink.examples.WriteIntoKafka和com.huawei.bigdata.flink
KafkaToHudi \ --enable-hive-sync \ --allow-fetch-from-multiple-sources \ --allow-continuous-when-multiple-sources 当“source”的类型是“kafka source”时，“--schem
行配置），会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd>.[编号].log.zip”。最多保留最近的20个压缩文件，压缩文件保留个数和压缩文件阈值可以配置 表1 JobGateway日志列表 日志类型 日志文件名 描述 jobserver运行日志
在本地Windows环境中调测Spark应用 配置Windows通过EIP访问集群Spark 在本地Windows环境中编包并运行Spark程序 在本地Windows环境中查看Spark程序调试结果 父主题： 调测Spark应用
在本地Windows环境中调测Spark应用 配置Windows通过EIP访问集群Spark 在本地Windows环境中编包并运行Spark程序 在本地Windows环境中查看Spark程序调试结果 父主题： 调测Spark应用
准备HDFS应用开发环境 准备本地应用开发环境 准备HDFS应用开发用户 准备Eclipse与JDK 准备HDFS应用运行环境 导入并配置HDFS样例工程 父主题： HDFS开发指南
Hive应用开发常见问题 Hive对外接口介绍 配置Windows通过EIP访问普通模式集群Hive 使用IBM JDK产生异常“Problem performing GSS wrap”如何处理 父主题： Hive开发指南（普通模式）
apreduce-examples-2.7.x.jar HDFS存储路径：以“/user”开头。Spark Script需要以“.sql”结尾，MapReduce和Spark需要以“.jar”结尾。sql、jar不区分大小写。 父主题： 使用Spark
Kafka应用开发常见问题 Kafka常用API介绍 配置Windows通过EIP访问集群Kafka 运行Producer.java样例报错获取元数据失败“ERROR fetching topic metadata...” 父主题： Kafka开发指南（普通模式）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
