检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
0/src/kafka-examples。 本地使用IDEA工具导入样例工程，等待Maven工程下载相关依赖包。 本地配置好Maven及SDK相关参数后，样例工程会自动加载相关依赖包，具体操作可参考配置并导入样例工程。 图2 导入Kafka样例程序 在示例程序“WordCountDemo”中，通过调用K
值为false。 若接口值为true，则代表sparkContext已完全stop。 若接口值为false，则代表sparkContext没有完成stop。 例如：用户根据 sc.isSparkContextDown.get() == true 可判断sparkContext已完全stop。
值为false。 若接口值为true，则代表sparkContext已完全stop。 若接口值为false，则代表sparkContext没有完成stop。 例如：用户根据 jsc.sc().isSparkContextDown().get() == true 可判断sparkContext已完全stop。
值为false。 若接口值为true，则代表sparkContext已完全stop。 若接口值为false，则代表sparkContext没有完成stop。 例如：用户根据 sc.isSparkContextDown.get() == true 可判断sparkContext已完全stop。
selectExpr("b").writeStream，只有当sink支持“a”到“b”的schema转换时才不会出错。 状态操作的变更，在部分场景下会导致状态恢复失败： Streaming aggregation：如sdf.groupBy("a").agg(...)操作中，不允许分组键或聚合键的类型或者数量发生变化。
selectExpr("b").writeStream，只有当sink支持“a”到“b”的schema转换时才不会出错。 状态操作的变更，在部分场景下会导致状态恢复失败： Streaming aggregation：如sdf.groupBy("a").agg(...)操作中，不允许分组键或聚合键的类型或者数量发生变化。
selectExpr("b").writeStream，只有当sink支持“a”到“b”的schema转换时才不会出错。 状态操作的变更，在部分场景下会导致状态恢复失败： Streaming aggregation：如sdf.groupBy("a").agg(...)操作中，不允许分组键或聚合键的类型或者数量发生变化。
memoryOverhead 每个执行器要分配的堆内存量（单位为兆字节）。 这是占用虚拟机开销的内存，类似于内部字符串，其他内置开销等等。会随着执行器大小（通常为6-10％）而增长。 1GB spark.streaming.kafka.direct.lifo 配置是否开启Kafka后进先出功能。
memoryOverhead 每个执行器要分配的堆内存量（单位为兆字节）。 这是占用虚拟机开销的内存，类似于内部字符串，其他内置开销等等。会随着执行器大小（通常为6-10％）而增长。 1GB spark.streaming.kafka.direct.lifo 配置是否开启Kafka后进先出功能。
/audit/yarn/nm”（审计日志） 日志归档规则：Yarn的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过50MB的时候，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的
data/kafka/ui”（运行日志） 日志归档规则：Kafka的日志启动了自动压缩归档功能，默认情况下，当日志大小超过30MB的时候，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。默认最多保留最
的32个CPU核，而只有64GB的内存，这个内存是不够的。例如，当每个执行器有4个内核和12GB内存，有时在查询期间发生垃圾收集（GC），会导致查询时间从3秒增加到超过15秒。在这种情况下需要增加内存或减少CPU内核。 用于CarbonData数据加载的配置参数，详情请参见表3、表4和表5。
本功能通过调用HDFS的Hadoop Archives功能进行日志归档。由于Hadoop Archives归档任务实际上是执行一个MR应用程序，所以在每次执行日志归档任务后，会新增一条MR执行记录。 本功能归档的日志来源于日志收集功能，因此只有在日志收集功能开启状态下本功能才会生效。 父主题： MapReduce
的32个CPU核，而只有64GB的内存，这个内存是不够的。例如，当每个执行器有4个内核和12GB内存，有时在查询期间发生垃圾收集（GC），会导致查询时间从3秒增加到超过15秒。在这种情况下需要增加内存或减少CPU内核。 用于CarbonData数据加载的配置参数，详情请参见表3、表4和表5。
/audit/yarn/nm”（审计日志） 日志归档规则：Yarn的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过50MB的时候，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的
载相关依赖包，具体操作可参考配置并导入样例工程。 图1 ClickHouse样例工程示例 本地配置好Maven及SDK相关参数后，样例工程会自动加载相关依赖包。 在本示例工程中，程序通过配置文件中的IP地址信息及用户信息与ClickHouse服务端进行连接。因此工程导入完成后，需
成”，配置保存成功。 保存完成后请重新启动配置过期的服务或实例以使配置生效。 配置参数前包含图标时，表示该参数为动态生效，保存配置后参数值会自动刷新到配置文件中。（动态生效图标仅MRS 3.2.0及之后版本支持） MRS 2.x及之前版本： 在MRS Manager界面，单击“服务管理”。
当Task节点个数为0时，使用该字段指定Task节点的规格。 当Task节点个数大于0时，不能使用该字段。该字段为空时，不填即可，字段内含必填参数不可使用会传空值对象的置空按钮。 取值范围： 不涉及 默认取值： 不涉及 表4 TaskNodeInfo 参数 是否必选 参数类型 描述 node_size
HDFS HTTP REST API接口介绍 功能简介 REST应用开发代码样例中所涉及的文件操作主要包括创建文件、读写文件、追加文件、删除文件。完整和详细的接口请参考官网上的描述以了解其使用：http://hadoop.apache.org/docs/r2.7.2/hadoop
以及数据驱动的自定义窗口，可以通过灵活的触发条件定制，实现复杂的流式计算模式。 容错机制 分布式系统，单个Task或节点的崩溃或故障，往往会导致整个任务的失败。Flink提供了任务级别的容错机制，保证任务在异常发生时不会丢失用户数据，并且能够自动恢复。 Checkpoint：Fl
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
