检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果需要在WebUI界面上查看之前产生的日志,建议将此参数设置为“true”。 true yarn.nodemanager.log-aggregation.roll-monitoring-interval-seconds NodeManager周期性日志收集的时间间隔。
查看日志。如果日志里面没有ERROR日志,且有打印如下日志,表示与MySQL连接正常。 BinlogConnectorLifecycleListener - Binlog connected. 登录MySQL数据库,对测试数据进行更新/创建/删除等操作。
可以使用以下命令查看curl版本: curl -V :version(GET) 描述 查询WebHCat支持的返回类型列表。
可以使用以下命令查看curl版本: curl -V :version(GET) 描述 查询WebHCat支持的返回类型列表。
若脚本执行失败,请到集群虚拟机的“/var/log/Bootstrap”路径下查看失败日志。 由于缩容成功不可回滚,缩容后执行的脚本失败操作只能选择“继续”。 自动化脚本只在弹性伸缩时触发,手动调整集群节点时不会运行。 父主题: MRS集群Task节点弹性伸缩
/configure && make && make install 查看GDB是否安装成功。 gdb --version 打印出gdb版本信息即为安装成功。 父主题: HDFS应用开发常见问题
图8 查看HDFS目录和文件 父主题: 配置Flume加密传输数据采集任务
图7 查看HDFS目录和文件 父主题: 配置Flume加密传输数据采集任务
auto.offset.reset=earliest #auto.offset.reset=latest group.id=hoodie-delta-streamer offset.rang.limit=10000 指定HoodieDeltaStreamer执行参数(具体参数配置,请查看官网
调度器类型可登录Manager,在Yarn服务“全部配置”页面搜索“yarn.resourcemanager.scheduler.class”参数进行查询。
migrateZookeeperOffsets true 当Kafka没有存储offset时,是否从ZooKeeper中查找,并提交到Kafka。 kafka.consumer.auto.offset.reset latest 当没有offset记录时,从指定的位置消费数据。
migrateZookeeperOffsets true 当Kafka没有存储offset时,是否从ZooKeeper中查找,并提交到Kafka。 kafka.consumer.auto.offset.reset latest 当没有offset记录时,从指定的位置消费数据。
如果要自动清除旧日志,请查看spark.executor.logs.rolling.maxRetainedFiles。 daily WebUI WebUI展示了Spark应用运行的过程和状态。
若要自动清除旧日志,请查看spark.executor.logs.rolling.maxRetainedFiles。 daily WebUI WebUI展示了Spark应用运行的过程和状态。
观察数据传输是否生效,例如在MySQL数据库中对作业中指定的表进行插入数据操作,查看Hudi导入的文件内容是否正常。 父主题: 创建CDL作业
说明: 查看代码和rebalance的方式是一样的。 def broadcast: DataStream[T] 广播每个元素到所有分区。
说明: 查看代码和rebalance的方式是一样的。 def broadcast: DataStream[T] 广播每个元素到所有分区。
说明: 查看代码和rebalance的方式是一样的。 def broadcast: DataStream[T] 广播每个元素到所有分区。
说明: 查看代码和rebalance的方式是一样的。 def broadcast: DataStream[T] 广播每个元素到所有分区。
对于已经安装好的Flink集群,用户可以通过查看配置的值来区分当前安装的是安全模式还是普通模式。 自动配置 否 rest.bind-port web端口,支持范围:32261-32325。