检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kudu Kudu是专为Apache Hadoop平台开发的列式存储管理器,具有Hadoop生态系统应用程序的共同技术特性:在通用的商用硬件上运行,可水平扩展,提供高可用性。 Kudu的设计具有以下优点: 能够快速处理OLAP工作负载 支持与MapReduce,Spark和其他Hadoop生态系统组件集成
IoTDB提供了如表2所示的日志级别。 日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。 表2 日志级别 级别 描述 ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。
本工程中,程序使用自定义算子持续产生数据,产生的数据为一个四元组(Long,String,String,Integer)。数据经统计后,将统计结果打印到终端输出。每隔6秒钟触发一次checkpoint,然后将checkpoint的结果保存到HDFS中。 FlinkCheckpointScalaExample
Spark Streaming Streaming任务打印两次相同DAG日志 Spark Streaming任务一直阻塞 运行Spark Streaming任务参数调优的注意事项 为什么提交Spark Streaming应用超过token有效期,应用失败 为什么Spark Str
表中,再读取并打印Hudi表中的数据。 开发思路 写Hudi: 通过一个随机生成数据类来生成数据。 将生成的数据转化为DataStream<RowData>。 将数据写入到Hudi表中。 读Hudi: 读取Hudi表中的数据。 将读取的数据拼接成json格式并打印。 父主题: Flink读取Hudi表样例程序
客户端metric信息是否打印 true 可选配置 dual.client.schedule.metrics.second 客户端metric信息打印周期 300 可选配置 dual.client.asynchronous.enable 是否异步请求主备集群 false 可选配置 打印metric信息
表中,再读取并打印Hudi表中的数据。 开发思路 写Hudi: 通过一个随机生成数据类来生成数据。 将生成的数据转化为DataStream<RowData>。 将数据写入到Hudi表中。 读Hudi: 读取Hudi表中的数据。 将读取的数据拼接成json格式并打印。 父主题: Flink读取Hudi表样例程序
NodeAgent下发停止服务指令时打印jstack日志。 日志级别 Flume提供了如表2所示的日志级别。 运行日志的级别优先级从高到低分别是FATAL、ERROR、WARN、INFO、DEBUG,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。 表2 日志级别
客户端metric信息是否打印 true 可选配置 dual.client.schedule.metrics.second 客户端metric信息打印周期 300 可选配置 dual.client.asynchronous.enable 是否异步请求主备集群 false 可选配置 打印metric信息说明
客户端metric信息是否打印 true 可选配置 dual.client.schedule.metrics.second 客户端metric信息打印周期 300 可选配置 dual.client.asynchronous.enable 是否异步请求主备集群 false 可选配置 打印metric信息说明
enerate_client_patch.sh 如看到“generate client patch success”打印,则说明生成补丁包成功,如出现ERROR打印,则说明生成失败,可参考步骤4.a定位。 查看日志 /opt/Bigdata/patches/log/generate_client_patch
database ignore_producer_error 否 是否忽略生产者发送数据失败的错误 true:在日志中打印错误信息并跳过错误的数据,程序继续运行 false:在日志中打印错误信息并终止程序 true metrics_slf4j_interval 否 在日志中输出上传kafka
客户端metric信息是否打印 true 可选配置 dual.client.schedule.metrics.second 客户端metric信息打印周期 300 可选配置 dual.client.asynchronous.enable 是否异步请求主备集群 false 可选配置 打印metric信息
Oozie中提供了如表2所示的日志级别。 日志级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。 表2 日志级别 级别 描述 ERROR ERROR表示错误日志,可能会导致进程异常。 WARN
运行日志的级别优先级从高到低分别是error、warning、trace、information、debug,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。 表2 日志级别 级别 描述 error error表示系统运行的错误信息。 warning
Oozie中提供了如表2所示的日志级别。 日志级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。 表2 日志级别 级别 描述 ERROR ERROR表示错误日志,可能会导致进程异常。 WARN
Spark Streaming Streaming任务打印两次相同DAG日志 Spark Streaming任务一直阻塞 运行Spark Streaming任务参数调优的注意事项 为什么提交Spark Streaming应用超过token有效期,应用失败 为什么Spark Str
Spark SQL在不同DB都可以显示临时表 问题 切换数据库之后,为什么还能看到之前数据库的临时表? 创建一个DataSource的临时表,例如以下建表语句。 create temporary table ds_parquet using org.apache.spark.sql
threadDump-<DATE>.log 实例重启或实例停止时会打印。 其他 hetu-updateKrb5.log 部署Hive集群更换域后,Hive数据源配置自动刷新时打印的日志。 hetu_utils.log 启动时预处理脚本调用工具类上传文件到HDFS时打印的日志。 日志级别 HetuEngine
/home/omm/MRS_Log4j_Patch/bin nohup sh install.sh upgrade & 通过tail -f nohup.out可查看执行情况(打印 “upgrade patch success.” 表示执行完成)。 登录Manager页面,重启受影响的组件,受影响组件请参考受影响组件列表。建议业务低峰期时执行重启操作。