检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Consumer消费数据失败，提示“SchemaException: Error reading field” 问题背景与现象 Consumer来消费Kafka中指定Topic的消息时，发现无法从Kafka中获取到数据。 提示如下错误： org.apache.kafka.common
”为可选参数。如果没有指定“db_name”，那么将会删除当前数据库下名为“table_name”的表。 示例： DROP TABLE productdb.productSalesTable; 通过上述命令，删除数据库“productdb”下的表“productSalesTable”。
解决sudo提权漏洞 解决扩容刷新队列会导致队列丢失问题 MRS大数据组件 解决Hive on Spark任务报block id乱码，导致任务卡住问题 Hive中增加自研的接口 解决map.xml无法读取的问题 Hive har特性优化 解决ZK脏数据导致Yarn服务不可用问题 OBS包升级 JDK版本升级
调小“log4j.appender.sparklog.MaxBackupIndex”参数值（表示滚动保存的文件数量，最大为10个文件，达到第11个覆盖第一个生成的文件），例如修改为“5”。 保存文件。 重新提交作业，作业运行正常。 父主题： 使用Yarn
使用KafkaStreams统计数据 功能简介 以下提供High level KafkaStreams API代码样例及Low level KafkaStreams API代码样例，通过Kafka Streams读取输入Topic中的消息，统计每条消息中的单词个数，从输出Topic消费数据，将统计结果
向Kafka生产并消费数据程序 Flink向Kafka生产并消费数据应用开发思路 Flink向Kafka生产并消费数据Java样例代码 Flink向Kafka生产并消费数据Scala样例代码 父主题： 开发Flink应用
Hudi数据表管理操作规范 Hudi数据表Compaction规范 Hudi数据表Clean规范 Hudi数据表Archive规范 父主题： Hudi应用开发规范
时也会监控这个文件，导致此文件被两个进程同时监控。当其中一个进程按照配置滚动的时候，删除了最早的日志文件，但是另一个进程依旧占用此文件句柄，从而产生了deleted状态的文件。 处理步骤 将Spark的executor日志输出目录修改成其他名称： 打开日志配置文件，默认在“<客户
IDEA客户端机器时间，和Storm集群时间差不超过5分钟。 确保本地的hosts文件中配置了远程集群所有主机的主机名和业务IP映射关系。 操作步骤 修改WordCountTopology.java类，使用remoteSubmit方式提交应用程序。并替换Jar文件地址。 使用remoteSubmit方式提交应用程序
version 打印版本信息。 jar <jar> 运行jar文件。 logs 获取container日志。 classpath 打印获取Hadoop JAR包和其他库文件所需的CLASSPATH路径。 daemonlog 获取或者设置服务LOG级别。 CLASSNAME 运行一个名字为CLASSNAME的类。
上传文件：添加本地的jar包 指定路径：已准备好的依赖文件的HDFS路径 上传文件 上传文件 注册jar选择为“上传文件”时，需通过该项上传本地jar文件。 - 指定路径 注册jar选择为“指定路径”时，需通过该项输入依赖文件的HDFS路径（需提前准备好jar包上传至HDFS）。 /flink_upload
Producer API生产数据。 sh kafka-console-producer.sh --broker-list <Kafka集群IP:9092> --topic <Topic名称> --old-producer -sync Old Consumer API消费数据。 sh kafka-console-consumer
Hudi Savepoint操作说明 Savepoint用于保存并还原自定义的版本数据。 Hudi提供的savepoint就可以将不同的commit保存起来以便清理程序不会将其删除，后续可以使用Rollback进行恢复。 使用spark-sql管理savepoint。 示例如下：
本样例中Job每秒生成1条数据，将数据写入到Hudi表中，再读取并打印Hudi表中的数据。 开发思路 写Hudi： 通过一个随机生成数据类来生成数据。 将生成的数据转化为DataStream<RowData>。 将数据写入到Hudi表中。 读Hudi： 读取Hudi表中的数据。 将读取的数据拼接成json格式并打印。
新目录。 更改NodeManager的存储目录以后，需要重新下载并安装客户端。 前提条件 在各个数据节点准备并安装好新磁盘，并格式化磁盘。 规划好新的目录路径，用于保存旧目录中的数据。 准备好MRS集群管理员用户admin。 操作步骤 MRS 3.x之前的版本集群执行以下操作： 检查环境。
调测Kudu应用 使用Maven编译。 解决“Error:(123,49) java: -source 1.5 中不支持 diamond 运算符”错误： 得到输出包： 上传jar包到Linux服务器执行。 父主题： Kudu开发指南（普通模式）
-mkdir -p /user/developuser/myjobs/apps/spark2x/hive 将表格中的文件上传到对应目录，请参考表2。 表2 文件上传列表 初始文件路径 文件 上传目标目录 Spark客户端目录（如“/opt/client/Spark2x/spark/conf”）
确保本地的hosts文件中配置了远程集群所有主机的主机名和业务IP映射关系。 操作步骤 修改WordCountTopology.java类，使用remoteSubmit方式提交应用程序。并替换用户keytab文件名称，用户principal名称，和Jar文件地址。 使用remoteSubmit方式提交应用程序
on OBS在小批量频繁请求OBS的场景下，可以通过关闭OBS监控提升性能。 配置描述 在Spark客户端的“core-site.xml”配置文件中修改配置。 表1 参数介绍 参数 描述 默认值 fs.obs.metrics.switch 上报OBS监控指标开关： true表示打开 false表示关闭
调测Kudu应用 使用Maven编译。 解决“Error:(123,49) java: -source 1.5 中不支持 diamond 运算符”错误： 得到输出包： 上传jar包到Linux服务器执行。 父主题： Kudu开发指南（安全模式）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
