检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
到此“/home/data”目录下。 将Kafka的Broker配置参数“allow.everyone.if.no.acl.found”值设置为“true”(普通集群不需配置)。 启动样例代码的Producer，向Kafka发送数据。 java -cp $SPARK_HOME/j
distcp默认拷贝文件时不记录原block大小导致在原文件block.size不是128M时校验失败，需要在distcp命令增加-pb参数。 原因分析 HDFS在写的时候有设置块大小，默认128M，某些组件或者业务程序写入的文件可能不是128M，如8M。 <name>dfs.blocksize</name> <v
Manager界面，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“ClickHouse”，单击“确定”。 在“主机”中选择对应的主机。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除
> 下载”。 在“服务”中勾选待操作集群的“ClickHouse”。 在“主机”中选择异常的主机，单击“确定”。 单击右上角的时间编辑按钮，设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除
进行登录认证。 // 设置新建用户的userName，其中"xxx"指代之前创建的用户名，例如创建的用户为developuser，则USER_NAME为developuser USER_NAME = "xxx"; // 设置客户端的keytab和krb5文
进行登录认证。 // 设置新建用户的userName，其中"xxx"指代之前创建的用户名，例如创建的用户为developuser，则USER_NAME为developuser USER_NAME = "xxx"; // 设置客户端的keytab和krb5文
一般建议以5-10秒/次为宜。 方式二：将Kafka的阈值调大，建议在FusionInsight Manager中的Kafka服务进行参数设置，将socket.request.max.bytes参数值根据应用场景，适当调整。 父主题： Spark应用开发常见问题
通过Manager页面，查看当前Kafka集群配置。 MRS Manager界面操作：登录MRS Manager，选择“服务管理 > Kafka > 服务配置”，“参数类别”设置为“全部配置”，发现“KAFKA_JVM_PERFORMANCE_OPTS”的中“-XX:MaxDirectMemorySize”值为“1G”。
使用限制：当前统计信息收集不支持针对分区表的分区级别的统计信息。 在Spark客户端的“spark-defaults.conf”配置文件中进行表1设置。 表1 参数介绍 参数 描述 默认值 spark.sql.cbo.enabled CBO总开关。 true表示打开， false表示关闭。
比如换行时标准的解析会自动换行的问题。 解决Yarn监控图缺失问题。 解决使用Sqoop将MySQL数据导入到Hive中失败的问题。 解决Yarn配置本地化日志级别参数被设置为不支持修改的问题。 Hudi clean与archive逻辑解耦，不执行clean也能执行归档。 解决Hudi的.schema目录下文件找不到的问题。
Manager界面，选择“运维 > 日志 > 下载”。 在“服务”中勾选“OmsKerberos”和“OmmServer”，单击“确定”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除
根据吞吐量粗略计算，假设生产者可以达到的吞吐量为P，消费者可以达到的吞吐量为C，预期Kafka吞吐量为T，那么建议该Topic的Partition数目设置为Max(T/P , T/C)。 在Kafka集群中，分区越多吞吐量越高，但是分区过多也存在潜在影响，例如文件句柄增加、不可用性增加（如：
若Streaming应用中使用了state函数，则不允许开启对接Kafka可靠性功能。 配置描述 在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.streaming.Kafka.reliability Spark Streaming对接Kafka是否开启可靠性功能：
val resultValue = hiveValue + hbaseValue.toInt // 设置结果到put对象 put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes("cid")
量中密文存放，使用时解密，确保安全; // 本示例以密码保存在环境变量中来实现身份验证为例，运行本示例前，请先在本地环境中设置环境变量HETUENGINE_PASSWORD properties.setProperty("user", "YourUserName");
order01 INCLUDING PROPERTIES; 创建表orders_like02，它将包含表order02定义的列，并将表的存储格式设置为‘TEXTFILE’ CREATE TABLE orders_like02 like order02 STORED AS TEXTFILE;
例，则在该session中找不到该function，而且hive默认将“hive.exec.drop.ignorenonexistent”设置为“true”，即当function不存在时，删除function操作不会报错，这样就表现出了用户没有drop function的权限，执
在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“CDL”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除
在“服务”中勾选待操作集群的如下节点信息。 KrbServer 普通模式不需要下载KrbServer日志。 ZooKeeper Storm 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除
在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“Kafka”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
