检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ClickHouse日志介绍 日志描述 日志路径：ClickHouse相关日志的默认存储路径为“${BIGDATA_LOG_HOME}/clickhouse”。 日志归档规则：ClickHouse日志启动了自动压缩归档功能，缺省情况下，当日志大小超过100MB的时候，会自动压缩，
执行load data inpath命令报错 问题现象 执行load data inpath报如下错误： 错误1： HiveAccessControlException Permission denied. Principal [name=user1, type=USER] does
conf”配置文件中，重启JDBCServer实例。 MRS_3.2.0-LTS.1.10以及之后补丁，修复管控面提交Spark长稳业务中业务jar包和业务表在同一个OBS桶下偶现OBS 403认证过期问题，开启方法（若之前有设置过，则跳过）：在Master节点通过ps -ef | grep
Spark Streaming样例工程的数据存储在Kafka组件中（需要有Kafka权限用户）。 本地新建两个文本文件input_data1.txt和input_data2.txt，将log1.txt的内容复制保存到input_data1.txt，将log2.txt的内容复制保存到input_data2
{BrokerList} {Topic} 如果开启了kerberos认证，需要将客户端的配置文件“spark-defaults.conf”和sparkJDBC服务端中的配置项spark.yarn.security.credentials.hbase.enabled置为true。
- omm 执行ping命令，查看Sqoop实例所在主机和依赖组件所在主机的网络连接是否正常。（依赖组件包括ZooKeeper、DBService、HDFS、Mapreduce和Yarn等，获取依赖组件所在主机的IP地址的方式和获取Sqoop实例的IP地址的方式相同。） 是，执行7。
Manager界面，选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Doris”。 单击右上角的时间编辑按钮，设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。
HBase配置了容灾并且容灾存在数据同步失败或者同步速度慢； HBase集群存在大量的WAL文件在进行split。 处理步骤 检查znode数量配额和使用量 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，选中“告警ID”为“19015”的告警，查看“附加信息”中的阈值。
权限的用户，如需在页面上进行相关操作，例如创建Topic，需同时授予用户相关权限，请参考Kafka用户权限说明。 第一次访问Manager和KafkaUI，需要在浏览器中添加站点信任以继续访问KafkaUI。 使用Kafka客户端生产消费数据（MRS 3.x之前版本） 安装客户端，具体请参考安装客户端章节。
var hiveValue = iteratorArray(i).getInt(1) // 根据列簇和列，获取hbase值 val hbaseValue = Bytes.toString(resultData.getValue(columnFamily
Scala样例代码 功能简介 在Spark应用中，通过使用HBase接口来实现创建表，读取表，往表中插入数据等操作。 代码样例 下面代码片段仅为演示，具体代码参见SparkOnHbaseScalaExample： 样例：创建HBase表 //建立连接hbase的配置参数，此时需要保证hbase-site
Browser”页面。 新建HBase表 访问Hue WebUI。 单击HBase，进入“HBase Browser”页面。 单击右侧“新建表”按钮，输入表名和列族参数，单击“提交”，完成HBase表创建。 图1 新建表 查询HBase表数据 访问Hue WebUI。 单击HBase，进入“HBase
Manager界面，选择“运维 > 日志 > 下载”。 在“服务”中勾选“Controller”和“NodeAgent”，在主机中勾选主备OMS节点及告警上报节点主机，单击“确定”。 单击右上角的编辑按钮设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。
Manager界面，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“ZooKeeper”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。
的亚健康状态不会自动恢复，需要手动检查确认和恢复，或者再次执行滚动重启操作，或者执行停止计算实例再启动操作。 计算实例状态说明 计算实例创建成功后，可在“计算实例”页签查看当前已创建的实例信息，包括实例所属租户名、对应实例数量、实例状态和资源总量等，实例状态信息如下： 图1 计算实例状态
k向Kafka组件发送数据（需要有kafka权限用户），并从Kafka组件获取数据。 确保集群安装完成，包括HDFS、Yarn、Flink和Kafka。 创建Topic。 在服务端配置用户创建topic的权限。 开启Kerberos认证的安全集群将Kafka的Broker配置参数“allow
configuration. ....... 原因分析 经分析因为在写数据到Kafka时，Kafka客户端会先比较配置项“max.request.size ”值和本次写入数据大小，若写入数据大小超过此配置项“max.request.size ”的缺省值，则抛出上述异常。 解决办法 在初始化Kafka生产者实例时，设置此配置项“max
iftserver”，并且注册相关连接信息。如果读不到该连接信息就会JDBC连接异常。 处理步骤 检查ZooKeeper下面是否有目标目录和注册的信息 以root用户登录任意一个Master节点并初始化环境变量。 source /opt/client/bigdata_env 执行zkCli
用户需保证Maven已配置华为镜像站中SDK的Maven镜像仓库，具体可参考配置华为开源镜像仓。 操作步骤 获取样例代码。 下载样例工程的Maven工程源码和配置文件，请参见获取代码样例工程。 将样例代码导入IDEA中。 获取配置文件。 从集群的客户端中获取文件。在“$SPARK_HOME/conf”中下载hive-site
hive.default.fileformat Hive使用的默认文件格式，支持TextFil、SequenceFile、RCFile、ORC和parquet格式。 RCFile hive.exec.reducers.max Hive提交的MapReduce任务中Reducer的最大个数。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
