检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将myfunctions-0.0.1-SNAPSHOT目录上传到HDFS中。 同时上传6中target目录下的所有jar包。 登录客户端安装节点,执行安全认证。 cd /opt/client source bigdata_env kinit HetuEngine的用户 根据回显提示输入密码,首次认证需要修改密码。
一个租户可以关联多个用户。 Doris租户支持关联在Manager界面创建的人机用户和机机用户。 如果集群已启用Kerberos认证(安全模式),推荐关联人机用户。 如果集群未启用Kerberos认证(普通模式),推荐关联机机用户。 如果关联的是Doris普通用户(即用户绑定
如何避免对历史数据进行minor compaction? 问题 如何避免对历史数据进行minor compaction? 回答 如果要先加载历史数据,后加载增量数据,则以下步骤可避免对历史数据进行minor compaction: 加载所有历史数据。 将major compact
配置Windows通过EIP访问普通模式集群Hive 使用IBM JDK产生异常“Problem performing GSS wrap”如何处理 父主题: Hive开发指南(普通模式)
Oozie常见问题 Oozie定时任务没有准时运行如何处理 HDFS上更新了oozie的share lib目录但没有生效 Oozie作业执行失败常用排查手段 父主题: 使用Oozie
input”,并上传input_data1.txt,input_data2.txt到此目录,命令如下。 在HDFS客户端,执行如下命令获取安全认证。 cd /opt/client kinit -kt '/opt/client/Spark/spark/conf/user.keytab'
配置Windows通过EIP访问普通模式集群Hive 使用IBM JDK产生异常“Problem performing GSS wrap”如何处理 父主题: Hive开发指南(普通模式)
产生告警的主机名。 对系统的影响 无。 可能原因 有用户手动终止了正在运行的YARN任务。 处理步骤 排查YARN日志和审计日志,查看终止任务操作的下发者,确认终止任务的原因。 参考信息 无。 父主题: MRS集群告警处理参考
如何限制存储在ZKstore中的应用程序诊断消息的大小 问题 如何限制存储在ZKstore中的应用程序诊断消息的大小? 回答 在某些情况下,已经观察到诊断消息可能无限增长。由于诊断消息存储在状态存储中,不建议允许诊断消息无限增长。因此,需要有一个属性参数用于设置诊断消息的最大大小。
如何限制存储在ZKstore中的应用程序诊断消息的大小 问题 如何限制存储在ZKstore中的应用程序诊断消息的大小? 回答 在某些情况下,已经观察到诊断消息可能无限增长。由于诊断消息存储在状态存储中,不建议允许诊断消息无限增长。因此,需要有一个属性参数用于设置诊断消息的最大大小。
开启TableStatus多版本特性下,最新tablestatus文件丢失或损坏,如何恢复 问题 开启TableStatus多版本特性下,最新的tablestatus文件丢失或其他异常原因损坏的情况下,如何恢复? 回答 使用当前可得的最近的tablestatus文件进行恢复,分为如下两个场景来进行恢复:
to 192.168.100.1:8060 yet, server_id=384 原因分析 运行任务的BE节点故障。 RPC拥塞或其他错误。 处理步骤 如果运行任务的BE节点故障,需查看具体的故障原因再进行解决。 如果RPC源端有大量未发送的数据超过了阈值,可设置如下参数: brpc
如何在Flume配置文件中使用环境变量 本章节描述如何在配置文件“properties.properties”中使用环境变量。 本章节适用于MRS 3.x及之后版本。 安装Flume客户端。 以root用户登录安装Flume客户端所在节点。 切换到以下目录。 cd Flume客户
如何迁移OBS/S3的数据到ClickHouse 问题 如何迁移OBS/S3的数据到MRS ClickHouse。 回答 查询S3中的数据: select * from s3(path [,access_key_id, secret_access_key] [,format] [
Impala 4.3.0版本,开启Ranger后如何对接kudu外表? 问题 开启Ranger鉴权后,使用如下语句创建外表报错: CREATE TABLE db.table (id INT, dt TIMESTAMP, PRIMARY KEY(id)) PARTITION BY HASH
连接MySQL的用户名,即2中新创建的用户 - password 是 连接MySQL的密码,配置文件中包含认证密码信息可能存在安全风险,建议当前场景执行完毕后删除相关配置文件或加强安全管理。 - host 否 MySQL地址 localhost port 否 MySQL端口 3306 log_level
DataNode节点间数据倾斜。 处理步骤 检查集群磁盘容量是否已满。 登录MRS集群详情页面,在“告警管理”页面查看是否存在“ALM-14001 HDFS磁盘空间使用率超过阈值”告警。 是,执行1.b。 否,执行2.a。 参考ALM-14001 HDFS磁盘空间使用率超过阈值进行处理,查看对应告警是否清除。
可能原因 提交的YARN作业程序有问题,例如: spark提交任务参数错误导致。 处理步骤 查看运行失败的作业日志,找到作业失败的具体原因,然后修改并重新提交作业。 参考信息 无。 父主题: MRS集群告警处理参考
查询Impala数据 功能简介 本小节介绍了如何使用Impala SQL对数据进行查询分析。从本节中可以掌握如下查询分析方法。 SELECT查询的常用特性,如JOIN等。 加载数据进指定分区。 如何使用Impala自带函数。 如何使用自定义函数进行查询分析,如何创建、定义自定义函数请见Impala样例程序指导。
客户端高可靠性参数说明 参数 建议值 说明 acks -1 Producer需要Leader确认消息是否已经接收并认为已经处理完成。 acks=-1:需要等待在ISR列表的副本都确认接收到消息并处理完成才表示消息成功。配合“min.insync.replicas”可以确保多副本写入成功,只要有一个副