检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
getSecuritykey接口异常的监控 优化刷新临时AK/Sk流程 解决ResourceManager内存泄露问题 解决Hive union语句合并小文件报错问题 解决Hadoop的task任务报空间不足失败问题 解决hive作业成功无数据生成问题 补丁兼容关系 无。 安装补丁的影响 安装MRS
本。 min.insync.replicas 1 当Producer设置acks为-1时,指定需要写入成功的副本的最小数目。 在客户端配置文件producer.properties中配置如表2中参数,producer.properties存放路径为:/opt/client/Kaf
OVERWRITE、TRUNCATE TABLE)时是否清除相关数据: "auto.purge"='true'时,清除元数据和数据文件。 "auto.purge"='false'时,仅清除元数据,数据文件会移入HDFS回收站。默认值为“false”,且不建议用户修改此属性,避免数据删除后无法恢复。 CREATE
本。 min.insync.replicas 1 当Producer设置acks为-1时,指定需要写入成功的副本的最小数目。 在客户端配置文件producer.properties中配置如表2中参数,producer.properties存放路径为:Kafka客户端安装路径/Ka
作业执行组ID。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 jar_path String 参数解释: 执行程序jar包或sql文件地址。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 input String 参数解释: 数据输入地址。 约束限制: 不涉及
<pricipal name> 进行认证。 执行hdfs dfs -put ./startDetail.log /tmp命令,测试HDFS写文件失败。 19/05/12 10:07:32 WARN hdfs.DataStreamer: DataStreamer Exception org
kudu-master.INFO kudu-master.WARNING 运行日志分ERROR、INFO、WARNING三类,每类会单独打印到相应的文件中,通过cat命令即可查看。 已知Kudu服务异常处理 日志“/var/log/Bigdata/kudu/runninglog/master/logs/kudu-master
恢复数据目录及其子目录的属组为omm:wheel。 检查数据目录所在磁盘是否故障。 使用omm用户,在所提示的数据目录的上一级目录下,进行创建、删除文件测试,看能够正常读写磁盘。 是,执行6。 否,执行5。 更换或者修复数据目录所在磁盘,保证其可以正常读写。 在FusionInsight Manager首页,选择“集群
全部配置”进入HDFS全部配置页面。 搜索并根据实际需求进行配置以下参数。 参数名称 参数说明 默认值 dfs.datanode.synconclose 在存储文件过程中,系统断电或重启,如果此参数设置为false,缓存中的block数据不会被立即写入磁盘,可能会导致数据丢失。如果设置为true,可以
数据。 前提条件 已安装客户端,具体请参考安装客户端章节。 已根据业务需要创建具有相应权限的组件业务用户。“机机”用户需要下载keytab文件,“人机”用户第一次登录时需修改密码。 使用HIndexImportTsv批量生成HBase本地二级索引数据 以客户端安装用户登录安装了客户端的节点。
选择客户端类型:选择“完整客户端”。 选择平台类型:默认勾选即可,例如“x86_64”。 勾选“仅保存到如下路径”,使用默认保存路径,文件生成后将保存在集群主OMS节点的“/tmp/FusionInsight-Client”目录下。 图3 下载集群客户端提示框 单击“确定”后,等待客户端软件生成成功。
令时改为小写。 以root用户登录ClickHouseServer实例所在的节点。 执行以下命令获取“clickhouse.keytab”文件路径。 ls ${BIGDATA_HOME}/FusionInsight_ClickHouse_*/install/FusionInsig
lse后滚动重启HDFS服务,保证HDFS数据的高可靠; 对于确定存在单副本诉求的文件也可通过dfs.single.replication.exclude.pattern配置项设置单副本的数据文件和目录。 MRS 1.9.3.9及其后续补丁安装后,需要重新下载安装全量的客户端,包
数据。 前提条件 已安装客户端,具体请参考安装客户端章节。 已根据业务需要创建具有相应权限的组件业务用户。“机机”用户需要下载keytab文件,“人机”用户第一次登录时需修改密码。 使用HIndexImportTsv批量生成HBase本地二级索引数据 以客户端安装用户登录安装了客户端的节点。
用户组、权限等是否正常。正常用户、用户组、权限为“omm:ficommon 750”。 是,执行1.f。 否,执行1.e。 执行如下命令将文件夹权限修改为“750”,并将“用户:属组”修改为“omm:ficommon”。 chmod 750 <folder_name> chown
/om/sbin/status-oms.sh命令来查看当前Manager的双机信息。 执行ps -ef | grep slapd,查询配置文件位于“${BIGDATA_HOME}/om-server/om/”路径下面的LdapServer资源进程是否正常。 判断资源正常有两个标识:
创建的业务用户(未开启Kerberos认证的用户请跳过该操作) 将以下参数添加到“Spark/spark/conf/spark-defaults.conf”文件中并保存: spark.sql.catalog.local=org.apache.iceberg.spark.SparkCatalog spark
集群运行正常,并已安装集群客户端。 提交作业前,需配置“客户端安装路径/Flink/flink/conf/flink-conf.yaml”文件,开启作业注册到FlinkServer功能和作业告警功能,参数设置如下: 表1 开启作业注册和作业告警功能 参数 值 描述 job.register
Source是否故障。 确认Flume Source是否是spooldir类型。 是,执行1.b。 否,执行1.c。 查看设置的spoolDir目录,是否所有的文件均已传输完毕。 是,处理完毕。 否,执行1.e。 确认Flume Source是否是Kafka类型。 是,执行1.d。 否,执行1.e。
testtb1 on cluster default_cluster; dynamic_0001 扫描文件数超限制。 Hive Spark HetuEngine 计划/已经扫描的文件数量阈值。 建议配置值:100000 SELECT ss_ticket_number FROM store_sales