检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
cdrwa;如果不是,请修改/flink_base的目录权限为:'world,'anyone: cdrwa,然后继续根据步骤二排查;如果是,请根据步骤二排查。 由于在Flink配置文件中“high-availability.zookeeper.client.acl”默认为“creator”,即谁创建
HDFS文件系统的安全性造成影响。 可能原因 DataNode节点故障。 磁盘故障。 单副本写入文件。 处理步骤 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”查看是否存在告警“ALM-14003 丢失的HDFS块数量超过阈值”。 是,执行2。
Loader数据导入导出概述 Loader数据导入简介 Loader是实现MRS与外部数据源如关系型数据库、SFTP服务器、FTP服务器之间交换数据和文件的ETL工具,支持将数据或文件从关系型数据库或文件系统导入到MRS系统中。 Loader支持如下数据导入方式: 从关系型数据库导入数据到HDFS/OBS
数保持默认值。 单击文件系统名称。选择左侧导航栏“文件”,在“文件”页签下单击“新建文件夹”,分别新建“program”、“input”文件夹,如图4所示。 图4 新建文件夹 从 https://mrs-obs-cn-north-4.obs.cn-north-4.myhuaweicloud
statementSet.execute(); } } 需将当前样例需要的依赖包,即编译之后lib文件下面的jar包复制到客户端的lib文件夹内。 以对接普通模式Kafka提交SQL为例: create table kafka_sink ( uuid varchar(20)
te.xml”文件中的以下配置。 改变Hive组件将改变carbonstore的位置和warehouse的位置。 HDFS中的配置 fs.defaultFS - 默认文件系统的名称。URI模式必须设置为“viewfs”。当使用“viewfs”模式时,权限部分必须是“ClusterX”。
添加完成后将“立即启动”置为“是”,单击“确定”。 启用TASK容错模式后,会产生中间数据并缓存到文件系统中,过大的查询并发会对文件系统产生较大的磁盘压力。当前HetuEngine默认支持将中间数据缓冲至HDFS文件系统的临时目录中。存算分离场景对接OBS文件系统时,也能够支持TASK容
Manager登录认证 功能介绍 实现Basic认证登录,并返回登录后的httpClient。 前提条件 配置用户的集群信息和登录账号信息: 配置文件:“样例工程文件夹\conf\UserInfo.properties”。 参数说明: userName:登录Manager系统的用户名。 pass
password=xxx # 下载的认证凭据中“krb5.conf”文件的位置,Linux环境下建议使用已上传到“IoTDB客户端安装目录/IoTDB/iotdb/conf”目录下的krb5.conf文件,Windows环境下使用“\\”,填写文件绝对路径。 krb5_conf_dest=IoTD
配置场景 使用Spark提交任务时,Driver默认会去HBase获取Token,访问HBase则需要配置文件“jaas.conf”进行安全认证。此时若用户未配置“jaas.conf”文件,会导致应用运行失败。 因此,根据应用是否涉及HBase进行以下处理: 当应用不涉及HBase时,即无需获取HBase
elete状态;segment合并后,旧的segments状态会变为compacted。这些segments的数据文件不会从物理上删除。如果用户希望强制删除这些文件,可以使用CLEAN FILES命令。 但是,使用该命令可能会导致查询命令执行失败。 命令格式 CLEAN FILES
hetu_test keytab文件 开启安全模式时填写此参数。 访问远端DataCenter的用户Keytab文件。在本地选择1k获取的“user.keytab”文件。 user.keytab 开启双向传输 跨域数据传输是否开启双向传输,默认为“是”。 是:双向传输,请求通过本端的H
配置ClickHouse表所在的数据库 string 是 default 表名 配置数据写入ClickHouse对应的表名 string 是 无 数据处理规则 将字段值输出到ClickHouse表中。 样例 通过“CSV文件输入”算子,生成十二个字段。 源文件如下: 创建ClickHouse表的语句如下:
客户创建本地盘系列MRS集群,其中1个Core节点的磁盘存在硬件损坏,导致读取文件失败。 原因分析 磁盘硬件故障。 处理步骤 该指导适用于MRS 3.x之前版本分析集群,如需为流式集群或混合集群更换磁盘,请联系华为云技术支持处理。 登录MRS Manager。 选择“主机管理”并单击需要
Hudi在写入数据时会根据设置的存储路径、表名、分区结构等属性生成Hudi表。 Hudi表的数据文件,可以使用操作系统的文件系统存储,也可以使用HDFS这种分布式的文件系统存储。为了后续分析性能和数据的可靠性,一般使用HDFS进行存储。以HDFS存储来看,一个Hudi表的存储文件分为两类。
Hudi在写入数据时会根据设置的存储路径、表名、分区结构等属性生成Hudi表。 Hudi表的数据文件,可以使用操作系统的文件系统存储,也可以使用HDFS这种分布式的文件系统存储。为了后续分析性能和数据的可靠性,一般使用HDFS进行存储。以HDFS存储来看,一个Hudi表的存储文件分为两类。
间,可以配置相同的名称。 脚本路径 obs://mrs-samples/xxx.sh 脚本的路径。路径可以是OBS文件系统的路径或虚拟机本地的路径。 OBS文件系统的路径,必须以obs://开头,以.sh结尾。例如:obs://mrs-samples/xxx.sh 虚拟机本地的路径,脚本所在的路径必须以‘/’开头,以
用。 回答 bulkload是通过启动MapReduce任务直接生成HFile文件,再将HFile文件注册到HBase,因此错误的使用bulkload会因为启动MapReduce任务而占用更多的集群内存和CPU资源,也可能会生成大量很小的HFile文件频繁的触发Compaction,导致查询速度急剧下降。
“JDBCExample.java”中,实现该功能的模块如下: 读取HiveServer客户端property文件,其中“hiveclient.properties”文件在“hive-jdbc-example\src\main\resources”目录下。 Properties clientInfo
用。 回答 bulkload是通过启动MapReduce任务直接生成HFile文件,再将HFile文件注册到HBase,因此错误的使用bulkload会因为启动MapReduce任务而占用更多的集群内存和CPU资源,也可能会生成大量很小的HFile文件频繁的触发Compaction,导致查询速度急剧下降。