检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/system/balancer.id操作失败后,客户端发生RecoveryInProgressException异常: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.protocol.RecoveryInProgressException):
/system/balancer.id操作失败后,客户端发生RecoveryInProgressException异常: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.protocol.RecoveryInProgressException):
flags 回答 当Impala 4.3.0版本(MRS 3.3.1-LTS和MRS 3.5.0-LTS)查询低版本的Kudu(MRS 3.0.5版本)表时(<=1.15.0),需要设置查询参数:set enabled_runtime_filter_types=MIN_MAX 父主题: Impala常见问题
[db_name.]table_name; 参数描述 表1 DROP TABLE参数描述 参数 描述 db_name Database名称。如果未指定,将选择当前database。 table_name 需要删除的Table名称。 注意事项 在该命令中,IF EXISTS和db_name是可选配置。
properties文件所在路径 -run 参数列表: 表2 参数列表 参数 含义 job 表示执行的是job任务 -oozie Oozie服务器地址(任意节点) -config “job.properties”文件所在路径 -run 表示启动流程 例如: oozie job -oozie
在Spark应用程序运行节点,执行如下命令使用Spark Launcher方式提交。之后,可通过Spark WebUI查看运行情况,或通过获取指定文件查看运行结果。 java -cp $SPARK_HOME/conf:$SPARK_HOME/jars/*:SparkLauncherExample
700; run compaction on <database name>. <table1>; run clean on <database name>. <table1>; run archivelog on <database name>.<table1>; run compaction
密码。 执行hdfs dfs -rm -r 文件或目录路径命令,确认删除无用的文件。 检查本告警是否恢复。 是,处理完毕。 否,执行4。 查看NameNode JVM内存使用情况和当前配置。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务
bolt.mapper.FieldNameBasedTupleToKafkaMapper" constructorArgs: - "words" #构造函数中第一个入参 - "count" #构造函数中第二个入参 config: topology.workers:
'scan.records-per-second.limit' = '1000' #真实的限流流量如下 min( parallelism * scan.records-per-second.limit,partitions num * scan.records-per-second
-sh /srv/BigData/hadoop/data1/查询得到的/srv/BigData/hadoop/data1/目录磁盘占用量相差较大(大于10 GB)。 原因分析 使用命令lsof |grep deleted可以查询到此目录下有大量log文件处于deleted状态。 出现
付按需资源在宽限期内产生的费用,相关费用可登录管理控制台,选择页面上方的“费用 > 费用账单”,进入费用中心,单击“总览”,在“欠费金额”查看,华为云将在您充值时自动扣取欠费金额。 如果您在宽限期内仍未支付欠款,那么就会进入保留期,资源状态变为“冻结”,您将无法对处于保留期的按需计费资源执行任何操作。
以omm用户登录主OMS节点,执行以下命令重启knox进程。 sh /opt/knox/bin/restart-knox.sh 等待五分钟,查看该告警是否恢复。 是,处理完毕。 否,执行5。 请联系运维人员,进行处理。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息
处理步骤 修改用户密码。 登录FusionInsight Manager界面,选择“运维 > 告警 > 告警”,在告警列表中展开此告警的详细信息,查看并记录附加信息中已经过期的用户名称。 修改已经过期的用户密码。 如果对接了DataArts Studio服务,请检查DataArts Studio作业是否使用过期的用户密码,
置保留多少天以内的归档文件,默认值30(天)。 注意事项 归档文件,没有备份,删除之后无法恢复。 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: Hudi DML语法说明
为什么创建Hive表失败? 问题 为什么创建Hive表失败? 回答 当源表或子查询具有大数据量的Partition时,创建Hive表失败。执行查询需要很多的task,此时输出的文件数就会很多,从而导致driver OOM。 可以在创建Hive表的语句中增加distribute b
ng 用户可以执行以下数据操作: 获取每天的监控数据,通过OpenTSDB的put接口将两个组数据点写入数据库中。 对已有的数据使用OpenTSDB的query接口进行数据查询和分析。 功能分解 根据上述的业务场景进行功能开发,需要开发的功能如表4所示。 表4 在OpenTSDB中开发的功能
ConsumerRecords<String, String> records = consumer.poll(waitTime); for (ConsumerRecord<String, String> record : records) {
更新,导致Spark SQL查询不到新插入的数据。 对于存储类型为Parquet的Hive分区表,在执行插入数据操作后,如果分区信息未改变,则缓存的元数据信息未更新,导致Spark SQL查询不到新插入的数据。 解决措施:在使用Spark SQL查询之前,需执行Refresh操作更新元数据信息。
table创建成功后,可使用LOAD DATA命令在表中加载数据,并可供查询。 触发数据加载后,数据以CarbonData格式进行编码,并将多维列式存储格式文件压缩后复制到存储CarbonData文件的HDFS路径下供快速分析查询使用。 HDFS路径可以配置在carbon.properties文件中。