检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录MRS管理控制台。 在集群详情页面,选择“节点管理”。 单击待更换磁盘的“节点名称”进入弹性云服务器管理控制台,单击“关机”。 联系华为云支持人员在后台更换磁盘。 在弹性云服务器管理控制台,单击“开机”,将已更换磁盘的节点开机。 执行fdisk -l命令,查看新增磁盘。 使用cat
mapreduce.examples.FemaleInfoCollector <inputPath> <outputPath> 此命令包含了设置参数和提交job的操作,其中<inputPath>指HDFS文件系统中input的路径,<outputPath>指HDFS文件系统中output的路径。
doop-omm/yarn/timeline/generic-history/ApplicationHistoryDataRoot”路径)来存放历史任务信息,导致该目录下的文件不断累积,直到到达HDFS配置的目录数量上限(“dfs.namenode.fs-limits.max-d
mapreduce.examples.FemaleInfoCollector <inputPath> <outputPath> 此命令包含了设置参数和提交job的操作,其中<inputPath>指HDFS文件系统中input的路径,<outputPath>指HDFS文件系统中output的路径。
在执行“DriverManager.getConnection”方法获取JDBC连接前,添加“DriverManager.setLoginTimeout(n)”方法来设置超时时长,其中n表示等待服务返回的超时时长,单位为秒,类型为Int,默认为“0”(表示永不超时)。 static void executeSql(String
educe提供读写接口,提供Hive命令行接口来进行数据定义和元数据查询。基于MRS的HCatalog功能,Hive、Mapreduce开发人员能够共享元数据信息,避免中间转换和调整,能够提升数据处理的效率。 WebHCat WebHCat运行用户通过Rest API来执行Hive
JavaStreamingContext(conf, batchDuration); // 设置Streaming的CheckPoint目录,由于窗口概念存在,该参数必须设置 jssc.checkpoint("checkpoint"); //
JRE错误 IE浏览器访问Spark2x原生UI界面失败,无法显示此页或者页面显示错误 Spark2x如何访问外部集群组件 对同一目录创建多个外表,可能导致外表查询失败 访问Spark2x JobHistory中某个应用的原生页面时页面显示错误 对接OBS场景中,spark-be
NSName 产生告警的NameService名称 对系统的影响 无法为基于该NameService服务的HBase和MapReduce等上层部件提供服务。用户无法读写文件。 可能原因 JournalNode节点故障。 DataNode节点故障。 磁盘容量不足。 NameNode节点进入安全模式。
产生的错误日志。 日志级别 ClickHouse提供了如表2所示的日志级别。 运行日志的级别优先级从高到低分别是error、warning、trace、information、debug,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。 表2 日志级别
MapReduce作业执行程序必须以“.jar”结尾。 obs://wordcount/program/test.jar 执行程序参数 可选参数,程序执行的关键参数,多个参数间使用空格隔开。 配置格式:程序类名 数据输入路径 数据输出路径 程序类名:由用户程序内的函数指定,MRS只负责参数的传入。 数据输入
Hudi自带HoodieDeltaStreamer工具支持流式写入,也可以使用SparkStreaming以微批的方式写入。HoodieDeltaStreamer提供以下功能: 支持Kafka,DFS多种数据源接入 。 支持管理检查点、回滚和恢复,保证exactly once语义。 支持自定义转换操作。
String 参数解释: 多实例名称模式。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 private_ip String 参数解释: 私有IP。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 weight String 参数解释: 权重。 约束限制:
到此“/home/data”目录下。 将Kafka的Broker配置参数“allow.everyone.if.no.acl.found”值设置为“true”(普通集群不需配置)。 启动样例代码的Producer,向Kafka发送数据。 java -cp $SPARK_HOME/j
HBase支持对同一张表的数据进行冷热分离存储。用户在表上配置数据冷热时间分界点后,HBase会依赖用户写入数据的时间戳(毫秒)和时间分界点来判断数据的冷热。数据开始存储在热存储上,随着时间的推移慢慢往冷存储上迁移。同时用户可以任意变更数据的冷热分界点,数据可以从热存储到冷存储,也可以从冷存储到热存储。
日志链接地址。当前仅SparkSubmit作业支持该参数。该参数基于集群的EIP访问集群中的YARN WebUI页面,用户如果在VPC界面解绑EIP,MRS服务侧数据会因为未更新导致该参数引用旧EIP导致访问失败,可通过对集群重新进行EIP的绑定来修复该问题。 约束限制: 不涉及 取值范围: 不涉及 默认取值:
Boot启动时绑定的IP地址:Springboot启动时绑定的端口/produce,生产数据到Broker。结果如下: 图1 生产数据 Linux环境下通过执行curl命令访问SpringBoot。 curl http://SpringBoot启动时绑定的IP地址:Springboot启动时绑定的端口/produce
directory为本地安装的Maven版本。 然后根据实际情况设置好“User settings file”和“Local repository”参数,依次单击“Apply > OK”。 图12 选择本地Maven安装目录 设置IntelliJ IDEA的文本文件编码格式,解决乱码显示问题。
parkSubmit,通过接口查询作业列表信息时作业类型请选择SparkSubmit。 HiveScript HiveSql DistCp,导入、导出数据。 SparkScript SparkSql Flink 默认取值: 不涉及 job_name 是 String 参数解释: 作业名称。
ALM-12110 获取ECS临时ak/sk失败 告警解释 meta每五分钟调用ECS接口获取AK/SK信息,并缓存在meta中,在AK/SK过期失效之前会再次调用ECS接口更新AK/SK,如果连续三次调用接口失败,会产生该告警。 当meta服务调用ECS接口成功时,告警清除。 告警属性