检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图6 上传文件 每个Flume实例均可以上传单独的服务端配置文件。 更新配置文件需要按照此步骤操作,后台修改配置文件是不规范操作,同步配置时后台做的修改将会被覆盖。 单击“保存”,单击“确定”。 单击“完成”完成操作。 父主题: 配置Flume非加密传输数据采集任务
如何处理blob.storage.directory配置/home目录时启动yarn-session失败 问题 当用户设置“blob.storage.directory”为“/home”时,用户没有权限在“/home”下创建“blobStore-UUID”的文件,导致yarn-session
如何处理blob.storage.directory配置/home目录时启动yarn-session失败 问题 当用户设置“blob.storage.directory”为“/home”时,用户没有权限在“/home”下创建“blobStore-UUID”的文件,导致yarn-session
数据规划 首先需要把数据文件放置在HDFS系统里。 本地新建文本文件,将以下内容复制保存到input_data1.txt。 20,30,40,xxx 在HDFS上建立一个文件夹,“/tmp/input”,并上传input_data1.txt到此目录,命令如下。
在MRS Manager,单击“系统设置 > 审计日志导出配置”,检查AK/SK信息、文件系统名和路径是否正确。 是,执行5。 否,执行4。 重新配置正确的导出信息,然后等任务再次启动后,检查告警是否恢复。
ALM-12011 Manager主备节点同步数据异常(2.x及以前版本) 告警解释 当备Manager无法与主Manager同步文件时,产生该告警。 当备Manager与主Manager正常同步文件时,告警恢复。
前提条件 用户已经将作业所需的程序包和数据文件上传至OBS或HDFS文件系统中。 如果作业程序需要读取以及分析OBS文件系统中的数据,需要先配置MRS集群的存算分离,请参考配置MRS集群存算分离。 提交HadoopStream作业 登录MRS管理控制台。
组件用户删除的文件数据并不会直接被删除,而是会保存到OBS文件系统内的用户回收站目录中,本章节用于指导用户设置OBS文件系统内回收站目录的生命周期策略,以定时自动清理相关数据。
图6 上传文件 每个Flume实例均可以上传单独的服务端配置文件。 更新配置文件需要按照此步骤操作,后台修改配置文件是不规范操作,同步配置时后台做的修改将会被覆盖。 单击“保存”,单击“确定”。 单击“完成”完成操作。 父主题: 配置Flume非加密传输数据采集任务
回答 可以将Hive中的数据导出为CSV文件,再将CSV文件导入到 ClickHouse。
如何处理blob.storage.directory配置/home目录时启动yarn-session失败 问题 当用户设置“blob.storage.directory”为“/home”时,用户没有权限在“/home”下创建“blobStore-UUID”的文件,导致yarn-session
如何处理blob.storage.directory配置/home目录时启动yarn-session失败 问题 当用户设置“blob.storage.directory”为“/home”时,用户没有权限在“/home”下创建“blobStore-UUID”的文件,导致yarn-session
回答 可以将Hive中的数据导出为CSV文件,再将CSV文件导入到ClickHouse。
备NameNode节点长时间未启动,导致启动失败 问题 长时间没有启动备NameNode,edits文件由于老化策略被自动清理后,重新启动NameNode时找不到所需的edits文件,从而报错。
日志文件较大,可以将此文件目录添加到“/etc/logrotate.d/syslog”中,让系统做日志老化 ,定时清理久远的日志 。
job.properties 功能描述 流程的属性定义文件,定义了流程运行期间使用的外部参数值对。 参数解释 “job.properties”文件中包含的各参数及其含义,请参见表1。
workflow.xml 功能描述 描述了一个完整业务的流程定义文件。一般由一个start节点、一个end节点和多个实现具体业务的action节点组成。 参数解释 “workflow.xml”文件中包含的各参数及其含义,请参见表1。
配置Oozie业务运行流程 功能描述 描述了一个完整业务的流程定义文件。一般由一个start节点、一个end节点和多个实现具体业务的action节点组成。 参数解释 “workflow.xml”文件中包含的各参数及其含义,请参见表1。
“共享”表示共享服务资源,可与其他租户共享使用此服务资源。 创建租户时,租户可以关联的服务资源包含HBase、ClickHouse和Doris。为已有的租户关联服务时,可以关联的服务资源包含:HDFS、HBase、Yarn、ClickHouse和Doris。
访问Hue原生页面时间长,文件浏览器报错Read timed out 问题 访问Hue原生页面时页面加载时间较长,访问Hue的HDFS文件浏览器报错Read timed out,如何解决。 回答 检查HDFS服务中是否安装Httpfs实例。 否,请联系运维人员处理。