正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDLConnector的运行日志。 prestartDetail.log 服务启动前初始化集群的日志。 startDetail.log 启动服务的日志。 stopDetail.log 停止服务的日志。 cleanupDetail.log 服务执行cleanup的日志。 check-serviceDetail
迁移工具时产生的错误日志。 日志级别 ClickHouse提供了如表3所示的日志级别。 运行日志的级别优先级从高到低分别是error、warning、trace、information、debug,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。 表3
在“配置资源权限”的表格中选择“待操作集群的名称 > Yarn”,勾选“集群管理操作权限”。 说明: 设置Yarn管理员权限需要重启Yarn服务,才能使保存的角色配置生效。 设置用户在指定Yarn队列提交任务的权限 在“配置资源权限”的表格中选择“待操作集群的名称 > Yarn >
在“配置资源权限”的表格中选择“待操作集群的名称 > Yarn”,勾选“集群管理操作权限”。 说明: 设置Yarn管理员权限需要重启Yarn服务,才能使保存的角色配置生效。 设置用户在指定Yarn队列提交任务的权限 在“配置资源权限”的表格中选择“待操作集群的名称 > Yarn >
经存在的数据库路径。 进入Hive服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Hive > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”
让DataNode根据磁盘剩余空间大小,优先选择磁盘剩余空间多的节点存储数据副本。 针对新写入到本DataNode的数据会优先写磁盘剩余空间多的磁盘。 部分磁盘使用率较高,依赖业务逐渐删除在HDFS中的数据(老化数据)来逐渐降低。 父主题: 使用HDFS
ce/”(审计日志目录)。 日志归档规则:DBService的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过1MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>_<编号>.gz”。最多保留最近的20个压缩文件。 日志归档规则用户不能修改。 表1 DBService日志列表
ckpoint,则需要对应用中的DStream checkpoint对象进行序列化,序列化时会用到dstream.context。 dstream.context是Streaming Context启动时从output Streams反向查找所依赖的DStream,逐个设置context。如果Spark
/fe/postinstallDetail.log FE安装后启动前的工作日志 /be/be.INFO BE进程的运行日志 be.WARNING “be.log”的子集,仅记录级别为WARN和FATAL的日志 /be/be-omm-<日期>-<PID>-gc.log.<编号> BE进程的GC日志 /be/postinstallDetail
称)。 日志归档规则:HBase的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过30MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数可以在Manager界面中配置。
ce/”(审计日志目录)。 日志归档规则:DBService的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过1MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>_<编号>.gz”。最多保留最近的20个压缩文件。 日志归档规则用户不能修改。 表1 DBService日志列表
开启Kerberos认证的集群 登录Manager创建一个拥有“Hive Admin Privilege”权限的角色,例如prestorole,创建角色请参考管理MRS集群角色。 创建一个属于“Presto”和“Hive”组的用户,同时为该用户绑定1中创建的角色,例如presto0
ckpoint,则需要对应用中的DStream checkpoint对象进行序列化,序列化时会用到dstream.context。 dstream.context是Streaming Context启动时从output Streams反向查找所依赖的DStream,逐个设置context。若Spark
日志)。 日志归档规则:HDFS的日志启动了自动压缩归档功能,默认情况下,当日志大小超过100MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的100个压缩文件,压缩文件保留个数可以在Manager界面中配置。
shuffle Service是长期存在于NodeManager进程中的一个辅助服务。通过该服务来抓取shuffle数据,减少了Executor的压力,在Executor GC的时候也不会影响其他Executor的任务运行。 操作步骤 在NodeManager中启动External
日志)。 日志归档规则:HDFS的日志启动了自动压缩归档功能,默认情况下,当日志大小超过100MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的100个压缩文件,压缩文件保留个数可以在Manager界面中配置。
shuffle Service是长期存在于NodeManager进程中的一个辅助服务。通过该服务来抓取shuffle数据,减少了Executor的压力,在Executor GC的时候也不会影响其他Executor的任务运行。 操作步骤 登录FusionInsight Manager系统。
称)。 日志归档规则:HBase的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过30MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数可以在Manager界面中配置。
WebUI访问HDFS文件失败 在Hue页面上传大文件失败 集群未安装Hive服务时Hue原生页面无法正常显示 Hue WebUI中Oozie编辑器的时区设置问题 访问Hue原生页面时间长,文件浏览器报错Read timed out 父主题: 使用Hue(MRS 3.x及之后版本)
Consumer消费数据失败,提示“SchemaException: Error reading field” 问题背景与现象 Consumer来消费Kafka中指定Topic的消息时,发现无法从Kafka中获取到数据。 提示如下错误: org.apache.kafka.common.protocol.types.SchemaException: