检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志归档规则: 表1 Yarn日志列表 日志类型 日志文件名 描述 运行日志 hadoop-<SSH_USER>-<process_name>-<hostname>.log Yarn组件日志,记录Yarn组件运行时候所产生的大部分日志。
当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 在IDEA界面左下方单击“Terminal”进入终端,执行命令mvn clean install进行编译。
rule-test 前缀 生命周期规则适用的对象前缀,MRS集群组件数据回收站目录为“/user/.Trash”。 user/.Trash 转换为低频访问存储天数 指定在对象最后一次更新后多少天,受规则影响的对象将转换为低频访问存储。至少设置为30天。
进入LdapServer实例页面获取两个SlapdServer实例所在节点的主机名。 在“告警管理”页面,查看是否有ALM-12006 节点故障告警产生。 是,执行1.d。 否,执行2.a。 查看告警信息里的主机名是否和1.b主机名一致。 是,执行1.e。 否,执行2.a。
配置Windows通过EIP访问安全模式集群Kafka 操作场景 该章节通过指导用户配置集群绑定EIP,并配置Kafka文件的方法,方便用户可以在本地对样例文件进行编译。
配置Windows通过EIP访问普通模式集群Kafka 操作场景 该章节通过指导用户配置集群绑定EIP,并配置Kafka文件的方法,方便用户可以在本地对样例文件进行编译。
以下为“src/main/resources”目录下提供的与认证相关的配置文件。
在工作流编辑页面,选择“数据流”按钮,将其拖到操作区中。 在弹出的“Streaming”窗口中配置“Mapper”的值,例如“/bin/cat”。配置“Reducer”的值,例如“/usr/bin/wc”。然后单击“添加”。 单击“文件+”,添加运行所需的文件。
在工作流编辑页面,选择“数据流”按钮,将其拖到操作区中。 在弹出的“Streaming”窗口中配置“Mapper”的值,例如“/bin/cat”。配置“Reducer”的值,例如“/usr/bin/wc”。然后单击“添加”。 单击“文件+”,添加运行所需的文件。
支持全链路监控 MRS大数据组件 carbon2.0升级 解决HBASE-18484问题 MRS 2.1.0.7 修复问题列表: MRS Manager 解决DLF+Presto查询时字段中包含换行符,数据和文件显示问题 支持presto查询结果保存成一个文件 MRS 2.1.0.6
Hive表的HDFS数据目录被误删,但是元数据仍然存在,导致执行任务报错 问题 Hive表HDFS数据目录被误删,但是元数据仍然存在,导致执行任务报错。 回答 这是一种误操作的异常情况,需要手动删除对应表的元数据后重试。
修改DBService数据库compdbuser用户密码 建议管理员定期修改OMS数据库管理员的密码,以提升系统运维安全性。 该章节内容仅适用于MRS 3.x及之后版本。
在导入数据时,被导入数据格式是TEXTFILE格式,最终导致此问题。 解决办法 属于应用侧问题,解决办法有多种。只要保证表所指定存储格式和被导入数据格式是一致的,可以根据实际情况采用合适方法。
日志归档规则: 表1 Yarn日志列表 日志类型 日志文件名 描述 运行日志 hadoop-<SSH_USER>-<process_name>-<hostname>.log Yarn组件日志,记录Yarn组件运行时候所产生的大部分日志。
执行以下命令打开application.properties文件。
Worker进程启动失败的可能原因有两个: 提交的Jar包中包含“storm.yaml”文件。 Storm规定,每个“classpath”中只能包含一个“storm.yaml”文件,如果多于一个那么就会产生异常。
单击“添加UDF”,在“本地Jar文件”参数后选择并上传本地已准备好的UDF jar文件。 填写UDF名称以及描述信息后,单击“确定”。 “UDF名称”最多可添加10项,“名称”可自定义,“类名”需与上传的UDF jar文件中UDF函数全限定类名一一对应。
支持全链路监控 MRS大数据组件 carbon2.0升级 解决HBASE-18484问题 MRS 2.1.0.7 修复问题列表: MRS Manager 解决DLF+Presto查询时字段中包含换行符,数据和文件显示问题 支持presto查询结果保存成一个文件 MRS 2.1.0.6
创建时间序列,用于存储具体设备传感器对应的指标数据。 模拟传感器,录入指标数据。 使用SQL查询指标数据信息。 业务结束后,删除存储的数据。 图1 数据结构 操作步骤 登录客户端。
xxx requestId=4971883851071737250 xxx 答: 登录Spark客户端节点,进入conf目录,修改配置文件“core-site.xml”中的“fs.obs.metrics.switch”参数值为“false”。 重新运行作业。 父主题: 作业管理类