-
配置Flume非加密传输数据采集任务 - MapReduce服务 MRS
配置Flume非加密传输数据采集任务 生成Flume服务端和客户端的配置文件 使用Flume服务端从本地采集静态日志保存到Kafka 使用Flume服务端从本地采集静态日志保存到HDFS 使用Flume服务端从本地采集动态日志保存到HDFS 使用Flume服务端从Kafka采集日志保存到HDFS
-
启动从PgSQL中抓取数据到Hudi任务报错 - MapReduce服务 MRS
Manager,选择“集群 > 服务 > CDL”,单击“CDLService UI”右侧的超链接进入CDLService WebUI界面,在数据同步任务作业列表界面选择该作业所在行的“更多 > 停止”,等待任务停止完成后选择“更多 > 编辑”。 配置“Hudi表属性配置”的“Table Primarykey
-
配置仅Hive管理员用户能创建库和在default库建表 - MapReduce服务 MRS
AM用户同步”右侧的“同步”进行IAM用户同步)。 MRS 3.x及后续版本,登录FusionInsight Manager,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。然后选择“集群 > 待操作的集群名称 > 服务 > Hive > 配置
-
关闭HetuEngine数据类型隐式转换 - MapReduce服务 MRS
FusionInsight Manager,选择“集群 > 服务 > HetuEngine > 概览”,单击“HSConsole WebUI”的HSConsole链接进入计算实例界面。 选择并停止需要配置的计算实例,单击计算实例的“配置”,进入计算实例配置界面。 根据使用场景删除如下自定义配置并保存。
-
Hue常用配置参数 - MapReduce服务 MRS
表示Hue的审计日志级别。 DEBUG ERROR WARN INFO DEBUG HANDLER_ERRORLOG_LEVEL 表示Hue的错误日志级别。 ERROR ERROR WARN INFO DEBUG HANDLER_LOGFILE_LEVEL 表示Hue的运行日志级别。
-
重启YARN,本地日志不被删除 - MapReduce服务 MRS
可以参考修改集群服务配置参数,进入Yarn“全部配置”页面。需将NodeManager的“yarn.nodemanager.recovery.enabled”配置项为“true”后才生效,默认为“true”,这样在YARN重启的异常场景时会定时删除多余的本地日志,避免问题的出现。 父主题:
-
删除集群 - MapReduce服务 MRS
一般在数据完成分析和存储后或集群异常无法提供服务时才执行集群删除操作。当MRS集群部署失败时,集群会被自动删除。 操作步骤 登录MRS管理控制台。 在左侧导航栏中选择“现有集群”。 在需要删除的集群对应的“操作”列中,单击“删除”。如果确认删除,在弹出的“删除集群”窗口中输入“DELETE
-
重启YARN,本地日志不被删除 - MapReduce服务 MRS
可以参考修改集群服务配置参数,进入Yarn“全部配置”页面。需将NodeManager的“yarn.nodemanager.recovery.enabled”配置项为“true”后才生效,默认为“true”,这样在YARN重启的异常场景时会定时删除多余的本地日志,避免问题的出现。 父主题:
-
Mapreduce组件对接OBS - MapReduce服务 MRS
Mapreduce组件对接OBS 对接OBS 登录FusionInsight Manager,选择“集群 > 服务 > MapReduce > 配置 > 全部配置”,在左侧的导航列表中选择“Mapreduce > 自定义”。在自定义配置项中,给参数文件“core-site.xml”添加配置项“mapreduce
-
删除集群 - MapReduce服务 MRS
一般在数据完成分析和存储后或集群异常无法提供服务时才执行集群删除操作。当MRS集群部署失败时,集群会被自动删除。 包年包月集群无法执行删除操作,如需退订包年包月集群请参见退订集群。 操作步骤 登录MRS管理控制台。 在左侧导航栏中选择“现有集群”。 在需要删除的集群对应的“操作”列中,单击“删除”
-
创建大量ZNode后ZooKeeper Server启动失败 - MapReduce服务 MRS
follower与leader进行同步的时间间隔(时长为ticket时长的倍数)。如果在该时间范围内leader没响应,连接将不能被建立。 15 initLimit follower连接到leader并与leader同步的时间(时长为ticket时长的倍数)。 15 如果将参数“ini
-
创建大量znode后ZooKeeper Server启动失败 - MapReduce服务 MRS
follower与leader进行同步的时间间隔(时长为ticket时长的倍数)。如果在该时间范围内leader没响应,连接将不能被建立。 15 initLimit follower连接到leader并与leader同步的时间(时长为ticket时长的倍数)。 15 如果将参数“ini
-
MapReduce对接OBS文件系统 - MapReduce服务 MRS
置。 登录MRS管理控制台,单击集群名称进入集群详情页面。 选择“组件管理 > Mapreduce”,进入Mapreduce服务“全部配置”页面,在左侧的导航列表中选择“Mapreduce > 自定义”。在自定义配置项中,给参数文件“core-site.xml”添加配置项“mapreduce
-
准备Spark应用Java开发环境 - MapReduce服务 MRS
图3 Project Defaults 在打开的“Project Structure”页面中,选择“SDKs”,单击绿色加号添加JDK。 图4 添加JDK 在弹出的“Select Home Directory for JDK”窗口,选择对应的JDK目录,然后单击“OK”。 图5 选择JDK目录
-
Spark用户权限管理 - MapReduce服务 MRS
Spark用户权限管理 SparkSQL用户权限介绍 创建SparkSQL角色 配置Spark表、列和数据库的用户权限 配置SparkSQL业务用户权限 配置Spark Web UI ACL Spark客户端和服务端权限参数配置说明 父主题: 使用Spark/Spark2x
-
Loader健康检查指标项说明 - MapReduce服务 MRS
恢复指导:如果该指标项异常,建议参见告警进行处理。 服务健康状态 指标项名称:服务状态 指标项含义:检查Loader服务状态是否正常。如果状态不正常,则认为不健康。 恢复指导:如果该指标项异常,建议参见告警进行处理。 告警检查 指标项名称:告警信息 指标项含义:检查Loader服务是否存在未清除的告警。如果存在,则认为不健康。
-
INSERT - MapReduce服务 MRS
'test')); 描述 向表中插入新的数据行。 如果指定了列名列表,那么这些列名列表必须与query语句产生列列表名完全匹配。表中不在列名列表中的每一列,其值会设置为null。 如果没有指定列名列表,则query语句产生的列必须与将要插入的列完全匹配。 使用insert int
-
准备Spark应用Scala开发环境 - MapReduce服务 MRS
图3 Project Defaults 在打开的“Project Structure”页面中,选择“SDKs”,单击绿色加号添加JDK。 图4 添加JDK 在弹出的“Select Home Directory for JDK”窗口,选择对应的JDK目录,然后单击“OK”。 图5 选择JDK目录
-
退订集群 - MapReduce服务 MRS
退订规则请参见退订规则说明。 背景信息 一般在数据完成分析和存储后或集群异常无法提供服务时才执行集群退订操作。当MRS集群部署失败时,集群会被自动退订。 操作步骤 登录MRS管理控制台。 在左侧导航栏中选择“现有集群”。 在需要退订的包年包月集群对应的“操作”列中,单击“退订”。 进入“退订资源”页面,确认
-
Spark用户权限管理 - MapReduce服务 MRS
Spark用户权限管理 SparkSQL权限介绍 创建SparkSQL角色 配置Spark表、列和数据库的用户权限 配置SparkSQL业务用户权限 配置Spark2x Web UI ACL Spark客户端和服务端权限参数配置说明 父主题: 使用Spark2x(MRS 3.x及之后版本)