-
MapReduce对接OBS文件系统 - MapReduce服务 MRS
置。 登录MRS管理控制台,单击集群名称进入集群详情页面。 选择“组件管理 > Mapreduce”,进入Mapreduce服务“全部配置”页面,在左侧的导航列表中选择“Mapreduce > 自定义”。在自定义配置项中,给参数文件“core-site.xml”添加配置项“mapreduce
-
准备Spark应用Scala开发环境 - MapReduce服务 MRS
图3 Project Defaults 在打开的“Project Structure”页面中,选择“SDKs”,单击绿色加号添加JDK。 图4 添加JDK 在弹出的“Select Home Directory for JDK”窗口,选择对应的JDK目录,然后单击“OK”。 图5 选择JDK目录
-
Tez常用配置参数 - MapReduce服务 MRS
/var/log/Bigdata/tez/tezui property.tez.log.level Tez的日志级别。 INFO 父主题: 使用Tez
-
Spark用户权限管理 - MapReduce服务 MRS
Spark用户权限管理 SparkSQL用户权限介绍 创建SparkSQL角色 配置Spark表、列和数据库的用户权限 配置SparkSQL业务用户权限 配置Spark Web UI ACL Spark客户端和服务端权限参数配置说明 父主题: 使用Spark/Spark2x
-
运行样例时提示Topic鉴权失败“TOPIC - MapReduce服务 MRS
HORIZATION_FAILED” 解决步骤 向管理员申请该Topic的访问权限。 如果拥有权限后还是无法访问该Topic,使用管理员用户登录FusionInsight Manager,并进入Kafka服务配置页面,搜索“allow.everyone.if.no.acl.fou
-
INSERT - MapReduce服务 MRS
'test')); 描述 向表中插入新的数据行。 如果指定了列名列表,那么这些列名列表必须与query语句产生列列表名完全匹配。表中不在列名列表中的每一列,其值会设置为null。 如果没有指定列名列表,则query语句产生的列必须与将要插入的列完全匹配。 使用insert int
-
退订集群 - MapReduce服务 MRS
退订规则请参见退订规则说明。 背景信息 一般在数据完成分析和存储后或集群异常无法提供服务时才执行集群退订操作。当MRS集群部署失败时,集群会被自动退订。 操作步骤 登录MRS管理控制台。 在左侧导航栏中选择“现有集群”。 在需要退订的包年包月集群对应的“操作”列中,单击“退订”。 进入“退订资源”页面,确认
-
ClickHouse开启mysql - MapReduce服务 MRS
登录FusionInsight Manager,选择“集群 > 服务 > ClickHouse >配置 > 全部配置”。搜索参数项“clickhouse-config-customize”添加名称为“mysql_port”,值为“9004”的参数值。 参数值可以自行设置。 修改完成后,单击“保存”。
-
Tez常用配置参数 - MapReduce服务 MRS
Tez日志目录。 /var/log/Bigdata/tez/tezui property.tez.log.level Tez的日志级别。 INFO 父主题: 使用Tez
-
Kafka生产者写入单条记录过长问题 - MapReduce服务 MRS
”值和本次写入数据大小,若写入数据大小超过此配置项“max.request.size ”的缺省值,则抛出上述异常。 解决办法 在初始化Kafka生产者实例时,设置此配置项“max.request.size ”的值。 例如,参考本例,可以将此配置项设置为“5252880”: //
-
MRS 3.2.0-LTS.1版本说明 - MapReduce服务 MRS
HetuEngine支持配置IoTDB数据源。 Hudi 升级到0.11.0版本。 IoTDB 新增组件,一体化收集、存储、管理与分析物联网时序数据的服务。 集群管理 支持补丁在线推送及更新。 组件版本信息 表1 MRS组件版本信息 组件 版本 CarbonData 2.2.0 ClickHouse
-
运行样例时提示Topic鉴权失败“TOPIC - MapReduce服务 MRS
ORIZATION_FAILED”。 解决步骤 向管理员申请该Topic的访问权限。 如果拥有权限后还是无法访问该Topic,使用管理员用户登录FusionInsight Manager,并进入Kafka服务配置页面,搜索“allow.everyone.if.no.acl.fou
-
使用Broker Load导入数据报错 - MapReduce服务 MRS
Manager,选择“集群 > 服务 > Doris > 配置 > 全部配置 > BE(角色) > 自定义”,新增自定义参数“streaming_load_rpc_max_alive_time_sec”,默认值为1200秒,需适当调大该参数值,并重启配置过期的BE实例。 父主题: Doris常见问题
-
使用HBase - MapReduce服务 MRS
HBase启动后原生页面显示RegionServer个数多于实际个数 RegionServer实例异常,处于Restoring状态 新安装的集群HBase启动失败 acl表目录丢失导致HBase启动失败 集群上下电之后HBase启动失败 文件块过大导致HBase数据导入失败 使用
-
Flink常见参数说明 - MapReduce服务 MRS
jvm-overhead.max 用于JVM其他开销的本地内存的最大值,例如栈空间、垃圾回收空间等,通过-yD添加。 10g 选填 taskmanager.memory.jvm-overhead.fraction 用于JVM其他开销的本地内存占tm内存的比例,例如栈空间、垃圾回收空间等,通过-yD添加。
-
MRS 3.1.5版本说明 - MapReduce服务 MRS
ZooKeeper 升级到3.6.3版本。 管理控制台 支持补丁在线推送及更新。 支持包周期集群中的部分节点退订。 作业提交API新增支持FlinkSQL作业类型。 支持指定资源池的弹性伸缩能力。 Master主机规格升级功能支持多Master节点集群。 Bootstrap脚本支持以root用户身份执行。