-
ALM-25006 Sssd服务异常 - MapReduce服务 MRS
是,执行9。 否,执行13。 检查网络是否故障,无法访问ldap服务器。 用root用户登录故障节点,在这个节点上使用ping命令检查该节点与LdapServer节点的网络是否畅通。 是,执行6。 否,请联系网络管理员,解决网络故障。 检查Name Service服务是否异常。 用
-
添加集群/节点标签 - MapReduce服务 MRS
MRS标签更新会同步到集群中的云服务器(ECS)或云硬盘(EVS)标签上,但是在ECS或EVS控制台上修改MRS集群的标签不会同步到集群上,为了使所有ECS/ECS标签与MRS标签保持一致,不建议在云服务器(ECS)或云硬盘(EVS)控制台上修改MRS集群标签。 系统支持添加多个标签,最多可添加10个标签,当
-
流式写入Hudi表 - MapReduce服务 MRS
checkpoint=s1,0:0,1:0 // 任务启动时,该source的恢复点(从0分区的0 offset,1分区的0 offset开始恢复) // 指定与source1表进行join的hudi表,如果该hudi表已经同步到hive,则不需要该配置,直接在sql中通过表名来使用 hoodie.deltastreamer
-
配置HDFS文件目录标签策略 - MapReduce服务 MRS
blockmanagement.AvailableSpaceBlockPlacementPolicy host2tags 配置DataNode主机与标签的对应关系。 主机名称支持配置IP扩展表达式(如192.168.1.[1-128]或者192.168.[2-3].[1-128],且IP必须为业务IP),或者为前后加上
-
IAM用户同步MRS说明 - MapReduce服务 MRS
交作业。 IAM用户权限策略及同步MRS后权限对比请参考表1,Manager对应默认权限说明请参考默认权限信息一览。 表1 IAM权限策略与MRS权限同步映射 策略类别 IAM策略 同步后用户在MRS对应默认权限 是否有权限执行同步操作 是否有权限提交作业 细粒度 MRS ReadOnlyAccess
-
准备HDFS应用开发和运行环境 - MapReduce服务 MRS
如果使用Linux环境调测程序,需准备安装集群客户端的Linux节点并获取相关配置文件。 在节点中安装客户端,例如客户端安装目录为“/opt/client”。 客户端机器的时间与集群的时间要保持一致,时间差小于5分钟。 集群的Master节点或者Core节点使用客户端可参考集群内节点使用MRS客户端,MRS集群外客户
-
备份IoTDB元数据 - MapReduce服务 MRS
“周期备份”表示按周期自动执行备份,“手动备份”表示由手工执行备份。 表1 周期备份参数 参数名称 描述 开始时间 任务第一次启动的时间。 周期 任务下次启动,与上一次运行的时间间隔,支持按“小时”或按“天”。 备份策略 选择数据周期备份策略。 首次全量备份,后续增量备份 每次都全量备份 每n次进行一次全量备份
-
准备连接MapReduce集群配置文件 - MapReduce服务 MRS
用户”,在用户名为developuser的操作列选择“更多 > 下载认证凭据”下载认证凭据文件,保存后解压得到该用户的“user.keytab”文件与“krb5.conf”文件。 准备运行环境配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群
-
Storm-Kafka开发指引 - MapReduce服务 MRS
IDEA工程中com.huawei.storm.example.kafka.NewKafkaTopology.java。 本章节只适用于MRS产品Storm与Kafka组件间的访问。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认Storm和Kafka组件已经安装,并正常运行。
-
ALM-38011 Broker上用户连接数使用率超过设定阈值 - MapReduce服务 MRS
产生告警的角色名称。 主机名 产生告警的主机名。 用户名 产生告警的用户名。 对系统的影响 当同一个用户连接数太多时,产生告警的用户将无法与Broker建立新的连接。 可能原因 客户端使用同一个用户建立的连接个数超过设定阈值。 用户连接数使用率阈值设置不符合业务需求。 处理步骤
-
配置HDFS文件目录标签策略 - MapReduce服务 MRS
blockmanagement.AvailableSpaceBlockPlacementPolicy host2tags 配置DataNode主机与标签的对应关系。 主机名称支持配置IP扩展表达式(如192.168.1.[1-128]或者192.168.[2-3].[1-128],且IP必须为业务IP),或者为前后加上
-
Hive对接外置自建关系型数据库 - MapReduce服务 MRS
文,其余暂不支持。 Hive支持开源MySQL和Postgres元数据库。 安装开源MySQL或Postgres数据库。 数据库安装节点需与集群处于同一网段,能互相访问。 上传驱动包。 Postgres: 使用开源驱动包替换集群已有的驱动包。将Postgres驱动包“postgresql-42
-
Json函数和运算符 - MapReduce服务 MRS
VARCHAR)将JSON值转换为对应的SQL VARCHAR值。对于JSON字符串、JSON数字、true、false或null,转换行为与对应的SQL类型相同。JSON对象和JSON数组无法转换为VARCHAR: SELECT CAST(JSON '{"a": 1, "b": 2}'
-
准备HDFS应用开发和运行环境 - MapReduce服务 MRS
如果使用Linux环境调测程序,需准备安装集群客户端的Linux节点并获取相关配置文件。 在节点中安装客户端,例如客户端安装目录为“/opt/client”。 客户端机器的时间与集群的时间要保持一致,时间差小于5分钟。 集群的Master节点或者Core节点使用客户端可参考集群内节点使用MRS客户端,MRS集群外客户
-
PyFlink样例程序代码说明 - MapReduce服务 MRS
'connector' = 'kafka', 'topic' = 'test_source_topic', --写入Kafka的topic名称,需确保与上述Python文件中的topic相同 'properties.bootstrap.servers' = 'Kafka的Broker实例业务IP:Kafka端口号'
-
开启Kerberos认证集群中的默认用户清单 - MapReduce服务 MRS
MRS集群提供以下3类用户,请用户定期修改密码,不建议使用默认密码。 用户类型 使用说明 系统用户 通过Manager创建,是MRS集群操作运维与业务场景中主要使用的用户,包含两种类型: “人机”用户:用于在Manager的操作运维场景,以及在组件客户端操作的场景。 “机机”用户:用于MRS集群应用开发的场景。
-
ALM-25005 Nscd服务异常 - MapReduce服务 MRS
是,执行11。 否,执行15。 检查网络是否故障,无法访问ldap服务器。 用root用户登录故障节点,在这个节点上使用ping命令检查该节点与LdapServer节点的网络是否畅通。 是,执行6。 否,请联系网络管理员,解决网络故障。 检查Name Service服务是否异常。 用root用户登录故障节点,执行cat
-
开启Kerberos认证集群中的默认用户清单 - MapReduce服务 MRS
MRS集群提供以下3类用户,请用户定期修改密码,不建议使用默认密码。 用户类型 使用说明 系统用户 通过Manager创建,是MRS集群操作运维与业务场景中主要使用的用户,包含两种类型: “人机”用户:用于在Manager的操作运维场景,以及在组件客户端操作的场景。 “机机”用户:用于MRS集群应用开发的场景。
-
ClickHouse用户及权限管理 - MapReduce服务 MRS
表1 ClickHouse支持的权限管理对象 资源列表 是否集成 备注 数据库 是(一级) - 表 是(二级) - 视图 是(二级) 与表一致 表2 资源权限列表 资源对象 可选权限 备注 数据库(DATABASE) CREATE CREATE DATABASE/TABLE/VIEW/DICTIONARY权限
-
CarbonData调优思路 - MapReduce服务 MRS
CPU核数约等于: 并行任务数x扫描仪线程数。其中并行任务数为分割数和执行器数x执行器核数两者之间的较小值。 数据加载性能调优 数据加载性能调优与查询性能调优差异很大。跟查询性能一样,数据加载性能也取决于可达到的并行性。在数据加载情况下,工作线程的数量决定并行的单元。因此,更多的执行器