检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka常用配置参数 本章节内容适用于MRS 3.x及后续版本。 参数入口 请参考修改集群服务配置参数进入Kafka服务参数“全部配置”页面。 常用参数 表1 参数说明 配置参数 说明 缺省值 log.dirs Kafka数据存储目录列表,以逗号分隔多个目录。 %{@auto.detect
格丰富并且可弹性扩展的块存储服务,可满足不同场景的业务需求。 扩容数据盘 云监控服务(Cloud Eye) 云监控服务为用户提供立体化监控平台。使您全面了解MRS的资源使用情况、业务的运行状况,并及时收到异常告警做出反应,保证业务顺畅运行。 - 裸金属服务器(Bare Metal
中的主机加入已选主机列表。只支持选择本集群中的主机。资源池中的主机列表可以为空。 根据业务需求,可以通过主机名称 、核数、内存、操作系统、平台类型,筛选需要选取的资源主机。 MRS 2.x及之前版本: “名称”:填写资源池的名称。不支持创建名称为“Default”的资源池。 资源
-R FlinkServer节点: 登录Manager,选择“集群 > 服务 > Flink > 实例”,查看FlinkServer所在的“业务IP”。 若FlinkServer实例所在节点与包含HBase服务客户端的安装节点相同,则该节点不执行此步骤。 添加FlinkServer本地访问HBase集群路径。
Bolt 在一个Topology中接受数据然后执行处理的组件。Bolt可以执行过滤、函数操作、合并、写数据库等任何操作。 Tuple 一次消息传递的基本单元。 Stream 流是一组(无穷)元素的集合,流上的每个元素都属于同一个schema;每个元素都和逻辑时间有关;即流包含了元
ouse集群和Kafka集群网络可以互通,并安装ClickHouse客户端。 操作步骤 登录ClickHouse服务所在集群的Manager页面,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置 > ClickHouseServer(角色) > 引擎”,修改如下参数:
登录华为云管理控制台。 在服务列表中选择“管理与监管 > 统一身份认证服务 IAM”。 选择“委托 > 创建委托”。 设置“委托名称”,“委托类型”选择“云服务”,在“云服务”中选择“弹性云服务器ECS 裸金属服务器BMS”,授权ECS或BMS调用OBS服务。 “持续时间”选择“永久”并单击“完成”。
nk集群性能做优化。 操作步骤 配置JobManager内存。 JobManager负责任务的调度,以及TaskManager、RM之间的消息通信。当任务数变多,任务平行度增大时,JobManager内存都需要相应增大。 您可以根据实际任务数量的多少,为JobManager设置一个合适的内存。
产生告警的集群或系统名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名 对系统的影响 ClickHouse服务异常,无法通过FusionInsight Manager对ClickHouse进行集群操作,无法使用ClickHouse服务功能。 可能原因
Manager页面,选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“仅配置文件”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64)单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如
址,可通过登录FusionInsight Manager界面,选择“集群 > 服务 > IoTDB > 实例”查看。 RPC端口可通过登录FusionInsight Manager,选择“集群 > 服务 > IoTDB > 配置 > 全部配置”,搜索参数“IOTDB_SERVER_RPC_PORT”获得。
图1 运行Consumer.java 单击运行后弹出控制台窗口,可以看到Consumer启动成功后,再启动Producer,即可看到实时接收消息: 图2 Consumer.java运行窗口 在Linux调测程序 编译并生成Jar包,并将Jar包复制到与依赖库文件夹同级的目录“src
存储资源目前支持HDFS存储,可以添加删除租户HDFS存储目录,设置目录的文件数量配额和存储空间配额。 Manager作为MRS的统一租户管理平台,用户可以在界面上根据业务需要,在集群中创建租户、管理租户。 创建租户时将自动创建租户对应的角色、计算资源和存储资源。默认情况下,新的计算
中的时间序列数据库组件。 图1 IoTDB结构 用户可以通过JDBC/Session将来自设备传感器上采集的时序数据和服务器负载、CPU内存等系统状态数据、消息队列中的时序数据、应用程序的时序数据或者其他数据库中的时序数据导入到本地或者远程的IoTDB中。用户还可以将上述数据直接
com.obs=WARN 可执行以下命令查看: tail -4 log4j.properties 图2 查看日志级别 父主题: MRS集群服务对接OBS示例
Manager页面,选择“集群 > 服务 > HetuEngine > 更多 > 下载客户端”。 选择“完整客户端”,根据待安装客户端节点的节点类型选择正确的平台类型(x86选择“x86_64”,ARM选择“aarch64”),不勾选“仅保存到如下路径”,单击“确定”,等待客户端文件包自动生成并下载。
kafka-examples Kafka流式数据的处理Java示例程序。 本工程基于Kafka Streams完成单词统计功能,通过读取输入Topic中的消息,统计每条消息中的单词个数,从输出Topic消费数据,然后将统计结果以Key-Value的形式输出。 Manager manager-examples
载并安装后,管理员通过Manager界面修改了服务端配置,开发人员需要更新客户端配置文件的场景。 平台类型包括x86_64和aarch64两种: x86_64:可以部署在X86平台的客户端软件包。 aarch64:可以部署在TaiShan服务器的客户端软件包。 集群支持下载x86
型字段脱敏都按“Nullify”脱敏策略处理。 配置Hive动态脱敏 登录FusionInsight Manager页面,选择“集群 > 服务 > Hive > 配置”,在搜索框中搜索“hive.dynamic.masked.enabled”,修改HiveServer实例的该参数值为“true”。
ALM-25000 LdapServer服务不可用(2.x及以前版本) 告警解释 系统按30秒周期性检测LdapServer的服务状态。当检测到两个LdapServer服务均异常时产生该告警。 当检测到一个LdapServer服务恢复时告警恢复。 告警属性 告警ID 告警级别 可自动清除