检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
并分别单击MRS集群的节点名称,在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云 > 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。 将krb5
如何使用PySpark连接MRS Spark? 问: 如何在ECS服务器上用PySpark连接内网开启Kerberos认证的MRS Spark集群? 答: 将Spark的“spark-defaults.conf”文件中“spark.yarn.security.credentials
CDL”,单击“CDLService UI”右侧的超链接进入CDLService WebUI界面,在数据同步任务作业列表界面选择需进行DDL变更作业所在行的“更多 > 停止”,停止CDL作业。 使用客户端安装用户登录安装了客户端的节点,并执行以下命令: cd 客户端安装目录 source
负载均匀,数据分片的个数和范围与源表的数据无关,而是由源表的存储结构(数据块)确定,颗粒度可以达到“每个数据块一个分区”。 性能稳定,完全消除“数据偏斜”和“绑定变量窥探”导致的“索引失效”。 查询速度快,数据分片的查询速度比用索引快。 水平扩展性好,如果数据量越大,产生的分片就越多,
会增大来自互联网的网络攻击风险可能性。 请确认绑定的弹性公网IP为可信任的公网访问IP。 开放集群22端口安全组规则 该操作会增大用户利用22端口进行漏洞攻击的风险。 针对开放的22端口进行设置安全组规则,只允许可信的IP可以访问该端口,入方向规则不推荐设置允许0.0.0.0可以访问。
Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)、日志收集等大量数据的互联网服务的数据收集场景。
图2展示了使用IoTDB套件的全部组件形成的整体应用架构,IoTDB特指其中的时间序列数据库组件。 图2 IoTDB结构 用户可以通过JDBC/Session将来自设备传感器上采集的时序数据和服务器负载、CPU内存等系统状态数据、消息队列中的时序数据、应用程序的时序数据或者其他数据库中的时序数据导
Mapping,未配置WhiteList参数,该任务所配置的Schema的CDL任务未同步的表过多,导致CDL任务名称创建时分区过多。 处理步骤 登录FusionInsight Manager,选择“集群 > 服务 > CDL”,单击“CDLService UI”右侧的超链接进入CDLService WebUI界面,
并分别单击MRS集群的节点名称,在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云 > 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。 将krb5
负载均匀,数据分片的个数和范围与源表的数据无关,而是由源表的存储结构(数据块)确定,颗粒度可以达到“每个数据块一个分区”。 性能稳定,完全消除“数据偏斜”和“绑定变量窥探”导致的“索引失效”。 查询速度快,数据分片的查询速度比用索引快。 水平扩展性好,如果数据量越大,产生的分片就越多,
设置“委托名称”。例如:mrs_ecs_obs。 “委托类型”选择“云服务”,在“云服务”中选择“弹性云服务器 ECS 裸金属服务器 BMS”,授权ECS或BMS调用OBS服务,如图2所示。 “持续时间”选择“永久”并单击“完成”。 图2 创建委托 在委托的“操作”列单击“授权”,搜索“OBS
任务名 产生告警的任务名称。 用户名 产生告警的用户名称。 对系统的影响 Flink作业重启次数超阈值,说明Flink作业在频繁的失败重启,需要用户介入来查看原因,是Flink作业级别告警,对FlinkServer本身无影响。 可能原因 Flink重启次数超阈值的原因可在具体日志中查看。
Iceberg Iceberg原理介绍 Iceberg是一种开放的数据湖表格式,可以基于Iceberg快速地在HDFS或OBS上构建自己的数据湖存储服务。 Iceberg当前为公测阶段,若需使用需联系技术支持申请白名单开通。 当前版本Iceberg仅支持Spark引擎,如需使用其他引擎构建数据湖服务,请使用Hudi。
由于MRS集群节点的NTP时间不同步导致集群访问OBS时鉴权失败 问题现象 集群访问OBS上报403异常。 原因分析 集群Master节点NTP时间与集群外节点的NTP服务器时间不同步,时间相差超过15min,导致集群访问OBS时鉴权失败,上报403异常。 处理步骤 以root用户登录集群主Master节点。
使用具有FlinkServer管理操作权限的用户登录Manager。 选择“集群 > 服务 > Yarn”,单击“ResourceManager WebUI”后的链接进入Yarn页面。 根据告警“定位信息”中的任务名找到失败任务,查找并记录失败作业的“application ID”,是否可以在Yarn页面上查看到作业日志。
FlinkServer作业Task持续背压的具体原因可在具体日志中查看。 处理步骤 使用具有FlinkServer管理操作权限的用户登录Manager。 选择“集群 > 服务 > Yarn”,单击“ResourceManager WebUI”后的链接进入Yarn页面。 根据告警“定位信息”中的任务名找到失败
告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 任务名 产生告警的任务名称。 用户名 产生告警的用户名称。 对系统的影响 Flink作业的CheckPoint连续失败,超过阈值后Flink作业有失败的风险,需要用户介入查看Flink作业运行状
访问Presto的WebUI 用户可以通过Presto的WebUI,在图形化界面查看Presto的统计信息。Presto的WebUI界面不支持使用IE浏览器访问,建议使用Google浏览器访问。 前提条件 已安装Presto服务的集群。 已安装集群客户端,例如安装目录为“/opt
x之前版本:选择“Storm”,在“Storm 概述”的“Storm Web UI”,单击任意一个UI链接,打开Storm的WebUI。 第一次访问Storm WebUI,需要在浏览器中添加站点信任以继续打开页面。 MRS 3.x及后续版本:选择“Storm > 概览”,在“基本信息”的“Storm Web U
单击“创建数据连接”,在弹出的页面中选择数据连接类型,参考表1填写信息,单击“确定”,完成数据连接创建。创建完成后,可在对应数据连接的“操作”列对数据连接进行编辑、测试、删除等操作。 表1 创建数据连接信息 参数名称 参数描述 示例 数据连接类型 选择数据连接的类型,包含HDFS、Kafka、Redis。