检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FlinkSQL HBase数据表开发建议 客户端提交作业时通过with属性添加HBase配置信息 Flink客户端提交作业,如SQL client提交,在建表语句中添加如下配置: 表1 Flink作业with属性 配置 说明 'properties.hbase.rpc.protection'
sight Manager系统的监控指标。 可能原因 无法连接服务器。 无法访问服务器上保存路径。 上传监控指标文件失败。 处理步骤 查看服务器连接是否正常。 查看FusionInsight Manager系统与服务器网络连接是否正常。 是,执行3。 否,执行2。 联系网络管理员恢复网络连接,然后检查告警是否恢复。
如何配置HBase文件存储 使用条件 集群版本小于MRS 3.x。 使用场景 HBase文件存储模块(HBase FileStream,简称HFS)是HBase的独立模块,它作为对HBase与HDFS接口的封装,应用在MRS的上层应用,为上层应用提供文件的存储、读取、删除等功能。
ClickHouse支持和OpenLDAP进行对接,通过在ClickHouse上添加OpenLDAP服务器配置和创建用户,实现账号和权限的统一集中管理和权限控制等操作。此方案适合从OpenLDAP服务器中批量向ClickHouse中导入用户。 本章节操作仅支持MRS 3.1.0及以上集群版本。
ClickHouse支持和OpenLDAP进行对接,通过在ClickHouse上添加OpenLDAP服务器配置和创建用户,实现账号和权限的统一集中管理和权限控制等操作。此方案适合从OpenLDAP服务器中批量向ClickHouse中导入用户。 本章节操作仅支持MRS 3.1.0及以上集群版本。
型的规格。 MRS支持的弹性云服务器(ECS)和裸金属服务器(BMS)混合部署,部署方式如下: Master、Core和Task节点均使用ECS部署。 Master、Core使用BMS部署,Task使用ECS部署。 Master、Core节点任意使用ECS和BMS混合部署,Task节点使用ECS部署。
端主机的安全组已增加SSH(22)端口的入方向规则。然后从2执行重新下载客户端。 连接到服务器失败,请检查网络连接或参数设置。 使用VNC方式,登录弹性云服务器(B集群)。参见登录弹性云服务器(VNC方式) 。 所有镜像均支持Cloud-init特性。Cloud-init预配置的
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架,基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上,并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业(application/job)通常会把输
监控指标转储失败会影响上层管理系统无法获取到MRS Manager系统的监控指标。 可能原因 无法连接服务器。 无法访问服务器上保存路径。 上传监控指标文件失败。 处理步骤 联系运维人员查看MRS Manager系统与服务器网络连接是否正常。 是,执行3。 否,执行2。 联系运维人员恢复网络连接,然后检查告警是否恢复。
用。 MapReduce服务通常使用的基础资源如下,配额由各个基础服务管理,如需扩大配额,请联系对应服务的技术支持进行扩容: 弹性云服务器 裸金属服务器 虚拟私有云 云硬盘 镜像服务 对象存储服务 弹性公网IP 消息通知服务 统一身份认证服务 其配额查看及修改请参见关于配额。
行环境准备。 准备运行调测环境 在弹性云服务器管理控制台,申请一个新的弹性云服务器,用于应用开发运行调测。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的网卡需要与MRS集群在同一个网段中。
登录两种方式: 界面登录:直接通过弹性云服务器管理控制台提供的远程登录功能,登录到集群节点的Linux命令行操作界面。 SSH登录:仅适用于Linux弹性云服务器,您可以使用远程登录工具(例如PuTTY)登录弹性云服务器,此时需要该弹性云服务器绑定弹性IP地址。 集群节点申请和绑
客户配置了DNS服务,由于客户端连接到HBase先通过DNS来解析服务器端,所以导致响应慢。 处理步骤 以root用户登录Master节点。 执行vi /etc/resolv.conf,打开resolv.conf文件,注释掉DNS服务器地址。 例如,#1.1.1.1。 父主题: 使用HBase
具体计费请以MRS价格计算器中的价格为准。 弹性云服务器 计费因子:vCPU和内存,不同规格的实例类型提供不同的计算和存储能力。 包年/包月、按需计费 节点个数 * 弹性云服务器单价 * 购买时长 弹性云服务器单价请以弹性云服务器价格计算器中的价格为准。 云硬盘(系统盘和数据盘)
Kafka 样例工程配置文件说明 Conf目录下各配置文件及重要参数配置说明。 Producer API配置项。 表1 producer.properties文件配置项 参数 描述 备注 security.protocol 安全协议类型 生产者使用的安全协议类型,当前Kerber
配置Kafka数据安全传输协议 本章节内容适用于MRS 3.x及后续版本。 Kafka API简单说明 Producer API 指org.apache.kafka.clients.producer.KafkaProducer中定义的接口,在使用“kafka-console-producer
HBase常用参数配置 该章节操作仅适用于MRS 3.x之前版本集群。 当MRS服务中默认的参数配置不足以满足用户需要时,用户可以自定义修改参数配置来适应自身需求。 登录集群详情页面,选择“组件管理”。 若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“
使用Hue提交Oozie作业之前,需要提前配置好Oozie客户端,并上传样例配置文件和jar至HDFS指定目录,具体操作请参考Oozie客户端配置说明章节。 操作步骤 准备一个具有对应组件操作权限的用户。 例如:使用admin用户登录FusionInsight Manager,选择“系统
使用Hue提交Oozie作业之前,需要提前配置好Oozie客户端,并上传样例配置文件和jar至HDFS指定目录,具体操作请参考Oozie客户端配置说明章节。 操作步骤 准备一个具有对应组件操作权限的用户。 例如:使用admin用户登录FusionInsight Manager,选择“系统
ZooKeeper通过访问控制列表(ACL)来对znode进行访问控制。ZooKeeper客户端为znode指定ACL,ZooKeeper服务器根据ACL列表判定某个请求znode的客户端是否有对应操作的权限。ACL设置涉及如下四个方面。 查看ZooKeeper中znode的ACL。