检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
客户端软件包名称格式为:“FusionInsight_Cluster_集群ID_Services_Client.tar”。本章节仅以集群ID为1进行介绍,请以实际集群ID为准。 以客户端安装用户登录将要安装客户端的服务器。 进入安装包所在目录,执行如下命令解压软件包。 cd
客户端软件包名称格式为:“FusionInsight_Cluster_集群ID_Services_Client.tar”。本章节仅以集群ID为1进行介绍,请以实际集群ID为准。 以客户端安装用户登录将要安装客户端的服务器。 进入安装包所在目录,执行如下命令解压软件包。 cd
DStream的接口,提供reduceByKey和join等操作。 JavaReceiverInputDStream<T>:定义任何从网络接收数据的输入流。 Spark Streaming的常见方法与Spark Core类似,下表罗列了Spark Streaming特有的一些方法。
内存计算,CQL的输出结果为数据流在某一时刻的计算结果。使用CQL,可以快速进行业务开发,并方便地将业务提交到Storm平台开启实时数据的接收、处理及结果输出;并可以在合适的时候中止业务。 高可用性 Nimbus HA机制,避免了开源Storm集群中Nimbus出现单点故障而导致
optimize.skewjoin=true”并调整“hive.skewjoin.key”的大小。“hive.skewjoin.key”是指Reduce端接收到多少个key即认为数据是倾斜的,并自动分发到多个Reduce。 父主题: Hive性能调优
"license" for more information. 客户端机器必须安装有setuptools,版本为47.3.1。 具体软件,请到对应的官方网站获取。 https://pypi.org/project/setuptools/#files 将下载的setuptoo
HBase客户端连接服务端时长时间无法连接成功 问题 在HBase服务端出现问题,无法提供服务,此时HBase客户端进行表操作,会出现该操作挂起,长时间无任何反应。 回答 问题分析 当HBase服务端出现问题,HBase客户端进行表操作的时候,会进行重试,并等待超时。该超时默认值为Integer
业务场景中可根据业务需求灵活调整。 登录FusionInsight Manager。 选择“系统 > 权限 > 角色 > 添加角色”,根据服务的权限控制类别添加业务开发时需要的权限。 填写角色的名称,例如developrole。 在“配置资源权限”的表格中选择“待操作集群的名称 >
不支持LEFT JOIN时小表为左表,RIGHT JOIN时小表为右表。 Flink作业大小表Join去重 在双流关联的业务模型中,关联算子接收到其中一个流发送的大量重复数据,则会导致下游算子需要处理大量重复数据,影响作业性能。 如A表字段(P1,A1,A2)使用如下方式关联B表字
Yarn模式特有的特性,并且必须开启Yarn External Shuffle才能使用这个功能。在使用Spark作为一个常驻的服务时候,动态资源调度将大大的提高资源的利用率。例如JDBCServer服务,大多数时间该进程并不接受JDBC请求,因此将这段空闲时间的资源释放出来,将极大的节约集群的资源。 表5
Kafka的consumer端配置信息。 kafkaSecurityMode Kafka服务是否开启安全模式标记文件。 producer.properties Kafka的producer端配置信息。 server.properties Kafka的服务端的配置信息。 复制解压目录下的“hosts”文件中的内容到本地hosts文件中。
已准备具有创建MRS集群权限的IAM用户,详细操作请参见创建IAM用户并授权使用MRS。 步骤一:创建MRS集群 进入购买MRS集群页面。 在服务列表中搜索“MapReduce服务 MRS”,进入MRS服务管理控制台。 单击“购买集群”,进入“购买集群”页面,选择“快速购买”页签。 根据实际业务规划情况填写集群配
Ranger管理员可通过Ranger为Hive用户进行相关的权限设置。Hive默认管理员账号为hive,初始密码为Hive@123。 前提条件 已安装Ranger服务且服务运行正常。 已创建用户需要配置权限的用户、用户组或Role。 用户加入hive组。 操作步骤 使用Ranger管理员用户rangerad
more information. 客户端机器必须安装有setuptools,其版本不低于5.0,最高不能超过36.8.0。 具体软件,请到对应的官方网站获取。 https://pypi.org/project/setuptools/#files 将下载的setuptoo
more information. 客户端机器必须安装有setuptools,其版本不低于5.0,最高不能超过36.8.0。 具体软件,请到对应的官方网站获取。 https://pypi.org/project/setuptools/#files 将下载的setuptoo
是否允许不在ISR中的副本被选举为Leader。 acks -1 Producer需要Leader确认消息是否已经接收并认为已经处理完成。 acks=-1需要表示等待在ISR列表的副本都确认接收到消息并处理完成才表示消息成功。配合min.insync.replicas可以确保多副本写入成功,只
xml”文件的父目录,Flink Sink可以获取到HBase的Connection。 通过Connection判断表是否存在,如果不存在则创建表。 将接收到的数据转化成Put对象,写到HBase。 读HBase: 通过参数指定“hbase-site.xml”文件的父目录,Flink Sour
"license" for more information. 客户端机器必须安装有setuptools,版本为47.3.1。 具体软件,请到对应的官方网站获取。 https://pypi.org/project/setuptools/#files 将下载的setuptoo
krb5,观察是否有krb5-workstation-1.10.3-33.el6.x86_64。 处理步骤 执行以下命令卸载“krb5-workstation”软件和依赖的软件: rpm -e krb5-workstation-1.10.3-33.el6.x86_64 在Kerberos服务节点上使用kill
DBService服务异常。 Yarn服务异常。 Mapreduce服务异常。 环境故障:网络异常,Loader服务无法与其依赖的内部服务通信,无法提供服务。 软件故障:Loader服务无法正常运行。 处理步骤 检查ZooKeeper服务状态。 在FusionInsight Manager首页,选择“集群