检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
job.setCombinerClass(CollectionCombiner.class); // 设置作业的输出类型。 job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable
下载客户端配置文件。 登录MRS Manager页面,具体请参见访问集群Manager,然后选择“服务管理”。 单击“下载客户端”。 “客户端类型”选择“仅配置文件”,“下载路径”选择“服务器端”,单击“确定”开始生成客户端配置文件,文件生成后默认保存在主管理节点“/tmp/MRS-
弹性云服务器的CPU架构需和MRS集群节点保持一致。 弹性云服务器客户端安装目录需要分配足够的磁盘空间,至少40GB。 弹性云服务器需要与MRS集群在同一个VPC网络及安全组中。 MRS集群安全组入方向将所有端口对客户端节点放开,具体操作请参考添加安全组规则。 弹性云服务器操作系
压得到该用户的“user.keytab”文件与“krb5.conf”文件。 选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“仅配置文件”,单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如,客户端配置文件压缩包为“Fusi
若批量导入数据时创建二级索引,还需注意: 当将列的类型设置为string时,不能设置其长度。例如“<column index="1" type="string" length="1" >COLOUMN_1</column>”,此类型不支持。 当将列的类型设置为date时,不能设置其日期格式。例如“<column
KT或WKB创建几何对象。 SphericalGeography类型为地理坐标(有时称为大地坐标或lat / lon或lon / lat)上表示的空间要素提供本地支持。地理坐标是以角度单位(度)表示的球坐标。几何类型的基础是平面。平面上两点之间的最短路径是一条直线。这意味着可以使
定。 job.setCombinerClass(CollectionReducer.class); // 设置作业的输出类型。 job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable
更多 > 下载客户端”。 MRS 3.3.0及之后版本:在主页右上方单击“下载客户端”。 下载集群客户端。 “选择客户端类型”选择“仅配置文件”,选择平台类型,单击“确定”开始生成客户端配置文件,文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client/”。
ClickHouse提供了基于Loadbalance部署架构,可以将用户访问流量自动分发到多台后端节点,扩展系统对外的服务能力,实现更高水平的应用容错。客户端应用请求集群时,使用基于Nginx的ClickHouseBalancer控制节点来进行流量分发,无论集群写入的负载、读的负载以及应用接入的高可用性都具备了有力的保障。
通过异常信息,发现当前Flume向Kafka写入的数据超过了Kafka服务端定义的消息的最大值。 通过Manager查看Kafka服务端定义的消息的最大值。 MRS Manager界面操作入口:登录MRS Manager,依次选择 “服务管理 > Kafka> 配置”。 FusionInsight
获取ZooKeeper的IP列表和端口、集群的认证模式、HiveServer的SASL配置、HiveServer在ZooKeeper中节点名称、客户端对服务端的发现模式、以及服务端进程认证的principal。这些配置样例代码会自动从“hiveclient.properties中”读取。 //zkQuorum获取后的格式为"xxx
job.setCombinerClass(CollectionCombiner.class); // 设置作业的输出类型。 job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable
conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 编译打包前,样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如:“/opt/female/user
Y),磁盘(DISK_ONLY),内存+磁盘(MEMORY_AND_DISK)等。 JavaRDD支持两种类型的操作:Transformation和Action,这两种类型的常用方法如表1和表2。 表1 Transformation 方法 说明 <R> JavaRDD<R> map(Function<T
Y),磁盘(DISK_ONLY),内存+磁盘(MEMORY_AND_DISK)等。 JavaRDD支持两种类型的操作:Transformation和Action,这两种类型的常用方法如表1和表2。 表1 Transformation 方法 说明 <R> JavaRDD<R> map(Function<T
colAndType)*) 参数描述 表1 ADD COLUMNS参数描述 参数 描述 tableIdentifier 表名。 colAndType 带数据类型且用逗号分隔的列的名称。列名称包含字母,数字和下划线(_)。 示例 alter table h0_1 add columns(ext0 string);
运行一个名字为CLASSNAME的类。 top 运行集群利用率监控工具。 -Dmapreduce.job.hdfs-servers 如果对接了OBS,而服务端依然使用HDFS,那么需要显式在命令行使用该参数指定HDFS的地址。格式为hdfs://{NAMESERVICE}。其中{NAMESERVICE}为hdfs
SummingMergeTree() PARTITION BY tuple() ORDER BY (device, day); AggregateFunction类型的字段使用二进制存储,在写入数据时,需要调用*State函数;而在查询数据时,则需要调用相应的*Merge函数。其中,*表示定义时使用的聚合函数。
获取ZooKeeper的IP列表和端口、集群的认证模式、HiveServer的SASL配置、HiveServer在ZooKeeper中节点名称、客户端对服务端的发现模式、以及服务端进程认证的principal。这些配置样例代码会自动从“hiveclient.properties中”读取。 //zkQuorum获取后的格式为"xxx
SConsole WebUI”后的链接,进入HSConsole界面。 单击“数据源”,在数据源列表中可以查看数据源名称、数据源描述、数据源类型和创建时间等信息,在“操作”列下也可以编辑和删除数据源。 HetuEngine服务在安装时已经将共部署的Hive数据源默认实现对接,数据源名称为“hive”,不可删除。