检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
把以上程序打包成AddDoublesUDF.jar,并上传至客户端安装节点,例如“opt”目录下,再上传到HDFS指定目录下(例如“/user/hive_examples_jars”)。创建函数的用户与使用函数的用户都需要具有该文件的可读权限。
sh zkCli.sh -server ZooKeeper任意实例所在节点业务平面IP:clientPort 默认的“clientPort”为“2181” 例如:sh zkCli.sh -server 192.168.0.151:2181 登录ZooKeeper客户端后,使用ls命令
默认资源标签 - 表示在指定资源标签(Label)的节点上执行任务。 说明: 如果需要使用新的资源池,需要修改默认标签为新的资源池标签。 跨资源池调度 - 表示当前队列内Container是否支持跨资源池调度。
Endpoint:指定承载REST服务端点的服务器域名或IP,不同服务不同区域的Endpoint不同,您可以从终端节点中获取。例如IAM服务在“华北-北京四”区域的Endpoint为“iam.cn-north-4.myhuaweicloud.com”。
把以上程序打包成AddDoublesUDF.jar,并上传至客户端安装节点,例如“opt”目录下,再上传到HDFS指定目录下(例如“/user/hive_examples_jars”)。创建函数的用户与使用函数的用户都需要具有该文件的可读权限。
将该实现类与其依赖包同时打包成Jar文件,保存到HBase客户端所在节点的任意位置并确保执行命令的用户具有读取和执行该Jar包的权限。
23 23:32:30,2017-10-24 23:32:30,95.51,50.17 13418592131,1010,MAC地址,2017-10-24 00:32:30,2017-10-25 00:32:30,39.62,99.13 使用WinSCP工具将CSV文件导入客户端节点
AzAwareReplicaSelector:优先从相同AZ内的节点上的副本进行消费(AZ内就近消费特性)。
sasl.mechanism", "SCRAM-SHA-512"); props.put("sasl.jaas.config", token.toString()); return props; } BOOTSTRAP_SERVERS需根据集群实际情况,配置为Kafka Broker节点的主机名及端口
23 23:32:30,2017-10-24 23:32:30,95.51,50.17 13418592131,1010,MAC地址,2017-10-24 00:32:30,2017-10-25 00:32:30,39.62,99.13 使用WinSCP工具将CSV文件导入客户端节点
将该实现类与其依赖包同时打包成Jar文件,保存到HBase客户端所在节点的任意位置并确保执行命令的用户具有读取和执行该Jar包的权限。
sh zkCli.sh -server ZooKeeper任意实例所在节点业务平面IP:clientPort 默认的“clientPort”为“2181” 例如:sh zkCli.sh -server 192.168.0.151:2181 登录ZooKeeper客户端后,使用ls命令
AzAwareReplicaSelector:优先从相同AZ内的节点上的副本进行消费(AZ内就近消费特性)。
OBS终端节点、端口:配置为OBS实际的地址信息。 OBS类型:保持默认。 访问标识(AK)、密钥(SK):登录OBS的AK、SK信息。 图3 创建OBS连接 单击“保存”回到连接管理界面。
以客户端安装用户,登录客户端所在节点。 执行以下命令切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 执行以下命令认证当前用户(未启用Kerberos认证集群跳过此步骤)。
登录Doris集群中已安装好MySQL客户端的MRS Master节点,执行如下命令进入Doris数据库。
执行大数据量的shuffle过程时Executor注册shuffle service失败 问题 执行超过50T数据的shuffle过程时,出现部分Executor注册shuffle service超时然后丢失从而导致任务失败的问题。错误日志如下所示: 2016-10-19 01:33
CarbonData表空间索引语法说明 快速示例 create table IF NOT EXISTS carbonTable ( COLUMN1 BIGINT, LONGITUDE BIGINT, LATITUDE BIGINT, COLUMN2 BIGINT
提升HBase Put和Scan数据性能 操作场景 HBase有很多与读写性能相关的配置参数。读写请求负载不同的情况下,配置参数需要进行相应的调整,本章节旨在指导用户通过修改RegionServer配置参数进行读写性能调优。 操作步骤 登录FusionInsight Manager
配置HDFS快速关闭文件功能 操作场景 默认情况下关闭HDFS文件时需要等待所有的Block都上报成功(处于COMPLETED状态)。因此HDFS的一部分写性能消耗为等待DataNode块上报以及NameNode处理块上报。对于一个负载较大的集群,等待的消耗对集群影响较大。HDFS