检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
class”项。该方法用来分配map的输出结果到哪个reduce类,默认使用HashPartitioner,均匀分配map的每条键值对记录。例如在hbase应用中,不同的键值对应的region不同,这就需要设定特殊的partitioner类分配map的输出结果。 setSortComparatorClass(Class<extends
对于价值数据,两种场景下建议Kafka数据目录磁盘配置raid1或者raid5,从而提高单个磁盘故障情况下数据可靠性。 不同Producer API对应的acks参数名称不同 新Producer API 指org.apache.kafka.clients.producer.KafkaPro
Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选操作集群的“HetuEngine”,单击“确定”。 在“主机”中勾选对应角色所在的主机,单击“确定”。 单击右上角的,设置日志收集的“开始时间”和“结束时间”,分别为告警产生时间的前后30分钟,单击“下载”。
Connection(host='hiveserverIp', port=hiveserverPort, username='hive', database='default', auth='KERBEROS', kerberos_service_name="hive", krbhost='hadoop
prequery.period.max.minute 预热的最大时长,单位分钟 60 spark.prequery.tables 表名配置database.table:int,表名支持通配符*,int代表预热多长时间内有更新的表,单位为天。 default.test*:10 spark
P。 配置安全认证,在“/opt/hadoopclient/Flink/flink/conf/flink-conf.yaml”配置文件中的对应配置添加keytab路径以及用户名。 security.kerberos.login.keytab: <user.keytab文件路径> security
limit 100; 操作步骤 分析业务。 从业务入手分析是否可以简化SQL,例如可以通过合并表去减少嵌套的层级和Join的次数。 如果业务需求对应的SQL无法简化,则需要配置DRIVER内存: 使用spark-submit或者spark-sql运行SQL语句,执行3。 使用spark
class”项。该方法用来分配map的输出结果到哪个reduce类,默认使用HashPartitioner,均匀分配map的每条键值对记录。例如在hbase应用中,不同的键值对应的region不同,这就需要设定特殊的partitioner类分配map的输出结果。 setSortComparatorClass(Class<extends
version 1.1.0 by Apache Hive (可选)通过beeline -help命令查看关于客户端显示的设置。如下: -u <database url> the JDBC URL to connect to -n <username>
te.xml user.keytab 对于Kerberos安全认证提供HDFS用户信息。 如果是安全模式集群,您可以联系管理员获取相应账号对应权限的keytab文件和krb5文件。 krb5.conf Kerberos server配置信息。 不同集群的“user.keytab”、“krb5
class”项。该方法用来分配map的输出结果到哪个reduce类,默认使用HashPartitioner,均匀分配map的每条键值对记录。例如在hbase应用中,不同的键值对应的region不同,这就需要设定特殊的partitioner类分配map的输出结果。 setSortComparatorClass(Class<extends
(1 row) -- 指定查询SQL整体对应的物化视图进行查询重写 EXPLAIN SELECT a.id,b.c1 FROM (SELECT id FROM t1 WHERE id>5)
limit 100; 操作步骤 分析业务。 从业务入手分析是否可以简化SQL,例如可以通过合并表去减少嵌套的层级和Join的次数。 如果业务需求对应的SQL无法简化,则需要配置DRIVER内存: 使用spark-submit或者spark-sql运行SQL语句,执行3。 使用spark
prequery.period.max.minute 预热的最大时长,单位分钟 60 spark.prequery.tables 表名配置database.table:int,表名支持通配符*,int代表预热多长时间内有更新的表,单位为天。 default.test*:10 spark
subscribe(java.util.Collection<java.lang.String> topics) Topic订阅接口方法。 ConsumerRecords<K,V> poll(final Duration timeout) 请求获取消息接口方法。 父主题: Kafka常用API介绍
boolean[] existsAll(List<Get> gets) 判断这批指定的rowkey在表中是否存在,返回的boolean数组结果与入参位置一一对应。 Result get(Get get) 通过指定的rowkey读取数据。 Result[] get(List<Get> gets) 通
与HTTP服务访问相比,以HTTPS方式访问Yarn时,由于使用了SSL安全加密,需要确保Curl命令所支持的SSL协议在集群中已添加支持。若不支持,可对应修改集群中SSL协议。例如,若Curl仅支持TLSv1协议,修改方法如下: 登录FusionInsight Manager页面,选择“集群
boolean[] existsAll(List<Get> gets) 判断这批指定的rowkey在表中是否存在,返回的boolean数组结果与入参位置一一对应。 Result get(Get get) 通过指定的rowkey读取数据。 Result[] get(List<Get> gets) 通
修改Storm集群关于Worker启动超时参数。 处理步骤 使用Eclipse远程提交拓扑后Worker日志为空,则使用Storm客户端,提交拓扑对应的Jar包,查看提示信息。 例如,Jar包中包含两个不同路径下的“storm.yaml”文件,系统显示以下信息: Exception in
subscribe(java.util.Collection<java.lang.String> topics) Topic订阅接口方法。 ConsumerRecords<K,V> poll(final Duration timeout) 请求获取消息接口方法。 父主题: Kafka常用API介绍