检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/user/hive/warehouse/person -hive-table person -split-by<column-name> 表的列名,用来切分工作单元,一般后面跟主键ID。 -table <table-name> 关系数据库表名,数据从该表中获取。 -target-dir <dir> 指定HDFS路径。
ct_implementation配置,支持将countDistinct语法转成所配置的近似算法。查询性能有数量级的提升。 近似算法的误差一般在1%以内。在数据准确度要求不高,比如趋势分析等,建议使用近似去重提升用户体验。 【使用精确去重查询】 耗时:1.280秒。 【使用近似查询】
ssl开启时有效。 false 否 taskmanager.numberOfTaskSlots TaskManager占用的slot数,一般配置成物理机的核数,yarn-session模式下只能使用-s参数传递,yarn-cluster模式下只能使用-ys参数传递。 1 否 parallelism
jks文件生成方式可参考“Kafka开发指南 > 客户端SSL加密功能使用说明”章节。 四种类型实际命令示,以ReadFromKafka为例,集群域名为“HADOOP.COM”: 命令1: bin/flink run --class com.huawei.bigdata.flink.examples
补丁基本信息 补丁号 MRS_3.3.0-LTS.1.1 发布时间 2024-12-20 解决的问题 解决Manager问题: 修改Chrony的域名会导致Nodeagent无法启动。 集群扩容时,在同步组件配置时HDFS组件配置同步失败,导致启动HDFS服务失败。 Chrony时钟偏移
权限暂不支持。 使用show grant命令查看表权限,表owner的grantor列统一显示为hive用户,其他用户Ranger页面赋权或后台采用grant命令赋权,则grantor显示为对应用户;若用户需要查看之前Hive权限插件的结果,可设置hive-ext.ranger.previous
pe>指Kafka订阅类型(一般为subscribe,代表订阅指定的topic),<topic>指读取Kafka上的topic名称,<protocol>指安全访问协议,<service>指kerberos服务名称,<domain>指kerberos域名。 普通集群需要注释掉配置k
同时两个查询在完成百分比方面的差异在5%以内,则内存使用量大的查询被终止。 选择器规则 选择器按顺序进行匹配,将使用第一个匹配到的资源组,一般来说建议配置一个默认资源组,如果没有设置默认资源组,而又不符合其他资源组选择器条件则查询会被拒绝。选择器规则参数配置请参见表3。 表3 选择器规则
/test,其中/clickhouse/tables/{shard}为固定值,default为数据库名,test为创建的表名。 副本名称,一般用{replica}即可。 CREATE TABLE default.test ON CLUSTER default_cluster_1 (
限暂不支持。 使用show grant命令查看表权限,表owner的grantor列统一显示为hive用户,其他用户Ranger页面赋权或后台采用grant命令赋权,则grantor显示为对应用户;如果用户需要查看之前Hive权限插件的结果,可设置hive-ext.ranger.previous
substr(string, start, length) → varchar 描述:从start位置开始截取字符串,截取的长度为length。 一般用于截取时间戳格式。 Select substr('2019-03-10 10:00:00',1,10); --截取到日 2019-03-10
2.0及之后版本。 Phoenix开源CsvBulkLoad工具当前仅支持指定单个字符作为数据分隔符,当用户数据文件中可能包含任意字符时,一般会采用特殊的字符串作为分隔符,为了满足此类场景,增加了对用户自定义分隔符的支持,用户可以采用限定长度内的任意可见字符进行组合作为分隔符来导入数据文件。
extraClassPath 附加至Executor classpath的额外的classpath。这主要是为了向后兼容Spark的历史版本。用户一般不用设置此选项。 - spark.executor.extraLibraryPath 设置启动executor JVM时所使用的特殊的library
extraClassPath 附加至Executor classpath的额外的classpath。这主要是为了向后兼容Spark的历史版本。用户一般不用设置此选项。 - spark.executor.extraLibraryPath 设置启动executor JVM时所使用的特殊的library
clustering.plan.strategy.class和hoodie.clustering.execution.strategy.class。一般情况下指定plan.strategy为SparkRecentDaysClusteringPlanStrategy或者SparkSizeBa
的阈值时系统将产生告警,类型为“最小值”表示指标的实际值小于设置的阈值时系统将产生告警。 最大值 告警级别 告警级别,包括: 致命 严重 一般 提示 重要 时间范围 设置规则生效时监控指标的具体时间段 从00:00到23:59 阈值 设置规则监控指标的阈值 设置数值80 日期 设置规则生效的日期类型,包括:
-Djetty.version=x.y.z -Dzookeeper.server.principal=zookeeper/hadoop.<系统域名> -Djava.security.krb5.conf=/opt/client/KrbClient/kerberos/var/krb5kdc/krb5
-Djetty.version=x.y.z -Dzookeeper.server.principal=zookeeper/hadoop.<系统域名> -Djava.security.krb5.conf=/opt/client/KrbClient/kerberos/var/krb5kdc/krb5
部KrbClient的配置参数异常,影响业务运行。 修改该参数后,请重启KrbServer服务和其关联的所有服务。 修改Manager系统域名 若没有及时重启KrbServer服务和其关联的所有服务,会导致集群内部KrbClient的配置参数异常,影响业务运行。 修改该参数后,请
Program。 Executor 在Work Node上启动的进程,用来执行Task,管理并处理应用中使用到的数据。一个Spark应用一般包含多个Executor,每个Executor接收Driver的命令,并执行一到多个Task。 Worker Node 集群中负责启动并管理Executor以及资源的节点。