检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive支持使用Spark作为执行引擎,当执行引擎切换为Spark后,客户端下发的Hive SQL在Hive端进行逻辑层处理和生成物理执行计划,并将执行计划转换成RDD语义下的DAG,最后将DAG作为Spark的任务提交到Spark集群上进行计算,并合理利用Spark分布式内存计算能力,提高了Hive查询效率。 父主题:
COM" useTicketCache=false storeKey=true debug=true; }; 在Spark on YARN模式下,jaas.conf和user.keytab通过YARN分发到Spark on YARN的container目录下,因此KafkaClien
tolerance.rate 容错率。 值大于0时使能容错机制。使能容错机制时建议将作业的Map数设置为大于等于3,推荐在作业数据量大的场景下使用。 0 0~1.0 loader.input.field.separator 默认的输入字段分隔符,需要配置输入与输出转换步骤才生效,转
检查浏览器:检查本地浏览器是否正常,例如是否配置了内部网络代理、是否添加了会拦截用户Token的安全设置。 检查Manager:EIP、安全组等相关网络配置正常的情况下,检查Manager是否运行正常。 检查用户密码:登录Manager使用的用户密码错误或失效。 处理步骤 登录MRS管理控制台页面,选择“现
partitions配置指定shuffle时的partition个数。此种方法在一个应用中执行多种SQL查询时缺乏灵活性,无法保证所有场景下的性能合适。开启Adaptive Execution后,Spark SQL将自动为每个shuffle过程动态设置partition个数,而不
partitions配置指定shuffle时的partition个数。此种方法在一个应用中执行多种SQL查询时缺乏灵活性,无法保证所有场景下的性能更优。开启Adaptive Execution后,Spark SQL将自动为每个shuffle过程动态设置partition个数,而不
编译并运行HBase应用 在程序代码完成开发后,您可以在Windows开发环境中运行应用。 操作步骤 在windows下使用REST API操作HBase集群时,JDK版本需为jdk1.8.0_60及以上版本。从集群环境中获取jdk的cacerts文件,并复制“/opt/Bigd
据到Hudi任务并启动即可收到心跳数据。 配置从Postgresql抓取数据到Hudi任务的心跳表 在需要同步的Postgresql数据库下执行以下命令创建一张心跳表,心跳表归属cdc_cdl Schema,表名为cdc_heartbeat,主键为cdl_job_id: DROP
or”,“IntComparator”,“NullComparator”。 二级索引的使用规则如下: 针对某一列或者多列创建了单索引的场景下: 当查询时使用此列进行过滤时,不管是AND还是OR操作,该索引都会被利用来提升查询性能。 例如:Filter_Condition(IndexCol1)
API是访问Web服务器的一套API。当前在Flink中,Web服务器是JobManager的一个模块,和JobManager共进程。默认情况下,web服务器监测的端口是8081,用户可以在配置文件“flink-conf.yaml”中配置“jobmanager.web.port”来修改监测端口。
'sjk'),(234,'shen'),(111,'aaa'); (可选)在SQL防御中配置了自读自写拦截规则后,对于涉及动态分区场景默认情况下是按照nonstrict模式拦截的,如果需要按照分区精准拦截,可执行以下命令进行设置,参数介绍请参见设置Hive动态分区表精准拦截: set
> Kafka > 实例”,查看并记录Broker角色实例其中任意一个的业务IP地址即可。 Kafka集群IP端口号安全模式下默认为21007,普通模式下默认为9092。 MRS 3.3.1及之后版本,Kafka仅支持使用“--bootstrap-server”创建Topic,不
的读写权限。 是,执行9。 否,执行8。 增加读写权限,然后检查告警是否恢复。 是,执行完毕。 否,执行9。 登录服务器,查看当前保存路径下是否有足够磁盘空间。 是,执行11。 否,执行10。 删除多余文件,或在监控指标转储配置页面更改保存目录。然后检查告警是否恢复。 是,执行完毕。
于该算子是新添加的,无保存的旧状态,因此无状态恢复,从0开始运行。 如果用户在升级作业时从作业中删除一个有状态的算子有什么影响? 默认情况下,savepoint会尝试将所有保存的状态恢复。如果用户使用的savepoint中包含已经删除算子的状态,恢复将会失败。 用户可以通过--a
v20200117.jar apache-jsp-9.4.26.v20200117.jar 启动Kylin服务,观察Kylin日志,正常情况下日志中不会再出现java.lang.NoSuchMethodException或java.lang.ClassNotFoundException等兼容性异常。
将已获取的认证文件和配置文件,放置在MapReduce样例工程的“../src/mapreduce-example-security/conf”路径下。 不使用访问多组件样例程序时,如果不影响统计样例程序的正常编译,可忽略多组件样例程序相关报错信息,否则请在导入样例工程后将多组件样例程序类文件删除。
协处理器 允许用户执行region级的操作,并且可以使用与RDBMS中触发器类似的功能。 keytab文件 存放用户信息的密钥文件。在安全模式下,应用程序采用此密钥文件进行API方式认证。 Client 客户端直接面向用户,可通过Java API、HBase Shell或者Web U
tatus_ha.sh,查询当前HA管理的executor资源状态是否正常(单机模式下面,executor资源为normal状态;双机模式下,executor资源在主节点为normal状态,在备节点为stopped状态。) 是,执行7。 否,执行5。 执行命令vi $BIGDAT
以root用户登录发生该告警的主机IP地址,修改安装目录“${BIGDATA_HOME}/FusionInsight_HD_*/install”下的hadoop目录权限。 chmod 000 ${BIGDATA_HOME}/FusionInsight_HD_8.1.0.1/instal
为确保一致性,配置特定模式以仅缓存其他客户端不经常修改的文件。 正则表达式模式将仅验证URI的path部分,而不验证在Fully Qualified路径情况下的schema和authority。 - dfs.client.metadata.cache.expiry.sec 缓存元数据的持续时间。缓