检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
权限信息等)缓存起来,后续访问时不需要再次访问Hive metastore,在Hive数据源的表数据变化不频繁的场景下,可以一定程度上提升查询的性能。 调整HetuEngine元数据缓存步骤 使用HetuEngine管理员用户登录FusionInsight Manager页面,选择“集群
的调度池中运行。 设置BroadCastHashJoin的超时时间。 BroadCastHashJoin有超时参数,一旦超过预设的时间,该查询任务直接失败,在多并发场景下,由于计算任务抢占资源,可能会导致BroadCastHashJoin的Spark任务无法执行,导致超时出现。因
灵活调整。 登录FusionInsight Manager。 选择“集群 > 服务 > HBase > 更多 > 启用Ranger鉴权”,查看该参数是否置灰。 是,创建用户并在Ranger中赋予该用户相关操作权限: 选择“系统 > 权限 > 用户 > 添加用户”,在新增用户界面创
相关依赖jar包将自动下载,不需手动添加。 当样例代码使用其他FusionInsight组件时,例如Kafka等,请去对应FusionInsight组件的服务端安装目录查找并添加依赖包。样例工程对应的依赖包详情,请参见参考信息。 (可选)如果导入Scala语言开发的样例程序,还需要为工程设置语言。 在IDEA主页,选择“File>Project
Encoders.STRING()).groupBy("value").count(); //开始运行将运行计数打印到控制台的查询。 StreamingQuery query = wordCounts.writeStream() .outputMode("complete")
--zookeeper 192.168.100.100:2181/kafka --delete-config retention.ms 执行以下命令,查询topic信息。 kafka-topics.sh --describe -topic <topic_name> --zookeeper <
据异步发送到各个shard的各个副本。整个过程数据异步发送,且数据会在一个节点临时存储,会导致网络、磁盘都会成为瓶颈,且写入成功后不一定能查询到最新一致性数据等问题。 父主题: ClickHouse宽表设计
Okerberos依赖的OLdap资源异常。 处理步骤 检查Manager中的OKerberos依赖的OLdap资源是否异常。 登录主管理节点。 执行以下命令,查询当前HA管理的OLdap资源状态是否正常。 sh ${BIGDATA_HOME}/OMSV100R001C00x8664/workspac
将被忽略。 如果未指定默认值,则新列的默认值将被视为null。 如果在该列上应用filter,则在排序期间不会考虑新增列,新增列可能会影响查询性能。 示例 ALTER TABLE carbon ADD COLUMNS (a1 INT, b1 STRING); ALTER TABLE
指定以当天时间命名的数据目录 参数项配置为“/user/data/inputdate_@{dateformat("yyyy-MM-dd")}@”。 通过SQL语句查询最近7天的数据 select * from table where time between '@{dateformat("yyyy-MM-dd
Encoders.STRING()).groupBy("value").count(); //开始运行将运行计数打印到控制台的查询。 StreamingQuery query = wordCounts.writeStream() .outputMode("complete")
指定以当天时间命名的数据目录 参数项配置为“/user/data/inputdate_@{dateformat("yyyy-MM-dd")}@”。 通过SQL语句查询最近7天的数据 select * from table where time between '@{dateformat("yyyy-MM-dd
打开配置文件“${BIGDATA_HOME}/FusionInsight_Current/*HiveServer/etc/hivemetastore-site.xml”,查找配置项“javax.jdo.option.ConnectionURL”,复制配置项值。 登录Manager页面,选择“集群 > 服务 > Hive
MY_TABLE; UPSERT VALUES 插入/修改数据。 UPSERT INTO MY_TABLE VALUES(1,'abc'); SELECT 查询数据。 SELECT * FROM MY_TABLE; CREATE INDEX 创建全局索引。 CREATE INDEX MY_IDX ON
通过HBase插入数据,执行如下命令。 put 'table2', '1', 'cf:cid', '1000' 开发思路 查询Hive person表的数据。 根据person表数据的key值去table2表做查询。 把前两步相应的数据记录做相加操作。 把上一步骤的结果写到table2表。 运行前置操作 安全模式下Spark
('202306270002', 'webShop', '2023-06-27 11:00:00', 'CUST2', 5000, 5000); 查询表数据,验证数据是否插入。 SELECT * FROM dws_data.dws_order; 下载GaussDB(DWS)数据库JDBC驱动并上传到MRS集群。
通过HBase插入数据,命令如下: put 'table2', '1', 'cf:cid', '1000' 开发思路 查询table1表的数据。 根据table1表数据的key值去table2表做查询。 把前两步相应的数据记录做相加操作。 把上一步骤的结果写到table2表。 运行前置操作 安全模式下Spark
--插入一条Map类型数据 insert into map_tb values(MAP(ARRAY['foo','bar'],ARRAY[1,2])); --查询数据 select * from map_tb; -- {bar=2, foo=1} 创建ROW表: --创建ROW表 create table
rand() % 365, 'abc'), (2, rand() % 365, 'bcd'), (1, rand() % 365, 'def'); 查询test_upsert表数据 select * from upsert_tab; ┌─id─┬───pdate─┬─name─┐ │ 2
Encoders.STRING()).groupBy("value").count(); //开始运行将运行计数打印到控制台的查询。 StreamingQuery query = wordCounts.writeStream() .outputMode("complete")