检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
rowsPerSecond:每秒产生的行数,默认值1 rampUpTime:在达到rowsPerSecond速度之前的上升时间 numPartitions:生成数据行的并行度 支持 - Kafka Source 参见https://archive.apache.org/dist/spark/docs/3
rowsPerSecond:每秒产生的行数,默认值1 rampUpTime:在达到rowsPerSecond速度之前的上升时间 numPartitions:生成数据行的并行度 支持 - Kafka Source 参见https://archive.apache.org/dist/spark/docs/3
rowsPerSecond:每秒产生的行数,默认值1 rampUpTime:在达到rowsPerSecond速度之前的上升时间 numPartitions:生成数据行的并行度 支持 - Kafka Source 参见https://archive.apache.org/dist/spark/docs/3
overwrite directory "/path1" ...,写成功之后,会将旧数据移除到回收站,并且同时限制该目录不能为Hive元数据库中已经存在的数据库路径。 进入Hive服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Hive > 服
UDF),如何在多个HiveServer之间同步删除? 回答 因为多个HiveServer之间共用一个MetaStore存储数据库,所以MetaStore存储数据库和HiveServer的内存之间数据同步有延迟。如果在单个HiveServer上删除永久函数,操作结果将无法同步到其他HiveServer上。
使用Spark客户端创建CarbonData表 本章节介绍创建CarbonData table、加载数据,以及查询数据的快速入门流程。该快速入门提供基于Spark Beeline客户端的操作。如果使用Spark shell,需将查询命令写在spark.sql()的括号中。 本操作
使用Spark客户端创建CarbonData表 本章节介绍创建CarbonData table、加载数据,以及查询数据的快速入门流程。该快速入门提供基于Spark Beeline客户端的操作。如果使用Spark shell,需将查询命令写在spark.sql()的括号中。 本操作
默认创建的数据库或表保存在HDFS目录“/user/hive/warehouse”。系统自动以数据库名称和数据库中表的名称创建子目录。访问数据库或者表,需要在HDFS中拥有对应文件的权限,包含“读”、“写”和“执行”权限。 用户对SparkSQL数据库或表执行不同操作时,需要关
kafkaParams) // 用brokers and topics新建direct kafka stream //从Kafka接收数据并生成相应的DStream。 val stream = KafkaUtils.createDirectStream[String, String](ssc
kafkaParams) // 用brokers and topics新建direct kafka stream //从Kafka接收数据并生成相应的DStream。 val stream = KafkaUtils.createDirectStream[String, String](ssc
kafkaParams) // 用brokers and topics新建direct kafka stream //从Kafka接收数据并生成相应的DStream。 val stream = KafkaUtils.createDirectStream[String, String](ssc
Hive作为一个基于HDFS和MapReduce架构的数据仓库,其主要能力是通过对HQL(Hive Query Language)编译和解析,生成并执行相应的MapReduce任务或者HDFS操作。 图1 Hive结构 约束与限制 需要在Manager的“系统 > 权限 > 用户”界
句。 执行SparkSql语句 在“Database”右侧下拉列表选择一个SparkSql中的数据库,默认数据库为“default”。 系统将自动显示数据库中的所有表。可以输入表名关键字,系统会自动搜索包含此关键字的全部表。 图1 选择数据库 单击指定的表名,可以显示表中所有的列。
提交拓扑。 拓扑提交成功后,可以向Kafka中发送数据,观察是否有相关信息生成。 在Linux系统中进入Kafka客户端所在目录,在Kafka/kafka/bin目录下启动consumer观察数据是否生成。执行命令: ./kafka-console-consumer.sh --bootstrap-server
SUCCESS”,表示编译成功,如下图所示。编译成功后将会在样例工程的target下生成含有“hcatalog-example-*.jar”包。 以上jar包名称仅供参考,具体名称以实际生成为主。 将2中在样例工程下的target下生成的“hcatalog-example-*.jar”上传至Linu
SUCCESS”,表示编译成功,如下图所示。编译成功后将会在样例工程的target下生成含有“hcatalog-example-*.jar”包。 以上jar包名称仅供参考,具体名称以实际生成为主。 将2中在样例工程下的target下生成的“hcatalog-example-*.jar”上传至Linu
未执行drop table命令的时候,回收站中也可能会存在该表的文件。 如果这个时候再执行drop table命令,那么按照回收站机制,会生成一个带时间戳的该表目录,该目录中的文件是完整的。 父主题: CarbonData常见问题
HA证书文件即将过期 > 定位信息”,查看告警上报的主机名,单击“主机”,查看主机名对应的IP地址。 检查系统中合法HA证书文件的有效期,重新生成HA证书文件。 以omm用户登录告警所在节点主机。 执行命令cd ${BIGDATA_HOME}/FusionInsight_Flink_
SHOW语法使用概要 SHOW语法主要用来查看数据库对象的相关信息,其中LIKE子句用来对数据库对象过滤,匹配规则如下,具体示例可参考SHOW TABLES: 规则1:_可以用来匹配单个任意字符。 规则2:%可以用来匹配0个或者任意个任意字符。 规则3:* 可以用来匹配0个或者任意个任意字符。
写入失败。 图2 基于QJM的HDFS架构 HDFS可靠性 MRS使用HDFS的副本机制来保证数据的可靠性,HDFS中每保存一个文件则自动生成1个备份文件,即共2个副本。HDFS副本数可通过“dfs.replication”参数查询。 当MRS集群中Core节点规格选择为非本地盘