检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
properties”配置文件,在该文件中新增以下内容: 执行GaussDB(DWS)样例 spring.datasource.dws.url=jdbc:postgresql://dws节点IP地址:8000/postgres spring.datasource.dws.username=dbadmin
编译并运行Flink应用 在程序代码完成开发后,建议您上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Flink客户端的运行步骤是一样的。 基于YARN集群的Flink应用程序不支持在Windows环境下运行,只支持在Linux环境下运行。 操作步骤
hive conn = hive.Connection(host=JDBCServerHost, port=JDBCServerPort,database='default') cursor=conn.cursor() cursor.execute("select * from test")
aarch64:可以部署在鲲鹏服务器的客户端软件包。 x86_64 仅保存到如下路径 指定客户端软件包在主OMS节点的存放路径。 勾选“仅保存到如下路径”:自定义客户端软件包在主OMS节点的存放路径,omm用户需拥有该目录的读、写与执行权限。 如未修改保存路径,文件生成后将默认保存在集群主OMS节点
subscribe(java.util.Collection<java.lang.String> topics) Topic订阅接口方法。 ConsumerRecords<K,V> poll(final Duration timeout) 请求获取消息接口方法。 父主题: Kafka常用API介绍
subscribe(java.util.Collection<java.lang.String> topics) Topic订阅接口方法。 ConsumerRecords<K,V> poll(final Duration timeout) 请求获取消息接口方法。 父主题: Kafka常用API介绍
\ --conf spark.sql.storeAssignmentPolicy=ANSI 执行以下命令创建数据库: create database if not exists iceberg_db; 执行以下命令创建Iceberg表: use iceberg_db; CREATE
insertRecord(); insertTablet(); insertTablets(); insertRecords(); nonQuery(); query(); queryWithTimeout(); rawDataQuery();
Hudi支持Partial Update 本章节内容仅适用于MRS 3.3.1-LTS及之后版本。 该特性允许用户使用Hudi完成部分列更新。用户可以使用同一主键下的最新数据逐一更新每行数据的不同列字段,直到整条数据完整。 场景说明 当前开源社区提供了PartialUpdateA
Hive CBO原理介绍 Hive CBO原理介绍 CBO,全称是Cost Based Optimization,即基于代价的优化器。 其优化目标是: 在编译阶段,根据查询语句中涉及到的表和查询条件,计算出产生中间结果少的高效join顺序,从而减少查询时间和资源消耗。 Hive中实现CBO的总体过程如下:
导入并配置Flink样例工程 操作场景 Flink针对多个场景提供样例工程,包含Java样例工程和Scala样例工程等,帮助客户快速学习Flink工程。 针对Java和Scala不同语言的工程,其导入方式相同。 以下操作步骤以导入Java样例代码为例。操作流程如图1所示。 图1 导入样例工程流程
subscribe(java.util.Collection<java.lang.String> topics) Topic订阅接口方法。 ConsumerRecords<K,V> poll(final Duration timeout) 请求获取消息接口方法。 父主题: Kafka常用API介绍
业详情展示和日志打印中存在暴露的风险,请谨慎操作。 提交HiveScript或HiveSql类型的作业时如需以“obs://”开头格式访问存储在OBS上的文件,请在Hive服务配置页面搜索参数“core.site.customized.configs”,新增OBS的endpoint配置项,参数为“fs
entConfig”,执行下列命令安装客户端。 sh install.sh /opt/client 其中“/opt/client”为用户自定义路径,此处仅为举例。 进入客户端安装目录“/opt/client”,执行下列命令初始化环境变量。 source bigdata_env Linux中编译并运行程序
rmation实例上迁移,再配置对接。 如果需要迁移多个MRS集群中的元数据到同一个LakeFormation实例,MRS集群之间的Database名称不能重复。 MRS对接LakeFormation后,MRS组件功能约束限制: Hive暂不支持临时表功能。 Hive暂不支持跨集群的列加密表功能。
storage.jdbc.JdbcStorageHandler' TBLPROPERTIES ( -- 关系型数据库类型 "qubit.sql.database.type" = "ORACLE", -- 通过JDBC连接关系型数据库的url(不同数据库有不同的url格式) "qubit.sql
insertRecord(); insertTablet(); insertTablets(); insertRecords(); nonQuery(); query(); queryWithTimeout(); rawDataQuery();
配置Kafka数据均衡工具 操作场景 该任务指导管理员根据业务需求,在客户端中执行Kafka均衡工具来均衡Kafka集群的负载,一般用于节点的退服、入服以及负载均衡的场景。 本章节内容适用于MRS 3.x及后续版本。3.x之前版本请参考均衡Kafka扩容节点后数据 前提条件 MR
Hive客户端执行SQL报错连接超时 WebHCat健康状态异常导致启动失败 mapred-default.xml文件解析异常导致WebHCat启动失败 Hive元数据使用RDS时创建视图表中文乱码 MetaStore动态分区数超出阈值导致SQL报错
storage.jdbc.JdbcStorageHandler' TBLPROPERTIES ( -- 关系型数据库类型 "qubit.sql.database.type" = "ORACLE", -- 通过JDBC连接关系型数据库的url(不同数据库有不同的url格式) "qubit.sql