检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ClickHouse > 逻辑集群”,单击逻辑集群名称。进入该逻辑集群页面,选择“查询管理 > 已经结束的查询”页签。 界面的参数说明参考表1,过滤条件说明参考表2说明。 父主题: ClickHouse企业级能力增强
所关联的OpenTSDB表名。 SRC_TABLE 获取数据的表名,普通表即可。 注意事项 插入的数据不能为null;插入的数据相同,会覆盖原数据;插入的数据只有value值不同,也会覆盖原数据。 不支持INSERT OVERWRITE语法。 不建议对同一张表并发插入数据,因为有一定概率发生并发冲突,导致插入失败。
INSERT INTO插入表数据 本章节主要介绍ClickHouse插入表数据的SQL基本语法和使用说明。 基本语法 方法一:标准格式插入数据。 INSERT INTO [database_name.]table [(c1, c2, c3)] VALUES (v11, v12, v13)
删除HBase表数据 功能简介 HBase通过Table实例的delete方法来Delete数据,可以是一行数据也可以是数据集。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testDelete方法中。
否,请执行7。 在“字段映射”填写字段对应关系。然后执行7。 “字段映射”的对应关系,表示用户数据中每一列与数据库的表字段的匹配关系。 表1 “字段映射”属性 参数 说明 列号 表示业务数据的字段顺序。 样本 表示业务数据的第一行值样例。 列族 “目的连接”为hbase-connector类型时,支持定义保存数据的具体列族。
集群状态和集群ID可参考查询集群列表接口获取。 本章节的接口只支持流式集群、分析集群和混合集群,不支持自定义集群。 接口约束 无 调用方法 请参见如何调用API。 URI PUT /v1.1/{project_id}/cluster_infos/{cluster_id} 表1 路径参数 参数 是否必选
产生告警的服务名称。 作业名 产生告警的作业名称。 数据库名 产生告警的数据库名称。 Slot名 产生告警的数据库复制槽名称。 积压量 Slot数据积压情况。 对系统的影响 WAL日志在源端数据库不断积压,可能导致源端PostgreSQL或Opengauss数据库磁盘空间耗尽,最终导致Postgr
“Spark输入”算子,将SparkSQL表的指定列转换成同等数量的输入字段。 输入与输出 输入:SparkSQL表列 输出:字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String 否 default Spark表名 配置SparkSQL表名。
SparkSQL建表参数规范 规则 建表必须指定primaryKey和preCombineField。 Hudi表提供了数据更新的能力和幂等写入的能力,该能力要求数据记录必须设置主键用来识别重复数据和更新操作。不指定主键会导致表丢失数据更新能力,不指定preCombineField会导致主键重复。
使用spark-sql操作Hudi表 本章节仅适用于MRS 3.5.0-LTS及之后版本。 操作场景 本章节主要介绍通过spark-sql使用Hudi功能。 前提条件 在Manager界面创建用户并添加hadoop和hive用户组,主组加入hadoop。 操作步骤 下载并安装Hu
对接OBS场景中,spark-beeline登录后指定loaction到OBS建表失败 问题 对接OBS ECS/BMS集群,spark-beeline登录后,指定location到OBS建表报错失败。 图1 错误信息 回答 HDFS上ssl.jceks文件权限不足,导致建表失败。 解决方法 使用omm用户登录Spark2x所在节点,执行如下命令:
条件表达式 CASE 标准的SQL CASE表达式有两种模式。 “简单模式”从左向右查找表达式的每个value,直到找出相等的expression: CASE expression WHEN value THEN result [ WHEN ... ] [ ELSE result
put数据(针对hbase:meta表、_ctmeta_表和hbase:acl表) 删除数据(针对hbase:meta表、_ctmeta_表和hbase:acl表) 检查并put数据(针对hbase:meta表、_ctmeta_表和hbase:acl表) 检查并删除数据(针对hbase:meta表、_ctmeta_表和hbase:acl表)
安装集群过程中Ranger启动失败 问题 安装集群过程中,Ranger启动失败,Manager进程任务列表里打印“ERROR:cannot drop sequence X_POLICY_REF_ACCESS_TYPE_SEQ”等关于数据库信息,如何解决并正常安装Ranger? 回答 该现象可能出现在安装两个RangerAmdin实例的场景下。
升性能。 目前CBO主要的优化点是Join算法选择。举个简单例子,当两个表做Join操作,如果其中一张原本很大的表经过Filter操作之后结果集小于BroadCast的阈值,在没有CBO情况下是无法感知大表过滤后变小的情况,采用的是SortMergeJoin算法,涉及到大量Shu
TableNamespaceManager 这是一个帮助类,用于在HMaster主备倒换或启动期间,管理namespace表及监控表region的分配。如果namespace表在规定时间(hbase.master.namespace.init.timeout,默认为3600000ms)内没
输出到ClickHouse表的列。 输入与输出 输入:需要输出的字段 输出:ClickHouse表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 数据库名 配置ClickHouse表所在的数据库 string 是 default 表名 配置数据写入ClickHouse对应的表名
<export_from> 其中,各参数的含义如下: $Sqoop_Home:目的集群上Sqoop的安装目录。 <ip>:目的集群上数据库的IP地址。 <table_name>:待恢复的表名称。 <passwd>:hive用户的密码。 <export_from>:元数据在目的集群的HDFS地址。 命
执行HiveQL语句 在“Database”右侧下拉列表选择一个Hive中的数据库,默认数据库为“default”。 系统将自动显示数据库中的所有表。可以输入表名关键字,系统会自动搜索包含此关键字的全部表。 单击指定的表名,可以显示表中所有的列。 光标移动到表或列所在的行,单击 可以查看详细信息。
问题 MRS集群创建过程中,Ranger启动失败,Manager进程任务列表里打印“ERROR:cannot drop sequence X_POLICY_REF_ACCESS_TYPE_SEQ”等关于数据库信息。 回答 该现象可能出现在安装两个RangerAmdin实例的场景下。