检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
JDBC接口提交数据分析任务,该样例程序在“hive-examples/hive-jdbc-example”的“JDBCExample.java”中,实现该功能的模块如下: 读取HiveServer客户端property文件,其中“hiveclient.properties”文件在“hive-jdbc-exampl
LOCAL_DB:本地元数据 RDS_POSTGRES:RDS服务PostgreSQL数据库 RDS_MYSQL:RDS服务MySQL数据库 gaussdb-mysql:云数据库GaussDB(for MySQL) 默认取值: 不涉及 cluster_id 否 String 参数解释: 关联集群I
资源池维度的弹性伸缩策略不支持克隆。 克隆集群时克隆作业: 未通过console平台或调用v2新增并执行作业接口提交的作业无法在克隆集群时克隆 DistCp、Flink、SQL类(SparkSQL、HiveSQL等)作业类型无法克隆 克隆的作业只能并行执行,不保证执行顺序 包周期集群不允许克隆集群作业
管理Loader连接(MRS 3.x及之后版本) Loader作业源连接配置说明 Loader作业目的连接配置说明 管理Loader作业 准备MySQL数据库连接的驱动 数据导入 数据导出 作业管理 算子帮助 客户端工具说明 Loader日志介绍 样例:通过Loader将数据从OBS导入HDFS
batch”或“TabletWriter add batch with unknown id”。 原因分析 系统并发量较大或数据量大导致任务执行超时。 处理步骤 登录MySQL客户端,执行以下命令适当调大“query_timeout”参数值,默认为300秒。 SET GLOBAL query_timeout =
-connector三种,要怎么选?有什么区别? 答案 generic-jdbc-connector 使用JDBC方式从Oracle数据库读取数据,适用于支持JDBC的数据库。 在这种方式下,Loader加载数据的性能受限于分区列的数据分布是否均匀。当分区列的数据偏斜(数据集中在
提供WebUI和RestFul接口。 UserSync 负责周期从外部同步用户和用户组信息并写入RangerAdmin中。 TagSync 负责周期从外部Atlas服务同步标签信息并写入RangerAdmin中。 Ranger原理 组件Ranger插件 Ranger为各组件提供了基于PBAC(Policy-Based
前提条件 已创建包含Doris服务的集群,集群内各服务运行正常。 待连接Doris数据库的节点与MRS集群网络互通。 已安装MySQL客户端,相关操作可参考使用MySQL客户端连接Doris。 开启Doris慢查询功能 登录FusionInsight Manager,选择“集群 > 服务
选择一个运行中的作业,在作业对应的“操作”列中,选择“更多 > 停止”。 作业状态由“运行中”更新为“已终止”。 删除MRS集群作业 支持删除单个作业和批量删除作业。作业删除后不可恢复,请谨慎操作。 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。
),推荐关联机机用户。 如果关联的是Doris普通用户(即用户绑定的角色不具备“Doris管理员权限”),关联成功后,使用对应的用户在MySQL客户端连接Doris后创建表,并查询表数据会报以下错误: ERROR 1227 (42000): errCode = 2, detailMessage
使用admin用户连接Doris后,创建具有管理员权限的角色并绑定给用户。 已安装MySQL客户端,相关操作可参考使用MySQL客户端连接Doris。 导出Doris数据至HDFS示例 登录安装了MySQL的节点,执行以下命令,连接Doris数据库。 如果集群已启用Kerberos认
如果多个副本直接从磁盘上丢失了副本,比如mv改名,内核不会感知到该副本丢失,执行查询时如果请求运行在副本丢失的BE节点,报错: 处理步骤 登录安装了MySQL的节点,连接Doris数据库。 调用BE的check_tablet_segment_lost请求自动修复丢失的副本。 curl -X POST
本代码样例操作流程如下: 使用JDBC连接到Doris。 创建数据库。 在数据库中创建表。 向表中插入数据。 查询表数据。 删除表。 开发思路 Doris兼容MySQL协议,使用SQL语言就可以进行常见的操作。 开发流程主要分为以下几部分: 建立连接:建立和Doris服务实例的连接。 创建库:创建Doris数据库。
本代码样例操作流程如下: 使用JDBC连接到Doris。 创建数据库。 在数据库中创建表。 向表中插入数据。 查询表数据。 删除表。 开发思路 Doris兼容MySQL协议,使用SQL语言就可以进行常见的操作。 开发流程主要分为以下几部分: 建立连接:建立和Doris服务实例的连接。 创建库:创建Doris数据库。
-connector三种,要怎么选?有什么区别? 答案 generic-jdbc-connector 使用JDBC方式从Oracle数据库读取数据,适用于支持JDBC的数据库。 在这种方式下,Loader加载数据的性能受限于分区列的数据分布是否均匀。当分区列的数据偏斜(数据集中在
多主实例模式的HA方案原理如下图所示。 图1 Spark JDBCServer HA JDBCServer在启动时,向ZooKeeper注册自身消息,在指定目录中写入节点,节点包含了该实例对应的IP,端口,版本号和序列号等信息。 客户端连接JDBCServer时,需要指定Namespace,即访问Zoo
把“/home/data”的数据加载进child表中。 查询child表中的数据。 删除child表。 运行前置操作 安全模式下Spark Core样例代码需要读取两个文件(user.keytab、krb5.conf)。user.keytab和krb5.conf文件为安全模式下的认证文件,需要在FusionInsight
设定字段分隔符,和Hive表或HDFS文件保持一致 --lines-terminated-by 设定行分隔符,和Hive表或HDFS文件保持一致 --mysql-delimiters MySQL默认分隔符设置 export参数 --input-fields-terminated-by 字段分隔符 --input
必须配置一个主键列。 map 是 无 数据处理规则 当配置HBase表名不存在时,作业提交失败。 当配置的列名与HBase表列名不匹配时,读取不到数据,导入数据条数会为0。 配置输入字段列数,大于原始数据实际包含字段列数,全部数据成为脏数据。 当字段的值与实际的类型不匹配时,该行数据会成为脏数据。
产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 只读的表无法写入数据和修改数据。 影响复制表的数据同步,导致数据不一致。 可能原因 ZooKeeper压力大,元数据丢失。 处理步骤 登录FusionInsight