检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
oracle-connector:Oracle数据库专用连接器,使用row_id作为分区列,相对generic-jdbc-connector来说,Map任务分区更均匀,并且不依赖分区列是否有创建索引。 mysql-fastpath-connector:MYSQL数据库专用连接器,使用MYSQL的mysqldump和
Presto是一种开源、分布式SQL查询引擎,用于对千兆字节至PB级大小的数据源进行交互式分析查询。 Presto主要特点如下: 多数据源:Presto可以支持Mysql,Hive,JMX等多种Connector。 支持SQL:Presto完全支持ANSI SQL,用户可以直接使用SQL Shell进行查询。
安装了Hive组件的集群支持连接“RDS服务PostgreSQL数据库”,且Postgres数据库版本号为PostgreSQL14。 安装了Hive或Ranger组件的集群支持连接“RDS服务MySQL数据库”,且MySQL数据库版本为MySQL 5.7.x/MySQL 8.0。 仅MRS 3
oracle-partition-connector 架构名称 数据库模式名。 表名 数据库表名,用于最终保存传输的数据。 临时表 数据库临时表的表名,用于临时保存传输过程中的数据,字段需要和“表名”配置的表一致。 oracle-connector 表名 目标表,用于存储数据。 列名 指定要写入的列名,没有指定的列允许被设置为空值或者默认值。
Permission denied”异常? 回答 在执行HBase shell期间,JRuby会在“java.io.tmpdir”路径下创建一个临时文件,该路径的默认值为“/tmp”。如果为“/tmp”目录设置NOEXEC权限,然后HBase shell会启动失败并发生“java.lang
数据连接类型。 约束限制: 不涉及 取值范围: RDS_POSTGRES:RDS服务PostgreSQL数据库 RDS_MYSQL:RDS服务MySQL数据库 gaussdb-mysql:云数据库GaussDB(for MySQL) 默认取值: 不涉及 source_info 是
部会做如下操作: 在本地创建对应的元数据 系统会在本地集群中创建恢复对应的表分区等结构。创建完成后,该表可见,但是不可访问。 本地snapshot 将在本地集群中创建的表做一个快照,是一个空快照(刚创建的表没有数据),用于在Backend上产生对应的快照目录,接收从远端仓库下载的快照文件。
用数据库连接器来说,导出、导入速度更快。 使用mysql-fastpath-connector时,要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令,并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容,如果没有这两个命令或版本不兼容,请参考http://dev
盘。仅Impalad实例在业务查询执行过程中由于内存空间不足,才需要溢写到磁盘(由--scratch_dirs指定)。由于是非多副本存储的临时数据,不提供磁盘热插拔能力。 父主题: Impala常见问题
用户新建Hudi表前,需要先在LakeFormation上对用户的IAM用户组授予database的obs目录读写权限,否则建表时会提示403 缺少obs权限。 用户创建Hudi表后,不支持在LakeFormation管理面编辑表的字段,必须通过Spark客户端增删改表的字段。 MR
distinct出现次数超过2就进行“提示”,超过3就进行“拦截”的规则。 登录安装了MySQL的节点,执行以下命令,连接Doris数据库。 若集群已启用Kerberos认证(安全模式),需先执行以下命令再连接Doris数据库: export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 直接连接FE节点访问Doris数据库:
在OBS存算分离场景下,用户可以通过委托方式获取访问OBS的临时AK、SK,继而访问OBS服务端。对于集群外节点的客户端,如果想要访问OBS,可以通过Guardian组件获取AK、SK实现。Guardian组件是MRS的自研组件,可以帮助集群外的客户端访问OBS的临时AK、SK。 仅MRS 3.1.5版本集群支持该功能。
针对avro格式表查询报错,根本原因是avro格式表schema不匹配导致,需要考虑增量和存量avro格式表查询两个场景: 增量avro格式表,需要创建表之前设置参数spark.sql.forceConvertSchema.enabled=true,会将avro表格式强转指定数据类型,一次性修改schema。
查询主机列表 功能介绍 该接口用于查询输入集群的主机列表详情。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/hosts 表1 路径参数 参数 是否必选 参数类型 描述 cluster_id
用数据库连接器来说,导出、导入速度更快。 使用mysql-fastpath-connector时,要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令,并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容,如果没有这两个命令或版本不兼容,请参考http://dev
properties data exceeds its limit [2048] 原因分析 由于HiveSQL脚本中一次提交的作业量太大,其中包含的信息超过Oozie Launcher一次容许的最大值2KB(2048 Bytes),需要调大默认的输出参数值,调整该参数不会对集群性能造成影响。
服务器”界面查看ELB与后端服务器连接是否正常。 在MySQL客户端使用ELB访问Doris 登录安装了MySQL的节点,执行以下命令连接Doris,详细操作请参见快速使用Doris: mysql -u数据库登录用户 -p数据库登录用户密码 -PELB前端端口 -hELB公网IP地址
使用Hive输入use database语句失效 问题 使用Hive的时候,在输入框中输入了use database的语句切换数据库,重新在输入框内输入其他语句,为什么数据库没有切换过去? 回答 在Hue上使用Hive有区别于用Hive客户端使用Hive,Hue界面上有选择数据库
已获取待连接数据库对应的驱动Jar包。 仅数据源MySQL、Oracle(MRS 3.3.0及之后版本支持)需要上传相应的驱动,驱动对应的版本号如表1所示,且驱动需要在MySQL或Oracle官网下载。 表1 MySQL、Oracle数据源支持的驱动 数据源 支持的驱动包 MySQL mysql-connector-java-8
Manager界面,选择“运维 > 告警 > 告警”,在告警列表中查看是否上报“Hive服务进程堆内存使用超出阈值”告警。 是,执行2。 否,执行4。 参考“ALM-16005 Hive服务进程堆内存使用超出阈值”的处理步骤处理该故障。 在告警列表中,查看该告警是否清除。 是,处理完毕。 否,执行4。