检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
JDBCServer接口介绍。 开发思路 在default数据库下创建child表。 把“/home/data”的数据加载进child表中。 查询child表中的数据。 删除child表。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。
Hive的元数据信息,存储在MySQL等数据库中。MRS Hive集群的元数据会默认存储到MRS DBService组件,也可以选择RDS(MySQL)作为外置元数据库。 Hive的业务数据,存储在HDFS文件系统或OBS对象存储中。 图1 Hive数据迁移示意 方案优势 场景化迁移通过迁移快照数
通过JDBC访问Spark SQL样例程序开发思路 场景说明 用户自定义JDBCServer的客户端,使用JDBC连接来进行表的创建、数据加载、查询和删除。 数据规划 将数据文件上传至HDFS中。 确保以多主实例模式启动了JDBCServer服务,并至少有一个实例可连接客户端。在
拼接转换:拼接字段步骤,配置已生成的字段通过连接符连接,转换出新的字段。 分隔转换:分隔字段步骤,配置已生成的字段通过分隔符分隔,转换出新的字段。 取模转换:取模运算步骤,配置已生成的字段通过取模,转换出新的字段。 剪切字符串:字符串截取步骤,配置已生成的字段通过指定位置截取,转换出新的字段。 EL操作转换:计
Connector:HetuEngine访问数据库的接口,HetuEngine通过Connector的驱动连接数据源,读取数据源元数据和对数据进行增删改查等操作。 Catalog:HetuEngine中一个catalog配置文件对应一个数据源,一个数据源可以有多个不同catalog配置,可以通过数据源的properties文件进行配置。
拼接转换:拼接字段步骤,配置已生成的字段通过连接符连接,转换出新的字段。 分隔转换:分隔字段步骤,配置已生成的字段通过分隔符分隔,转换出新的字段。 取模转换:取模运算步骤,配置已生成的字段通过取模,转换出新的字段。 剪切字符串:字符串截取步骤,配置已生成的字段通过指定位置截取,转换出新的字段。 EL操作转换:计
命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 创建指定数据库只读权限角色,有如下两种方案: 方案一: 创建指定数据库只读权限角色(以default数据库为例,下同): create role ck_role on cluster default_cluster;
命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 创建指定数据库只读权限角色,有如下两种方案: 方案一: 创建指定数据库只读权限角色(以default数据库为例,下同): create role ck_role on cluster default_cluster;
通过弹性IP访问FusionInsight Manager:通过为集群绑定弹性公网IP的方式,访问MRS集群Manager界面及集群内托管的开源组件。该方式更加简便易操作,推荐使用该方式访问。 通过云专线访问FusionInsight Manager:云专线用于搭建用户本地数据中心与线上云V
ClickHouse数据导入 配置ClickHouse对接RDS MySQL数据库 配置ClickHouse对接OBS源文件 同步Kafka数据至ClickHouse 导入DWS表数据至ClickHouse ClickHouse数据导入导出 父主题: 使用ClickHouse
方法一:在指定的“database_name”数据库中创建一个名为“table_name ”的表。 如果建表语句中没有包含“database_name”,则默认使用客户端登录时选择的数据库作为数据库名称。 CREATE TABLE [IF NOT EXISTS] [database_name
方法一:在指定的“database_name”数据库中创建一个名为“table_name ”的表。 如果建表语句中没有包含“database_name”,则默认使用客户端登录时选择的数据库作为数据库名称。 CREATE TABLE [IF NOT EXISTS] [database_name
通过数据应用访问Alluxio 访问Alluxio文件系统的端口号是19998,即地址为alluxio://<alluxio的master节点ip>:19998/<PATH>,本节将通过示例介绍如何通过数据应用(Spark、Hive、Hadoop MapReduce和Presto)访问Alluxio。
恢复Doris数据 登录安装了MySQL的节点,执行以下命令,连接Doris数据库。 如果集群已启用Kerberos认证(安全模式),需先执行以下命令再连接Doris数据库: export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 mysql -u数据库登录用户 -p数据库登录用户密码
Doris慢查询语句监控 操作场景 Doris作为一个ROLAP模式的数据库,底层需依赖强大的关系型数据库引擎作为支撑。高并发、聚合查询等是常见的查询场景,但由于MRS Doris不支持慢查询管理,缺少运维监控能力,在实际问题定界过程中无法可视化地获取查询SQL的执行信息。因此需
= 'jdbc:mysql://MySQL服务器IP:MySQL服务器端口/mysql', 'table-name' = 'customer_t1', 'username' = 'MySQL数据库用户名', 'password' = 'MySQL数据库用户名的密码' );
如何处理用户在使用chrome浏览器时无法显示任务状态的title 问题 用户在使用chrome浏览器浏览Flink Web UI页面时无法显示title。此处以Tasks为例进行分析,用户将鼠标置于Tasks的彩色小方框上,无法显示彩色小框的title说明,如图1所示。正常的显示界面如图2所示。
如何处理用户在使用chrome浏览器时无法显示任务状态的title 问题 用户在使用chrome浏览器浏览Flink Web UI页面时无法显示title。此处以Tasks为例进行分析,用户将鼠标置于Tasks的彩色小方框上,无法显示彩色小框的title说明,如图1所示。正常的显示界面如图2所示。
理员权限的角色并绑定给用户。 已安装MySQL客户端,相关操作可参考使用MySQL客户端连接Doris。 如果Doris通过Broker Load跨集群导入数据,需要配置跨集群互信,相关操作可参考配置跨Manager集群互信。 Hive表操作 如果需使用Doris读取Hive存储在OBS中的数据,需执行以下操作。
* TO '数据库用户名' IDENTIFIED BY '数据库用户密码'; 执行以下命令刷新权限: FLUSH PRIVILEGES; PostgreSQL数据库需要修改预写日志的策略。 连接PostgreSQL数据库的用户需要具有replication权限和对数据库的create权限,对表要有owner权限。