检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
典型场景:从HDFS/OBS导出数据到关系型数据库 操作场景 该任务指导用户使用Loader将数据从HDFS/OBS导出到关系型数据库。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取关系型数据库使用的用户和密码。 检查
通过Sqoop读取MySQL数据并写parquet文件到OBS时失败 用户问题 通过Sqoop读取MySQL数据,然后直接写到OBS,指定parquet格式时写入报错,不指定parquet时不报错。 问题现象 原因分析 parquet格式不支持hive3,用Hcatalog方式写入。
用数据库连接器来说,导出、导入速度更快。 使用mysql-fastpath-connector时,要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令,并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容,如果没有这两个命令或版本不兼容,请参考http://dev
【HDFS WebUI】使用IE浏览器访问HDFS WebUI界面失败 用户问题 通过IE浏览器访问HDFS的WebUI界面,偶尔出现访问失败情况。 问题现象 访问页面失败,浏览器无法显示此页,如下图所示: 原因分析 部分低版本IE浏览器处理SSL握手有问题导致访问失败。 处理步骤 重新刷新页面或者推荐使用Google
能访问需要同步的数据库,所以建议新创建一个MySQL用户专门用来给Maxwell使用。使用root登录MySQL之后,执行如下命令创建maxwell用户(其中XXXXXX是密码,请修改为实际值)。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。
离线数据加载 操作流程 步骤1:创建RDS for MySQL实例、创建数据表 步骤2:创建MRS Doris集群并配置 步骤3:创建Doris Catalog 步骤1:创建RDS for MySQL实例、创建数据表 创建RDS for MySQL实例,详细操作请参考购买RDS for
含义如下: type:操作类型,包含database-create,database-drop,table-create,table-drop,table-alter,insert,update,delete database:操作的数据库名称 ts:操作时间,13位时间戳 table:操作的表名
创建ClickHouse数据库 本章节介绍创建ClickHouse数据库样例代码。 通过on cluster语句在集群中创建表1中以databaseName参数值为数据库名的数据库。 示例代片段参考如下: private void createDatabase(String databaseName
创建ClickHouse数据库 本章节介绍创建ClickHouse数据库样例代码。 通过on cluster语句在集群中创建表1中以databaseName参数值为数据库名的数据库。 示例代片段参考如下: private void createDatabase(String databaseName
配置Hive表、列或数据库的用户权限 操作场景 使用Hive表或者数据库时,如果用户访问别人创建的表或数据库,需要授予对应的权限。为了实现更严格权限控制,Hive也支持列级别的权限控制。如果要访问别人创建的表上某些列,需要授予列权限。以下介绍使用Manager角色管理功能在表授权、列授权和数据库授权三个场景下的操作。
创建ClickHouse数据库 本章节介绍创建ClickHouse数据库样例代码。 以下代码片段在com.huawei.clickhouse.examples包的“Demo”类的createDatabase方法中。 通过on cluster语句在集群中创建表1中以databaseName参数值为数据库名的数据库。
IE浏览器访问Spark2x原生UI界面失败,无法显示此页或者页面显示错误 问题 通过IE 9、IE 10和IE 11浏览器访问Spark2x的原生UI界面,出现访问失败情况或者页面显示错误问题。 现象 访问页面失败,浏览器无法显示此页,如下图所示: 原因 IE 9、IE 10、IE
在Hue WebUI使用文件浏览器 操作场景 用户需要使用图形化界面管理HDFS文件时,可以通过Hue完成任务。 Hue界面主要用于文件、表等数据的查看与分析,禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作,建议在确认对业务没有影响后通过各组件的相应操作方法进行处理,例如使
配置Spark表、列和数据库的用户权限 操作场景 使用SparkSQL操作表或者数据库时,如果用户访问别人创建的表或数据库,需要授予对应的权限。为了实现更严格权限控制,SparkSQL也支持列级别的权限控制。如果要访问别人创建的表上某些列,需要授予列权限。以下介绍使用Manage
配置Spark表、列和数据库的用户权限 操作场景 使用SparkSQL操作表或者数据库时,如果用户访问别人创建的表或数据库,需要授予对应的权限。为了实现更严格权限控制,SparkSQL也支持列级别的权限控制。如果要访问别人创建的表上某些列,需要授予列权限。以下介绍使用Manage
用数据库连接器来说,导出、导入速度更快。 使用mysql-fastpath-connector时,要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令,并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容,如果没有这两个命令或版本不兼容,请参考http://dev
配置Hive表、列或数据库的用户权限 操作场景 使用Hive表或者数据库时,如果用户访问别人创建的表或数据库,需要授予对应的权限。为了实现更严格权限控制,Hive也支持列级别的权限控制。如果要访问别人创建的表上某些列,需要授予列权限。以下介绍使用Manager角色管理功能在表授权、列授权和数据库授权三个场景下的操作。
Doris服务。 mysql -uadmin -P数据库连接端口 -hDoris FE实例IP地址 admin用户默认密码为空。 数据库连接端口为Doris FE的查询连接端口,默认为29982,也可以通过登录Manager,单击“集群 > 服务 > Doris > 配置”,查询
在Hue WebUI使用文件浏览器 操作场景 用户需要使用图形化界面管理HDFS文件时,可以通过Hue完成任务。 Hue界面主要用于文件、表等数据的查看与分析,禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作,建议在确认对业务没有影响后通过各组件的相应操作方法进行处理,例如使
Hive支持开源MySQL和Postgres元数据库,本章节以对接开源MySQL和Postgres数据库进行说明。 约束与限制 当外置元数据到MySQL后,Hive仅表名、字段名、表描述支持中文,其余暂不支持。 适用于MRS 3.x及以后版本。 步骤一:安装数据库并上传驱动包 安