检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Hive读取关系型数据库 操作场景 Hive支持创建与其他关系型数据库关联的外表。该外表可以从关联到的关系型数据库中读取数据,并与Hive的其他表进行Join操作。 目前支持使用Hive读取DB2和Oracle两种关系型数据库的数据。 前提条件 已安装Hive客户端。 操作步骤
SQLServer全数据类型导入HDFS数据跳过 问题 SQLServer全数据类型导入HDFS,数据全部跳过。 答案 数据中包含SQLServer中特有的Timestamp类型,该数据类型与时间和日期无关,需要替换为Datetime类型。 父主题: Loader常见问题
需先执行以下命令再连接Doris数据库: export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 mysql -u数据库登录用户 -p数据库登录用户密码 -P数据库连接端口 -hDoris FE实例IP地址 数据库连接端口为Doris FE的查询连接
已执行打包Storm业务步骤,打出source.jar。 操作步骤 安全模式下,请先进行安全认证。 初始化客户端环境变量。 进入客户端安装目录“/opt/Storm_client”执行以下命令,导入环境变量信息。 source bigdata_env 使用在“准备开发用户”章节创建的开发用户进行安全登录。
配置Hive读取关系型数据库数据 操作场景 Hive支持创建与其他关系型数据库关联的外表。该外表可以从关联到的关系型数据库中读取数据,并与Hive的其他表进行Join操作。 目前支持使用Hive读取数据的关系型数据库如下: DB2 Oracle 本章节适用于MRS 3.x及后续版本。
如何修改开源组件Web页面会话超时时间? 问: 如何修改开源组件Web页面会话超时时间? 答: 合理设置Web页面超时时间,可以避免由于Web页面长时间暴露造成的信息泄露。 确定集群是否支持调整会话时长。 MRS 3.x之前版本集群:在集群详情页面,选择“组件管理 > meta >
准备Linux客户端环境 背景信息 安装Linux客户端用于拓扑的提交。 前提条件 确认Storm组件已经安装,并正常运行。 客户端机器的时间与集群的时间要保持一致,时间差要小于5分钟。 操作步骤 下载Storm客户端程序。 登录MRS Manager系统。 选择“服务管理 > Storm >
登录Doris集群中已安装好MySQL客户端的MRS Master节点,执行如下命令进入Doris数据库。 export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 (若集群已启用Kerberos认证(安全模式)需执行该命令) mysql -u数据库登录用户 -p数据库登录用户密码
启按钮时,如果当前规则有变量参数,需同时配置阈值。 拦截:配置系统对SQL请求满足防御规则后,是否进行拦截处理。开启按钮时,如果当前规则有变量参数,需同时配置阈值。 熔断:配置系统对SQL请求满足防御规则后,是否进行熔断处理。开启按钮时,如果当前规则有变量参数,需同时配置阈值。 说明:
2.1 2.3.3 存储元数据的数据库:MySQL HBase 1.3.1 1.3.1 - Spark 2.2.2 3.1.1 - Kafka 1.1.0 2.11-2.4.0 - Oozie 2.x 5.1.0 - MySQL 5.7.1 RDS - Flink 1.7 1.15
JavaPairRDD:表示key-value形式的JavaRDD类。提供的方法有groupByKey,reduceByKey等。 Broadcast:广播变量类。广播变量允许保留一个只读的变量,缓存在每一台机器上,而非每个任务保存一份拷贝。 StorageLevel:数据存储级别。有内存(MEMORY_ONLY)
例如指定执行引擎为MapReduce: 参数:--hiveconf 值:"hive.execution.engine=mr" --hivevar 设置用户的自定义变量。 例如设置变量ID: 参数:--hivevar id 值:"123" select * from test where id = ${hivevar:id};
DESCRIBE DATABASE| SCHEMA 语法 DESCRIBE DATABASE|SCHEMA [EXTENDED] schema_name 描述 DATABASE和SCHEMA在此处是等价的,可互换的,它们有这相同的含义。 该语法用于显示SCHEMA的名称、注释、还有它在文件系统上的根路径。
获取ClickHouse开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 前提条件 确保本地PC的时间与集群的时间差要小于5分钟,若无法确定,请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。 操作场景 ClickHouse针对多个
获取ClickHouse开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 前提条件 确保本地PC的时间与集群的时间差要小于5分钟,若无法确定,请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。 操作场景 ClickHouse针对多个
表示导入任务的超时时间,默认超时时间为600秒,单位为秒。 若导入任务在设定的时间内未完成则会被系统取消,状态变为“CANCELLED”。默认超时时间为600秒,如果导入的源文件无法在规定时间内完成导入,可以在Stream Load请求中设置单独的超时时间,或调整“stream
se表和数据库的读写权限。 前提条件 ClickHouse服务运行正常,Zookeeper服务运行正常。 用户在集群中创建数据库或者表时需使用ON CLUSTER语句,保证各个ClickHouse节点上数据库、表的元信息相同。 ClickHouse赋权成功后,权限生效时间大约为1分钟。
Manager页面,选择“集群 > 服务 > Hive > 配置 > 全部配置”。 选择“HiveServer(角色) > 自定义”,对参数文件“hive-site.xml”添加自定义参数,设置“名称”为“hive.allow.show.create.table.in.select.nogrant”,“值”为“true
语法 DROP (DATABASE|SCHEMA) [IF EXISTS] databasename [RESTRICT|CASCADE] 描述 DATABASE和SCHEMA在概念上是等价可互换的。 该语法用于删除数据库databasename,如果目标数据库不存在,将抛出错误提示,但如果使用了IF
0及之后版本。 使用约束 自定义分隔符不能为空字符串。 自定义分隔符长度必须小于等于16个字符。 自定义分隔符过长会影响解析效率,降低数据导入速度,且会导致有效数据占比率降低,使得文件占用过大,因此不建议使用过长的分隔符。 自定义分隔符必须为可见字符。 自定义分隔符白名单,避免可能的