检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Spark客户端 MRS集群创建完成后,可以通过客户端去创建和提交作业。客户端可以安装在集群内部节点或集群外部节点上: 集群内部节点:MRS集群创建完成后,集群内的master和core节点默认已经安装好客户端,详情请参见集群内节点使用MRS客户端章节,登录安装客户端的节点。
Hive是否支持向量化查询 问题 当设置向量化参数hive.vectorized.execution.enabled=true时,为什么执行hive on Tez/Mapreduce/Spark时会偶现一些空指针或类型转化异常? 回答 当前Hive不支持向量化执行,向量化执行有很
添加GAUSSDB数据源步骤 使用HetuEngine管理员用户登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。 在“概览”页签下的“基本信息”区域,单击“HSConsole WebUI”后的链接,进入HSConsole界面。
创建FlinkServer权限角色 该任务指导MRS集群管理员在Manager创建并设置FlinkServer的角色。FlinkServer角色可设置FlinkServer管理员权限以及应用的编辑和查看权限。 用户需要在FlinkServer中对指定的用户设置权限,才能够更新数据、查询数据和删除数据等。
se角色可设置ClickHouse管理员权限以及ClickHouse表和数据库的读写权限。 前提条件 ClickHouse服务运行正常,Zookeeper服务运行正常。 用户在集群中创建数据库或者表时需使用ON CLUSTER语句,保证各个ClickHouse节点上数据库、表的元信息相同。
Hive同步数据报错SemanticException 问题 Hive同步数据时报错: org.apache.hadoop.hive.ql.parse.SemanticException: Database does not exist: test_db 回答 这种情况通常在试图
ClickHouse数据导入导出 本章节主要介绍使用ClickHouse客户端导入导出文件数据的基本语法和使用说明。 使用ClickHouse客户端导入导出数据 CSV格式数据导入 clickhouse client --host 主机名/ClickHouse实例IP地址 --database
使用Presto客户端执行查询语句 用户可以根据业务需要,在MRS集群的客户端中进行交互式查询。启用Kerberos认证的集群,需要提交拓扑的用户属于“presto”组。 MRS 3.x版本Presto组件暂不支持开启Kerberos认证。 前提条件 获取用户“admin”账号密
HetuEngine DDL SQL语法说明 CREATE SCHEMA CREATE VIRTUAL SCHEMA CREATE TABLE CREATE TABLE AS CREATE TABLE LIKE CREATE VIEW CREATE FUNCTION CREATE
HetuEngine DML SQL语法说明 INSERT DELETE UPDATE LOAD 父主题: HetuEngine常见SQL语法说明
HetuEngine TCL SQL语法说明 START TRANSACTION COMMIT ROLLBACK 父主题: HetuEngine常见SQL语法说明
HetuEngine DQL SQL语法说明 SELECT WITH GROUP BY HAVING UNION | INTERSECT | EXCEPT ORDER BY OFFSET LIMIT | FETCH FIRST TABLESAMPLE UNNEST JOINS Subqueries
Hive负载均衡 配置Hive任务的最大map数 配置用户租约隔离访问指定节点的HiveServer 配置组件隔离访问Hive MetaStore 配置HiveMetaStore客户端连接负载均衡 父主题: Hive企业级能力增强
“/srv/BigData/data2”,则执行以下命令: mount /dev/vdb2 /srv/BigData/data2 弹性云服务器重启后,挂载会失效。您可以修改“/etc/fstab”文件,将新建磁盘分区设置为开机自动挂载,具体请参见设置开机自动挂载磁盘分区。 参见访问FusionInsight
SELECT查询表数据 本章节主要介绍ClickHouse查询表数据的SQL基本语法和使用说明。 基本语法 SELECT [DISTINCT] expr_list [FROM [database_name.]table | (subquery) | table_function]
> ClickHouseServer > 自定义 > clickhouse-config-customize”,添加如下配置,保存配置,重启服务。 配置项 参考值 作用 merge_tree.max_replicated_merges_with_ttl_in_queue CPU核数一半
创建Hue操作任务 在Hue WebUI使用HiveQL编辑器 在Hue WebUI使用SparkSql编辑器 在Hue WebUI使用元数据浏览器 在Hue WebUI使用文件浏览器 在Hue WebUI使用作业浏览器 在Hue WebUI使用HBase 父主题: 使用Hue(MRS
Hive负载均衡 配置Hive任务的最大map数 配置用户租约隔离访问指定节点的HiveServer 父主题: Hive企业级能力增强
Ranger权限策略配置示例 添加HDFS的Ranger访问权限策略 添加HBase的Ranger访问权限策略 添加Hive的Ranger访问权限策略 添加Impala的Ranger访问权限策略 添加Yarn的Ranger访问权限策略 添加Spark2x的Ranger访问权限策略
Loader转换类算子 长整型时间转换 空值转换 增加常量字段 随机值转换 拼接转换 分隔转换 取模转换 剪切字符串 EL操作转换 字符串大小写转换 字符串逆序转换 字符串空格清除转换 过滤行转换 更新域 父主题: Loader算子帮助