检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
[FORMAT format] 使用示例 --查看ClickHouse集群信息 select * from system.clusters; --显示当前节点设置的宏 select * from system.macros; --查看数据库容量 select sum(rows) as "总行数"
name )" + " tmp where totalStayTime >120"); // 显示结果。 List<String> result = femaleTimeInfo.javaRDD().map(new Function<Row
sh -m最大保留个数 OMS备份组件审计日志默认最大保留90个,可选值为“0”到“365”,如果设置的保留个数越大,会占用更多的磁盘空间。 显示如下结果,说明修改成功: Modify log config successfully 父主题: 查看MRS集群日志
0/plugins.d mkdir thirdPlugin cd thirdPlugin mkdir lib libext native 显示结果如下: 将第三方jar包放入“Flume客户端安装目录/fusionInsight-flume-*/plugins.d/thirdPl
准备Spark本地应用开发环境 Spark2x可以使用Java/Scala/Python语言进行应用开发,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Windows系统或Linux系统。
添加Hudi数据源 HetuEngine支持查询COW/MOR类型表数据。本章节指导用户在HSConsole界面配置Hudi类型数据源。 HetuEngine不支持Hudi的bootstrap表的读取。 添加Hudi数据源前提条件 创建Hudi数据源的代理用户,该代理用户为人机用户且需拥有hive组。
hindex.mapreduce.TableIndexer -Dtablename.to.index=<table_name> -Dindexspecs.to.add='IDX1=>cf1:[q1->datatype];cf2:[q1->datatype],[q2->datatype],[
hindex.mapreduce.TableIndexer -Dtablename.to.index=<table_name> -Dindexspecs.to.add='IDX1=>cf1:[q1->datatype];cf2:[q1->datatype],[q2->datatype],[
服务 > HDFS”。 在“基本信息”区域,单击“NameNode(主)”,显示HDFS WebUI页面。 admin用户默认不具备其他组件的管理权限,如果访问组件原生界面时出现因权限不足而打不开页面或内容显示不全时,可手动创建具备对应组件管理权限的用户进行登录。 在HDFS Web
Spark JDBCServer接口介绍 简介 JDBCServer是Hive中的HiveServer2的另外一个实现,它底层使用了Spark SQL来处理SQL语句,从而比Hive拥有更高的性能。 JDBCServer是一个JDBC接口,用户可以通过JDBC连接JDBCServ
在“配置资源权限”列表,选择待增加权限的集群,为角色选择服务权限。 在设置组件的权限时,可通过右上角的“搜索”框输入资源名称,然后单击搜索图标显示搜索结果。 搜索范围仅包含当前权限目录,无法搜索子目录。搜索关键字支持模糊搜索,不区分大小写。 对于已启用Ranger授权的组件(HDFS
选择需要退订的节点并单击“确定”对节点进行隔离。 隔离节点过程的时长取决于节点中数据量,数据量越大则时间越长,请耐心等待。 节点隔离成功后,节点状态显示为“已隔离”。在“节点管理”页面出现“退订节点”按钮。 集群版本为MRS 3.1.0、3.1.5、3.2.0-LTS.1版本时: 选择“节
Spark JDBCServer接口介绍 简介 JDBCServer是Hive中的HiveServer2的另外一个实现,它底层使用了Spark SQL来处理SQL语句,从而比Hive拥有更高的性能。 JDBCServer是一个JDBC接口,用户可以通过JDBC连接JDBCServ
准备Spark本地应用开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Windows系统或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。
DFS任意操作。需要移除用户的ficommon组权限。 处理步骤 以root用户登录集群的Master节点。 执行id ${用户名}命令,显示用户组信息,确认是否有“ficommon”组权限。 如果存在“ficommon”组权限,请执行3。如果不存在,请联系技术服务。 用户名为出现HDFS权限设置问题的用户。
Hive > 资源”,查看“HQL的Map数”图表,找出Map数过大的HQL语句(Map数>=5000)。 找到对应的HQL语句,优化在监控上显示map数过大的HQL语句,再尝试执行。 查看本告警是否恢复。 是,操作结束。 否,执行4。 收集故障信息。 在FusionInsight Manager首页,选择“运维
a.b.c AFTER x a.b.c表示嵌套列全路径,嵌套列具体规则见ADD COLUMNS。 系统响应 通过运行DESCRIBE命令,可显示修改的列。 父主题: Hudi Schema演进及语法说明
Spark HA方案介绍 Spark多主实例HA原理与实现方案 基于社区已有的JDBCServer基础上,采用多主实例模式实现了其高可用性方案。集群中支持同时共存多个JDBCServer服务,通过客户端可以随机连接其中的任意一个服务进行业务操作。即使集群中一个或多个JDBCSer
Import > General > Existing Projects into Workspace > Next >Browse”。 显示“浏览文件夹”对话框。 选择样例工程文件夹,单击“Finish”。 父主题: 准备HBase应用开发环境
选择“驱动管理 > 上传驱动”,在弹出的窗口选择本地已准备的数据库驱动文件,单击“打开”,等待驱动上传完成。 在“驱动管理”界面,查看驱动文件名列表是否显示正常。 如果驱动不再使用,或者上传错误,可单击“删除”,删除对应驱动文件。 驱动文件列表较多时,可通过搜索框快速检索。 父主题: 创建CDL作业前准备