检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
9G,如果参数设置为0,则表示不限制,那么ClickHouse服务可以使用服务器的所有物理内存。该参数最多有效位为小数点后两位。 父主题: ClickHouse多租户管理
访问Hue原生页面时间长,文件浏览器报错Read timed out 问题 访问Hue原生页面时页面加载时间较长,访问Hue的HDFS文件浏览器报错Read timed out,如何解决。 回答 检查HDFS服务中是否安装Httpfs实例。 否,请联系运维人员处理。 是,重启HttpFS实例解决。
= ConnectionFactory.createConnection(conf); } 登录代码要避免重复调用。 父主题: HBase数据读写样例程序
HetuEngine隐式转换对照表 在开启隐式转换功能后,当数据类型不匹配时会隐式转换,但并是不是所有的数据类型都支持隐式转换。以下为当前隐式转换功能支持的数据类型转换表: 表1 隐式转换对照表 - BOOLEAN TINYINT SMALLINT INTEGER BIGINT REAL
HBase支持使用全局二级索引加速条件查询,通过本样例,您可以了解如何管理及使用全局二级索引。 该样例程序仅适用于MRS 3.3.0及之后版本。 场景说明 假定用户开发一个应用程序,其中一个功能需要记录用户信息及地址,记录数据如下表: 表1 用户信息表 id name age address
info("Exiting testMultiSplit."); } 注意:分割操作只对空Region起作用。 父主题: HBase数据读写样例程序
物化视图类型 原表数据与物化视图一致性 灵活性 物化视图开发及维护复杂度 普通物化视图 数据从原表同步到物化视图需要时间窗。 灵活性较高,有新的业务可开发新的物化视图。 可开发复杂逻辑SQL语句的物化视图。 复杂度较高,需要开发很多物化视图,每个物化视图都需要单独去管理和维护。 projection
Spark同步HBase数据到CarbonData样例程序 Spark同步HBase数据到CarbonData开发思路 Spark同步HBase数据到CarbonData(Java) 父主题: 开发Spark应用
HetuEngine支持物化视图及自动刷新。 HetuEngine支持配置IoTDB数据源。 Hudi 升级到0.11.0版本。 IoTDB 新增组件,一体化收集、存储、管理与分析物联网时序数据的服务。 集群管理 支持补丁在线推送及更新。 组件版本信息 表1 MRS组件版本信息 组件 版本
REFRESH TABLE 语法 REFRESH TABLE table_name 描述 用于刷新TABLE元数据缓存。 示例 refresh table fruit; REFRESH 父主题: HetuEngine辅助命令语法
客户代码里面打包的第三方依赖包和集群包冲突,提交到MRS集群运行失败。 需修改相关的依赖包,并将pom文件中的开源版本的Hadoop包和Flink包的作用域设置为provide,添加完成后重新打包运行任务。 父主题: 作业管理类
加载HDFS服务配置文件,并进行kerberos安全认证。 认证通过后,实例化Filesystem。 使用HDFS的API。 此处kerberos安全认证需要使用到的keytab文件,请提前准备。 配置文件介绍 登录HDFS时会使用到如表1所示的配置文件。这些文件均已导入到“hdf
必须保证“flume-env.sh”生效之后,再执行6配置“properties.properties”文件。 若在本地配置该文件,配置完成后可参考如下步骤在Manager界面上传配置文件。若操作顺序不规范,可能造成用户自定义环境变量丢失。 登录FusionInsight Manager。
通过HSFabric实现KeyTab文件认证 KeyTab文件认证,需要“jaas-zk.conf”、“krb5.conf”和“user.keytab”文件。 “krb5.conf”和“user.keytab”文件参考MRS组件应用安全认证说明章节获得。 “jaas-zk.conf”文件如下定义,“p
p显示信息。若文件为第一次查看,则将当前文件大小与0作比较,如果大于0则读取该文件。 分组的情况下,如果执行的app没有job处于执行状态,则part文件为空,即JobHistory服务不会读取该文件,此app也不会显示在JobHistory页面上。但若part文件大小之后有更新
示信息。如果文件为第一次查看,则将当前文件大小与0作比较,如果大于0则读取该文件。 分组的情况下,如果执行的app没有job处于执行状态,则part文件为空,即JobHistory服务不会读取该文件,此app也不会显示在JobHistory页面上。但如果part文件大小之后有更新
使用Spark/Spark2x Spark使用说明 Spark用户权限管理 Spark客户端使用实践 访问Spark WebUI界面 使用代理用户提交Spark作业 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强
Oozie应用开发应用开发简介 Oozie简介 Oozie是一个用来管理Hadoop任务的工作流引擎,Oozie流程基于有向无环图(Directed Acyclical Graph)来定义和描述,支持多种工作流模式及流程定时触发机制。易扩展、易维护、可靠性高,与Hadoop生态系统各组件紧密结合。
账户/角色RBAC(Role-Based Access Control)模型,实现通过角色进行权限管理,对用户进行批量授权管理,同时提供单点登录能力,统一了系统用户和组件用户的管理及认证。具体机制详情描述请参见权限机制。 基于策略的权限控制 Ranger鉴权 MRS提供了基于Ra
√ √ x √ 批量删除作业 √ √ x √ 查询作业详情 √ √ √ √ 查询作业列表 √ √ √ √ 新建文件夹 √ √ x √ 删除文件 √ √ x √ 查询文件列表 √ √ √ √ 批量操作集群标签 √ √ x √ 创建单个集群标签 √ √ x √ 删除单个集群标签 √ √