使用TableIndexer工具生成HBase本地二级索引 场景介绍 为了快速对数据创建索引,HBase提供了可通过MapReduce功能创建索引的TableIndexer工具,该工具可实现添加、构建和删除索引。
UUID Interceptor 该拦截器会为每个Event的Header生成一个UUID字符串。 Search and Replace Interceptor 该拦截器基于Java正则表达式提供简单的基于字符串的搜索和替换功能。
此外,若在执行HIndexImportTsv工具之前未建表,直接运行该工具,将会在创建表时创建索引,并在生成用户数据的同时生成索引数据。 前提条件 已安装客户端,具体请参考安装客户端章节。 已根据业务需要创建具有相应权限的组件业务用户。
选择“REGEX”,表示使用正则表达式匹配。 不选择,则默认为通配符过滤。 WILDCARD 路径过滤器 与“过滤类型”配合使用,配置通配符或正则表达式对源文件的输入路径包含的目录进行过滤。“输入路径”不参与过滤。
使用FusionInsight Manager界面中的Flume配置工具来配置服务端参数并生成配置文件。 登录FusionInsight Manager,选择“集群 > 服务 > Flume > 配置工具”。
生成Flume配置文件 安装Flume客户端。 配置Flume角色客户端参数。 使用FusionInsight Manager界面中的Flume配置工具来配置Flume角色客户端参数并生成配置文件。
无 kadmin/changepw 系统随机生成 kadmin/history 系统随机生成 krbtgt/<系统域名> 系统随机生成 LDAP用户 admin 无 FusionInsight Manager的管理员。
此外,如果在执行HIndexImportTsv工具之前未建表,直接运行该工具,将会在创建表时创建索引,并在生成用户数据的同时生成索引数据。 前提条件 已安装客户端,具体请参考安装客户端章节。 已根据业务需要创建具有相应权限的组件业务用户。
选择“REGEX”,表示使用正则表达式匹配。 不选择,则默认为通配符过滤。 WILDCARD 路径过滤器 与“过滤类型”配合使用,配置通配符或正则表达式对源文件的输入路径包含的目录进行过滤。“输入路径”不参与过滤。
正则表达式筛选 单击“正则表达式输入”。 根据界面提示,在第一个输入框填写目录的父目录完整路径,需要与当前存在的目录完全匹配。例如“/tmp”。 在第二个输入框输入正则表达式,支持标准正则表达式。例如要筛选父目录中所有的文件或子目录,输入“([\s\S]*?)”。
正则表达式筛选 单击“正则表达式输入”。 根据界面提示,在第一个输入框填写HBase表所在的命名空间,需要与当前存在的命名空间完全匹配。例如“default”。 在第二个输入框输入正则表达式,支持标准正则表达式。例如要筛选命名空间中所有的表,输入“([\s\S]*?)”。
选择“REGEX”,表示使用正则表达式匹配。 不选择,则默认为通配符过滤。 WILDCARD 路径过滤器 与“过滤类型”配合使用,配置通配符或正则表达式对源文件的输入路径包含的目录进行过滤。“输入路径”不参与过滤。
选择“REGEX”,表示使用正则表达式匹配。 不选择,则默认为通配符过滤。 WILDCARD 路径过滤器 与“过滤类型”配合使用,配置通配符或正则表达式对源文件的输入路径包含的目录进行过滤。“输入路径”不参与过滤。
选择“REGEX”,表示使用正则表达式匹配。 不选择,则默认为通配符过滤。 WILDCARD 路径过滤器 与“过滤类型”配合使用,配置通配符或正则表达式对源文件的输入路径包含的目录进行过滤。“输入路径”不参与过滤。
选择“REGEX”,表示使用正则表达式匹配。 不选择,则默认为通配符过滤。 WILDCARD 路径过滤器 与“过滤类型”配合使用,配置通配符或正则表达式对源文件的输入路径包含的目录进行过滤。“输入路径”不参与过滤。
选择“REGEX”,表示使用正则表达式匹配。 不选择,则默认为通配符过滤。 WILDCARD 路径过滤器 与“过滤类型”配合使用,配置通配符或正则表达式对源文件的输入路径包含的目录进行过滤。“输入路径”不参与过滤。
正则表达式筛选 单击“正则表达式输入”。 根据界面提示,在第一个输入框填写Hive表所在的数据库,需要与当前存在的数据库完全匹配。例如“default”。 在第二个输入框输入正则表达式,支持标准正则表达式。例如要筛选数据库中所有的表,输入“([\s\S]*?)”。
配置Hive表分区动态覆盖 配置场景 在旧版本中,使用insert overwrite语法覆写分区表时,只支持对指定的分区表达式进行匹配,未指定表达式的分区将被全部删除。在spark2.3版本中,增加了对未指定表达式的分区动态匹配的支持,此种语法与Hive的动态分区匹配语法行为一致
当应用程序从lost_and_found队列移动到其他队列时,应用程序不能继续执行 问题 当删除一个有部分应用程序正在运行的队列,这些应用程序会被移动到“lost_and_found”队列上。当这些应用程序移回运行正常的队列时,某些任务会被挂起,不能正常运行。 回答 如果应用程序没有设置标签表达式
不支持正则表达式过滤。 文件过滤器 配置通配符对源文件的输入文件名进行过滤。配置多个过滤条件时使用逗号隔开。不能配置为空。不支持正则表达式过滤。 编码类型 源文件的编码格式,如UTF-8。导入文本文件时才能配置。 后缀名 源文件导入成功后对输入文件增加的后缀值。
您即将访问非华为云网站,请注意账号财产安全