检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
器”配合使用。不选择值时默认为通配符过滤。 路径过滤器 与“过滤器类型”配合使用,配置通配符或正则表达式对源文件的输入路径包含的目录进行过滤。输入路径“输入路径”不参与过滤。配置多个过滤条件时使用逗号隔开,配置为空时表示不过滤目录。 文件过滤器 与“过滤器类型”配合使用,配置通配
对同一目录创建多个外表,可能导致外表查询失败 问题 假设存在数据文件路径“/test_data_path”,用户userA对该目录创建外表tableA,用户userB对该目录创建外表tableB,当userB对tableB执行insert操作后,userA将查询tableA失败,出现Permission
使用scan命令仍然可以查询到已修改和已删除的数据 问题 为什么使用如下scan命令仍然可以查询到已修改和已删除的数据? scan '<table_name>',{FILTER=>"SingleColumnValueFilter('<column_family>','column'
务IP地址。 --port 连接的端口。 如果使用ssl安全连接则默认端口为9440,并且需要携带参数--secure。具体的端口值可通过ClickHouseServer实例配置搜索“tcp_port_secure”参数获取。 如果使用非ssl安全连接则默认端口为9000,不需要
是否可以手动调整DataNode数据存储目录 问题 数据块在DataNode上的存储目录由“dfs.datanode.data.dir”配置项指定,是否可以修改该配置项来修改数据存储目录? 是否可以手动拷贝数据存储目录下的文件? 回答 “dfs.datanode.data.dir
从零开始使用Spark 本章节提供从零开始使用Spark提交sparkPi作业的操作指导,sparkPi是最经典的Spark作业,它用来计算Pi(π)值。 操作步骤 准备sparkPi程序。 开源的Spark的样例程序包含多个例子,其中包含sparkPi。可以从https://archive
是否可以手动调整DataNode数据存储目录 问题 数据块在DataNode上的存储目录由“dfs.datanode.data.dir”配置项指定,是否可以修改该配置项来修改数据存储目录? 是否可以手动拷贝数据存储目录下的文件? 回答 “dfs.datanode.data.dir
对同一目录创建多个外表,可能导致外表查询失败 问题 假设存在数据文件路径“/test_data_path”,用户userA对该目录创建外表tableA,用户userB对该目录创建外表tableB,当userB对tableB执行insert操作后,userA将查询tableA失败,出现Permission
Kafka支持安全访问,因此可以针对Topic进行ACL设置,从而控制不同的用户可以访问不同的Topic。Topic的权限信息,需要在Linux客户端上,使用“kafka-acls.sh”脚本进行查看和设置。 操作场景 该任务指导Kafka管理员根据业务需求,为其他使用Kafka的系统用户授予相关Topic的特定权限。
用户的jar包与环境中的jar包冲突导致,可以通过执行wordcount程序是否成功来判断。 如果集群为安全集群,可能是Flink的SSL证书配置错误,或者证书过期。 解决方法 增加队列的资源。 排除用户jar包中的Flink和Hadoop依赖,依赖环境中的jar包。 重新配置Flink的SSL证书,可参考从零开始使用Flink。
快速使用Hadoop 本章节提供从零开始使用Hadoop提交wordcount作业的操作指导,wordcount是最经典的Hadoop作业,它用来统计海量文本的单词数量。 操作步骤 准备wordcount程序。 开源的Hadoop的样例程序包含多个例子,其中包含wordcount。可以从https://dist
ine集群,大约需等待120秒,可以进入客户端界面。 开启租户的严格校验模式:适用于MRS 3.3.0及以后版本 HetuEngine提供服务级默认资源队列配置项,如果没指定租户信息,默认使用Yarn为用户指定的默认租户,可能出现多个用户都默认使用相同的租户队列,从而无法达到资源隔离的效果。
开源端口默认值为:6667 定制端口默认值为:22260 端口定制/开源区分:创建LTS版本类型集群时,可以选择“组件端口”为“开源”或是“定制”,选择“开源”使用开源端口,选择“定制”使用定制端口。 root用户初始密码MRS 3.3.0之前版本为“root”,MRS 3.3.0及之后版本为“Iotdb@123”。
在本地Windows环境中调测Oozie应用 操作场景 在使用Java接口完成开发程序代码后,您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。 操作步骤 在Windows本地运行程序,需要配置https ssl证书。 登录集群任意节点,进入如下目录下载ca
使用HBase 连接到HBase响应慢 HBase用户认证失败 端口被占用导致RegionServer启动失败 节点剩余内存不足导致HBase启动失败 HDFS性能差导致HBase服务不可用告警 参数不合理导致HBase启动失败 残留进程导致Regionsever启动失败 HDFS上设置配额导致HBase启动失败
使用Storm 从零开始使用Storm 使用Storm客户端 使用客户端提交Storm拓扑 访问Storm的WebUI 管理Storm拓扑 查看Storm拓扑日志 Storm常用参数 配置Storm业务用户密码策略 迁移Storm业务至Flink Storm日志介绍 性能调优
fka组件接收数据。 确保集群安装完成,包括HDFS、Yarn、Flink和Kafka。 创建Topic。 用户使用Linux命令行创建topic,执行命令前需要使用kinit命令进行人机认证,如kinit flinkuser。 flinkuser需要用户自己创建,并拥有创建Kafka的topic权限。
搜索PRESTO_COORDINATOR_FLOAT_IP的值获得),port为Presto Server的端口号,默认为7520。 presto_cli.sh --server http://ip:port 启用Kerberos认证的集群,执行以下命令连接本集群的Presto Server。
示例 server.url Loader服务的浮动IP地址和端口。端口默认为21351。 为了兼容性,此处支持配置多个IP地址和端口,并以“,”进行分隔。其中第一个必须是Loader服务的浮动IP地址和端口,其余的可根据业务需求配置。 10.96.26.111:21351,127.0
开源端口默认值为:6667 定制端口默认值为:22260 端口定制/开源区分:创建LTS版本类型集群时,可以选择“组件端口”为“开源”或是“定制”,选择“开源”使用开源端口,选择“定制”使用定制端口。 root用户初始密码MRS 3.3.0之前版本为“root”,MRS 3.3.0及之后版本为“Iotdb@123”。