检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在本地Windows环境中调测Oozie应用 操作场景 在使用Java接口完成开发程序代码后,您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。 操作步骤 在Windows本地运行程序,需要配置https ssl证书。 登录集群任意节点,进入如下目录下载ca
在本地Windows环境中调测Oozie应用 操作场景 在使用Java接口完成开发程序代码后,您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。 操作步骤 在Windows本地运行程序,需要配置HTTPS SSL证书。 登录集群任意节点,进入如下目录下载ca
器”配合使用。不选择值时默认为通配符过滤。 路径过滤器 与“过滤器类型”配合使用,配置通配符或正则表达式对源文件的输入路径包含的目录进行过滤。输入路径“输入路径”不参与过滤。配置多个过滤条件时使用逗号隔开,配置为空时表示不过滤目录。 文件过滤器 与“过滤器类型”配合使用,配置通配
对同一目录创建多个外表,可能导致外表查询失败 问题 假设存在数据文件路径“/test_data_path”,用户userA对该目录创建外表tableA,用户userB对该目录创建外表tableB,当userB对tableB执行insert操作后,userA将查询tableA失败,出现Permission
使用scan命令仍然可以查询到已修改和已删除的数据 问题 为什么使用如下scan命令仍然可以查询到已修改和已删除的数据? scan '<table_name>',{FILTER=>"SingleColumnValueFilter('<column_family>','column'
是否可以手动调整DataNode数据存储目录 问题 数据块在DataNode上的存储目录由“dfs.datanode.data.dir”配置项指定,是否可以修改该配置项来修改数据存储目录? 是否可以手动拷贝数据存储目录下的文件? 回答 “dfs.datanode.data.dir
务IP地址。 --port 连接的端口。 如果使用ssl安全连接则默认端口为9440,并且需要携带参数--secure。具体的端口值可通过ClickHouseServer实例配置搜索“tcp_port_secure”参数获取。 如果使用非ssl安全连接则默认端口为9000,不需要
是否可以手动调整DataNode数据存储目录 问题 数据块在DataNode上的存储目录由“dfs.datanode.data.dir”配置项指定,是否可以修改该配置项来修改数据存储目录? 是否可以手动拷贝数据存储目录下的文件? 回答 “dfs.datanode.data.dir
对同一目录创建多个外表,可能导致外表查询失败 问题 假设存在数据文件路径“/test_data_path”,用户userA对该目录创建外表tableA,用户userB对该目录创建外表tableB,当userB对tableB执行insert操作后,userA将查询tableA失败,出现Permission
Kafka支持安全访问,因此可以针对Topic进行ACL设置,从而控制不同的用户可以访问不同的Topic。Topic的权限信息,需要在Linux客户端上,使用“kafka-acls.sh”脚本进行查看和设置。 操作场景 该任务指导Kafka管理员根据业务需求,为其他使用Kafka的系统用户授予相关Topic的特定权限。
从零开始使用Spark 本章节提供从零开始使用Spark提交sparkPi作业的操作指导,sparkPi是最经典的Spark作业,它用来计算Pi(π)值。 操作步骤 准备sparkPi程序。 开源的Spark的样例程序包含多个例子,其中包含sparkPi。可以从https://archive
开源端口默认值为:6667 定制端口默认值为:22260 端口定制/开源区分:创建LTS版本类型集群时,可以选择“组件端口”为“开源”或是“定制”,选择“开源”使用开源端口,选择“定制”使用定制端口。 root用户初始密码MRS 3.3.0之前版本为“root”,MRS 3.3.0及之后版本为“Iotdb@123”。
使用Storm 从零开始使用Storm 使用Storm客户端 使用客户端提交Storm拓扑 访问Storm的WebUI 管理Storm拓扑 查看Storm拓扑日志 Storm常用参数 配置Storm业务用户密码策略 迁移Storm业务至Flink Storm日志介绍 性能调优
用户的jar包与环境中的jar包冲突导致,可以通过执行wordcount程序是否成功来判断。 如果集群为安全集群,可能是Flink的SSL证书配置错误,或者证书过期。 解决方法 增加队列的资源。 排除用户jar包中的Flink和Hadoop依赖,依赖环境中的jar包。 重新配置Flink的SSL证书,可参考从零开始使用Flink。
使用HBase 连接到HBase响应慢 HBase用户认证失败 端口被占用导致RegionServer启动失败 节点剩余内存不足导致HBase启动失败 HDFS性能差导致HBase服务不可用告警 参数不合理导致HBase启动失败 残留进程导致Regionsever启动失败 HDFS上设置配额导致HBase启动失败
erver RPC端口 # 进行认证的用户名 username=developuser # 进行认证的用户密码,该密码建议密文存放,使用时解密,确保安全。 password=xxx # 下载的认证凭据中“krb5.conf”文件的位置,Linux环境下建议使用已上传到“IoTDB
fka组件接收数据。 确保集群安装完成,包括HDFS、Yarn、Flink和Kafka。 创建Topic。 用户使用Linux命令行创建topic,执行命令前需要使用kinit命令进行人机认证,如kinit flinkuser。 flinkuser需要用户自己创建,并拥有创建Kafka的topic权限。
示例 server.url Loader服务的浮动IP地址和端口。端口默认为21351。 为了兼容性,此处支持配置多个IP地址和端口,并以“,”进行分隔。其中第一个必须是Loader服务的浮动IP地址和端口,其余的可根据业务需求配置。 10.96.26.111:21351,127.0
ine集群,大约需等待120秒,可以进入客户端界面。 开启租户的严格校验模式:适用于MRS 3.3.0及以后版本 HetuEngine提供服务级默认资源队列配置项,如果没指定租户信息,默认使用Yarn为用户指定的默认租户,可能出现多个用户都默认使用相同的租户队列,从而无法达到资源隔离的效果。
开源端口默认值为:6667 定制端口默认值为:22260 端口定制/开源区分:创建LTS版本类型集群时,可以选择“组件端口”为“开源”或是“定制”,选择“开源”使用开源端口,选择“定制”使用定制端口。 root用户初始密码MRS 3.3.0之前版本为“root”,MRS 3.3.0及之后版本为“Iotdb@123”。