检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/var/log/Bigdata/kerberos Kerberos日志。 /var/log/Bigdata/ldapclient LDAP客户端日志。 /var/log/Bigdata/ldapserver LDAP服务端日志。 /var/log/Bigdata/loader Loader日志。
NettySink作为Netty的服务器端,内部NettyServer实现服务器功能;NettySource作为Netty的客户端,内部NettyClient实现客户端功能。 发布者 通过NettySink向下游Job发送数据的Job称为发布者。 订阅者 通过NettySource接收
Job(Configuration conf, String jobName),Job(Configuration conf) 新建一个MapReduce客户端,用于配置作业属性,提交作业。 setMapperClass(Class<extends Mapper> cls) 核心接口,指定MapR
splitLog(MasterFileSystem.java:375) 因此,不支持用户对HDFS上的HBase目录进行quota值设置。上述问题可通过下述步骤解决: 在客户端命令提示符下运行kinit 用户名命令,使HBase用户获得安全认证。 运行hdfs dfs -count -q/hbase/data/<
splitLog(MasterFileSystem.java:375) 因此,不支持用户对HDFS上的HBase目录进行quota值设置。上述问题可通过下述步骤解决: 在客户端命令提示符下运行kinit 用户名命令,使HBase用户获得安全认证。 运行hdfs dfs -count -q/hbase/data/<
一个manager系统中获取到的用于Kerberos安全认证的keytab文件和principal文件,以及多个Manager系统各自的客户端配置文件,可实现一次认证登录后访问调用多集群的HBase服务。 以下代码在hbase-example样例工程的“com.huawei.bigdata
ar、logs。而大部分只有管理员有权限使用。 用户可以通过以下命令查看YARN用法和帮助: yarn --help 用法:进入Yarn客户端的任意目录,执行source命令导入环境变量,直接运行命令即可。 格式如下所示: yarn [--config confdir] COMMAND
有企业级的大数据安全管理特性,支持按照表/按列控制访问权限,支持数据按照表/按列加密。 易运维 MRS提供可视化大数据集群管理平台,提高运维效率。并支持滚动补丁升级,可视化补丁发布信息,一键式补丁安装,无需人工干预,不停业务,保障用户集群长期稳定。 高可靠 MRS服务经过大规模的
就会出现Region中存在多个HFile的情况,从而影响读取的性能。所以如果读取的性能不理想的时候,也要考虑写入的配置是否合理。 读数据客户端调优 Scan数据时需要设置caching(一次从服务端读取的记录条数,默认是1),若使用默认值读性能会降到极低。 当不需要读一条数据所有
Executor注册shuffle service的超时时间是5秒,最多重试3次,该参数目前不可配。 建议适当调大task retry次数和Executor失败次数。 在客户端的“spark-defaults.conf”配置文件中配置如下参数。“spark.yarn.max.executor.failures”若不存在,则手动添加该参数项。
e, database_name, table_name, [sharding_key]) Distributed表参数解析如下: cluster_name:集群名称,在对分布式表执行读写的过程中,使用集群的配置信息查找对应的ClickHouse实例节点。 database_name:数据库名称。
ger WebUI上对指定service设置权限策略,Ranger插件会定期从RangerAdmin处更新策略并缓存在组件本地文件,当有客户端请求需要进行鉴权时,Ranger插件会对请求中携带的用户在策略中进行匹配,随后返回接受或拒绝。 组件每次启动都会检查组件默认的Ranger
而SparkSQL模块,支持CLI或者JDBCServer两种方式访问。其中JDBCServer的连接方式也有Beeline和JDBC客户端代码两种。详情请参见Spark JDBCServer接口介绍。 spark-sql脚本、spark-shell脚本和spark-submi
而SparkSQL模块,支持CLI或者JDBCServer两种方式访问。其中JDBCServer的连接方式也有Beeline和JDBC客户端代码两种。详情请参见Spark JDBCServer接口介绍。 spark-sql脚本、spark-shell脚本和spark-submi
hadoop-<SSH_USER>-<process_name>-<hostname>.out HDFS运行环境信息日志。 hadoop.log Hadoop客户端操作日志。 hdfs-period-check.log 周期运行的脚本的日志记录。包括:自动均衡、数据迁移、JournalNode数据同步检测等。
要重新下载并更新客户端配置文件。 集群中只剩下一个DBService角色实例时,不支持修改DBService服务的参数。 配置服务属性后,如果服务状态为“配置过期”,则需要重启此服务,重启期间该服务不可用。 修改服务配置参数并重启生效后,需要重新下载并安装客户端,或者下载配置文件刷新客户端。
TABLES命令用于显示所有在当前database中的table,或所有指定database的table。 命令格式 SHOW TABLES [IN db_name]; 参数描述 表1 SHOW TABLES参数描述 参数 描述 IN db_name Database名称,仅当需要显示指定Database的所有Table时配置。
设定字段分隔符,和Hive表或hdfs文件保持一致 --lines-terminated-by 设定行分隔符,和hive表或hdfs文件保持一致 --mysql-delimiters MySQL默认分隔符设置 export参数 --input-fields-terminated-by 字段分隔符 --input
是,执行9。 否,执行3。 图1 HBase的WebUI 负载均衡 以root用户登录HBase客户端所在节点,用户密码为安装前用户自定义,请咨询系统管理员。进入客户端安装目录,设置环境变量: cd 客户端安装目录 source bigdata_env 如果集群采用安全版本,要进行安全认证。执行kinit
log”),确认HMaster日志中没有频繁打印“system pause”或“jvm”等GC相关信息。 然后可以通过下列三种方式确认原因为HDFS性能慢造成告警产生。 使用客户端验证,通过hbase shell进入hbase命令行后,执行list验证需要运行多久。 开启HDFS的debug日志,然后查看下层目录很多的路径(hadoop