检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
hiveShimClass, thriftType); // 添加Hive配置文件 config.addResource("hive-site.xml"); // 添加HBase配置文件 Configuration conf = HBaseConfiguration
ssl证书。 登录集群任意节点,进入如下目录下载ca.crt文件。 cd ${BIGDATA_HOME}/om-agent_8.1.2.2/nodeagent/security/cert/subcert/certFile/ 将ca.crt文件下载到本地,以管理员的身份打开cmd。 输入如下命令:
hiveMetaClass, hiveShimClass); // 添加Hive配置文件 config.addResource("hive-site.xml"); // 添加HBase配置文件 Configuration conf = HBaseConfiguration
ssl证书。 登录集群任意节点,进入如下目录下载ca.crt文件。 cd ${BIGDATA_HOME}/om-agent_8.1.2.2/nodeagent/security/cert/subcert/certFile/ 将ca.crt文件下载到本地,以管理员的身份打开cmd。 输入如下命令:
x的过程中,修改了openssl的文件目录权限,导致LdapServer服务无法正常启动,从而引起登录认证失败。 处理步骤 以root用户登录集群的Master节点。 执行chmod 755 /usr/bin/openssl命令,修改/usr/bin/openssl的文件目录权限为755。 执行su
数据恢复 HDFS文件属性恢复 根据导出的权限信息在目的集群的后台使用HDFS命令对文件的权限及属主/组信息进行恢复。 $HADOOP_HOME/bin/hdfs dfs -chmod <MODE> <path> $HADOOP_HOME/bin/hdfs dfs -chown <OWNER>
HostName 产生告警的主机名。 对系统的影响 无法为基于HDFS服务的HBase和MapReduce等上层部件提供服务。用户无法读写文件。 可能原因 ZooKeeper服务异常。 所有NameService服务异常。 处理步骤 检查ZooKeeper服务状态。 登录MRS集
为什么在往HDFS写数据时报“java.net.SocketException: No buffer space available”异常? 这个问题发生在往HDFS写文件时。查看客户端和DataNode的错误日志。 客户端日志如下: 图1 客户端日志 DataNode日志如下: 2017-07-24 20:43:39
properties、log4j-session.properties文件中对应的日志级别配置项。 通过客户端提交作业时会在客户端log文件夹中生成相应日志文件,由于系统默认umask值是0022,所以日志默认权限为644;如果需要修改文件权限,需要修改umask值;例如修改omm用户umask值:
在“备份内容”中,选择一个或多个需要备份的业务数据。 支持两种方式选择备份数据: 添加备份数据文件 单击“添加”。 在“文件目录”框内选择要备份的表,单击“添加”添加到“备份文件”框内。 单击“确定”添加备份数据文件。 正则表达式筛选 单击“正则表达式输入”。 根据界面提示,在第一个输入框填写目
同步策略,每1000个tuple对文件系统进行一次同步 // HdfsBolt必选参数 SyncPolicy syncPolicy = new CountSyncPolicy(1000); // 文件大小循环策略,当文件大小到达5M时,从头开始写
Text, Text, IntWritable> { /** * map的输入,key为原文件位置偏移量,value为原文件的一行字符数据。 * 其map的输入key,value为文件分割方法InputFormat提供,用户不设置,默认 * 使用TextInputFormat。
File or Project”对话框。 在弹出窗口选择文件夹“hive-rest-client-example”,单击“OK”,Windows下要求该文件夹的完整路径不包含空格。 设置IntelliJ IDEA的文本文件编码格式,解决乱码显示问题。 在IntelliJ IDEA的菜单栏中,选择“File
根据客户端访问“flink.keystore”和“flink.truststore”文件的路径配置。 绝对路径:执行该脚本后,在“flink-conf.yaml”文件中将“flink.keystore”和“flink.truststore”文件的路径自动配置为绝对路径,此时需要将“conf”目录中的“flink
cutor。 原始CSV文件大小的最大值 200GB 17个cluster节点,每个executor 150GB,25个CPU核。Driver内存10 GB,17个Executor。 每个文件夹的CSV文件数 100个文件夹,每个文件夹10个文件,每个文件大小50MB。 3个节点
et目录下即可生成“hetu-examples-XXX.jar”文件。 上传“hetu-examples-XXX.jar”文件到Linux节点“/opt/client”目录下。 参考准备运行环境下载并解压客户端文件“FusionInsight_Cluster_集群ID_ HetuEngine_Client
支持数据复制(带Replicated前缀的表引擎) 支持数据抽样 在写入数据时,该系列引擎表会按照分区键将数据分成不同的文件夹,文件夹内每列数据为不同的独立文件,以及创建数据的序列化索引排序记录文件。该结构使得数据读取时能够减少数据检索时的数据量,极大的提高查询效率。 MergeTree 建表语法:
Loader输入类算子 CSV文件输入 固定宽度文件输入 表输入 HBase输入 HTML输入 Hive输入 Spark输入 父主题: Loader算子帮助
多集群互信场景下,以符合跨域访问的用户身份,使用从其中一个manager系统中获取到的用于Kerberos安全认证的keytab文件和principal文件,以及多个Manager系统各自的客户端配置文件,可实现一次认证登录后访问调用多集群的HBase服务。 以下代码在hbase-example样例工程的“com
MAXCOLUMNS值 在文件Header选项中的列数 考虑的最终值 在加载项中未指定 5 2000 在加载项中未指定 6000 6000 40 7 文件header列数与MAXCOLUMNS值,两者中的最大值 22000 40 20000 60 在加载项中未指定 CSV文件第一行的列数与MAXCOLUMNS值,两者中的最大值