检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS集群产生“ALM-12054 证书文件失效”或“ALM-12055 证书文件即将过期”告警,且告警详情中触发告警的证书为OBS证书。 图1 OBS证书即将过期告警 图2 OBS证书失效告警 原因分析 OBS系统生成的证书有有效期限制,到达有效期后,证书文件失效,因此产生告警。 处理步骤
关配置文件,并将配置文件导入到样例工程的配置文件目录中(通常为“conf”文件夹)。 在应用开发过程中,如需在本地Windows系统中调测应用程序,需要复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中,确保本地机器能与解压目录下“hosts”文件中所列出的各主机在网络上互通。
root@客户端节点IP地址:/opt/client/conf 准备MRS应用开发用户时获取的keytab文件也需放置于该目录下,主要配置文件说明如表2所示。 表2 配置文件 文件名称 作用 core-site.xml 配置HDFS详细参数。 hdfs-site.xml 配置HDFS详细参数。
加载CarbonData表数据 操作场景 CarbonData table创建成功后,可使用LOAD DATA命令在表中加载数据,并可供查询。 触发数据加载后,数据以CarbonData格式进行编码,并将多维列式存储格式文件压缩后复制到存储CarbonData文件的HDFS路径下供快速分析查询使用。
访问Hue原生页面时间长,文件浏览器报错Read timed out 问题 访问Hue原生页面时页面加载时间较长,访问Hue的HDFS文件浏览器报错Read timed out,如何解决。 回答 检查HDFS服务中是否安装Httpfs实例。 否,请联系运维人员处理。 是,重启HttpFS实例解决。
动将配置文件导入到HDFS样例工程的配置文件目录中(通常为“conf”文件夹)。 在应用开发过程中,如需在本地Windows系统中调测应用程序,需要复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中,确保本地机器能与解压目录下“hosts”文件中所列出的各主机在网络上互通。
root@客户端节点IP地址:/opt/Bigdata/client/conf 准备MRS应用开发用户时获取的keytab文件也需放置于该目录下,主要配置文件说明如表2所示。 表2 配置文件 文件名称 作用 core-site.xml 配置HDFS详细参数。 hdfs-site.xml 配置HDFS详细参数。
输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。 输出字段名:配置输出字段名。 小写/大写:指定进行大写转换或小写转换。 map 是 无 数据处理规则 对字符串值做大小写转换。 传入数据为NULL值,不做转换处理。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下: abcd,product
输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。 输出字段名:配置输出字段名。 小写/大写:指定进行大写转换或小写转换。 map 是 无 数据处理规则 对字符串值做大小写转换。 传入数据为NULL值,不做转换处理。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下: abcd,product
关配置文件,并将配置文件导入到样例工程的配置文件目录中(通常为“conf”文件夹)。 在应用开发过程中,如需在本地Windows系统中调测应用程序,需要复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中,确保本地机器能与解压目录下“hosts”文件中所列出的各主机在网络上互通。
关配置文件,并将配置文件导入到样例工程的配置文件目录中(通常为“conf”文件夹)。 在应用开发过程中,如需在本地Windows系统中调测应用程序,需要复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中,确保本地机器能与解压目录下“hosts”文件中所列出的各主机在网络上互通。
添加GAUSSDB数据源前提条件 数据源所在集群与HetuEngine集群节点网络互通。 在HetuEngine所在集群的所有节点的“/etc/hosts”文件中,添加待对接数据源所在集群的主机名称和对应的IP映射,及其“/etc/hosts”文件中的“10.10.10.10 hadoop.系统域名”(如“10
g”,获取HBase相关配置文件,用于导入到HBase样例工程的配置文件目录中(通常为“conf”文件夹)。 在应用开发过程中,如需在本地Windows系统中调测应用程序,需要复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中,确保本地机器能与解压目录下
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。
导入DWS表数据至ClickHouse ClickHouse支持CSV、JSON等格式文件的数据导入导出操作。本章节主要介绍怎么把DWS数据仓库服务中的表数据导出到CSV文件,再把CSV文件数据导入到ClickHouse表中。 前提条件 ClickHouse集群和实例状态正常。
ase相关配置文件,用于导入到HBase样例工程的配置文件目录中(通常为“conf”文件夹)。 准备MRS应用开发用户时获取的keytab认证文件也放置于该目录下。 在应用开发过程中,如需在本地Windows系统中调测应用程序,需要复制解压目录下的“hosts”文件中的内容到客户
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。
per文件目录权限不足? 问题 创建一个新的Flink用户,提交任务,ZooKeeper目录无权限导致提交Flink任务失败,日志中报如下错误: NoAuth for /flink/application_1499222480199_0013 回答 由于在Flink配置文件中“high-availability
导入DWS表数据至ClickHouse ClickHouse支持CSV、JSON等格式文件的数据导入导出操作。本章节主要介绍怎么把DWS数据仓库服务中的表数据导出到CSV文件,再把CSV文件数据导入到ClickHouse表中。 前提条件 ClickHouse集群和实例状态正常。
index:表示创建索引的表名称。 indexspecs.to.add:表示索引名对应表的列的映射关系。 scan.caching(可选):包含一个整数值,表示在扫描数据表时将传递给扫描器的缓存行数。 上述命令中的参数描述如下: idx_1:表示索引名称 cf_0:表示列族名称 q_0:表示列名称