检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
INFO DEBUG HANDLER_LOGFILE_MAXBACKUPINDEX Hue日志文件最大个数。 20 1~999 HANDLER_LOGFILE_SIZE Hue日志文件最大大小。 5MB - Hue自定义参数请参见表2。以下自定义参数仅MRS 3.1.2及之后版本适用。
在“登录方式”选择“密码”或“SSH私钥”。 密码:输入创建集群时设置的root用户密码。 SSH私钥:选择并上传创建集群时使用的密钥文件。 单击“确定”开始生成客户端文件。 等待界面提示文件下载成功,到待安装客户端节点的指定路径中获取客户端软件包。 如果客户端下载失败,请检查用户名密码及远端主机的安全
MemTable太多,伴随有“ALM-45643 RocksDB的MemTable大小持续超过阈值”的告警。 Level0层SST文件数太多,伴随有“ALM-45644 RocksDB的Level0层SST文件数持续超过阈值”的告警。 预估Compaction的大小超过阈值,伴随有“ALM-45647 RocksDB的Pending
使用安装客户端的用户登录客户端所在节点,具体操作请参见使用客户端运行Loader作业。 执行以下命令,进入“backup.properties”文件所在目录。例如,Loader客户端安装目录为 “/opt/client/Loader/”。 cd /opt/client/Loader/loader-tools-1
config/consumer.properties Windows客户端代码使用SSL功能 下载Kafka客户端,解压后在根目录中找到ca.crt证书文件。 使用ca.crt证书生成客户端的truststore。 在安装了Java的环境下执行命令: keytool -noprompt -import
协处理器 允许用户执行region级的操作,并且可以使用与RDBMS中触发器类似的功能。 keytab文件 存放用户信息的密钥文件。在安全模式下,应用程序采用此密钥文件进行API方式认证。 Client 客户端直接面向用户,可通过Java API、HBase Shell或者Web
作业是通过Yarn任务分发到分析节点执行。 检查Sqoop实例安装目录下是否放置数据库驱动jar包,并保证jar包路径正确,文件权限及属主属组正确;配置文件正确配置;保证这些后需要重启Sqoop实例后才可以正常加载驱动。 MRS 3.X集群驱动路径为:/opt/Bigdata/F
Server会回收最先缓存的Spark应用,同时会清理掉相应的“temp_shuffle”文件。 当用户正在查看即将被回收的Spark应用时,可能会出现找不到“temp_shuffle”文件的错误,从而导致当前页面无法访问。 处理步骤 如果遇到上述问题,可参考以下两种方法解决。
config/consumer.properties Windows客户端代码使用SSL功能 下载Kafka客户端,解压后在根目录中找到ca.crt证书文件。 使用ca.crt证书生成客户端的truststore。 在安装了Java的环境下执行命令: keytool -noprompt -import
请参见配置Container日志聚合功能。 然而,开启container日志聚合功能之后,其日志聚合至HDFS目录中,只能通过获取HDFS文件来查看日志。开源Spark和Yarn服务不支持通过WebUI查看聚合后的日志。 因此,Spark在此基础上进行了功能增强。如图1所示,在H
} [1]userdir获取的是编译后资源目录的路径。将初始化需要的配置文件“core-site.xml”、“hdfs-site.xml”、“hbase-site.xml”和用于安全认证的用户凭证文件放置到“src/main/resources”的目录下。 “login”方法中的参数“java
Serdes.Long())); } // 用户自己申请的机机账号keytab文件名称 private static final String USER_KEYTAB_FILE = "请修改为真实keytab文件名"; // 用户自己申请的机机账号名称 private static final
户还可以将上述数据直接写成本地(或位于HDFS上)的TsFile文件。 用户可以将TsFile文件写入到HDFS上,进而满足Hadoop、Flink等数据处理任务的访问。 对于写入到HDFS或者本地的TsFile文件,可以利用TsFile-Hadoop或TsFile-Flink连
会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数可以在Manager界面中配置。 表1 Flume日志列表 日志类型 日志文件名 描述 运行日志 /flume/flumeServer
使用安装客户端的用户登录客户端所在节点,具体操作请参见使用命令行运行Loader作业。 执行以下命令,进入“backup.properties”文件所在目录。例如,Loader客户端安装目录为 “/opt/client/Loader/”。 cd /opt/client/Loader/loader-tools-1
根据表1数据创建文件。如,文件名为txt.log,以空格拆分字段,以换行符作为行分隔符。 上传文件至hdfs。 hdfs dfs -put txt.log /tmp 加载数据到表中。 load data inpath '/tmp/txt.log' into table user_info
服务”,单击服务视图中待操作的服务名称。 选择“实例”页签,单击待操作的实例。 选择“实例配置”,单击“导出”,导出配置参数文件到本地。 在实例配置页面单击“导入”,在弹出的配置文件选择框中定位到实例的配置参数文件,即可导入所有配置。 MRS 2.x及之前版本集群: 登录MRS Manager页面。 单击“服务管理”。
特征 默认值 描述 Language clause - 定义函数的语言。目前支持JAVA语言。 JAVA函数:需要提供函数实现的JAR文件,并将JAR文件放入HetuEngine可以读取的HDFS中。 Deterministic characteristic NOT DETERMINISTIC
在外部节点上确保连接SSH时使用的用户存在,且该用户“~/.ssh”目录存在。 使用omm用户登录Oozie所在节点,查看“~/.ssh/id_rsa.pub”文件是否存在。 是,执行3。 否,执行以下命令生成公私钥: ssh-keygen -t rsa 以omm用户登录oozie实例所在节点,执行以下命令配置互信:
cleared successfully. 查看/var/log/Bigdata/dbservice/scriptlog/backup.log文件,发现日志停止打印,并没有备份相关信息。 查看主OMS节点 /var/log/Bigdata/controller/backupplugin