检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
= SparkSession.builder.appName("KafkaWordCount").getOrCreate() # 创建表示来自kafka的input lines stream的DataFrame # 安全模式要修改spark/conf/jaas.conf和jaas-zk
{客户端机器IP}:/opt/ 例如: scp patch.tar.gz 127.0.0.1:/opt/ 登录客户端所在节点。 执行以下命令创建补丁目录并解压补丁包: mkdir /opt/{MRS补丁版本号} tar -zxf /opt/patch.tar.gz -C /opt/{MRS补丁版本号}
否 String 参数解释: 数据源类别。 约束限制: 不涉及 取值范围: RDS_POSTGRES:RDS服务PostgreSQL数据库 RDS_MYSQL:RDS服务MySQL数据库 gaussdb-mysql:云数据库GaussDB(for MySQL) 默认取值: 不涉及
调测HBase Phoenix样例程序 HBase支持通过Phoenix调用JDBC接口来访问HBase服务。调测HBase Phoenix样例程序,默认集群已完成HBase对接Phoenix服务,具体对接步骤详情请参考HBase配置Phoenix。 在Windows中运行并调测程序 搭建
list重新尝试连接。若再次出现任何故障,NameNode仍会被添加至blacklist。 图1 NameNode blacklisting状态图 配置描述 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。 表1 NameNode blacklisting的相关参数 参数 描述
告警属性 告警ID 告警级别 是否自动清除 45617 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 作业名 产生告警的作业名称。 数据库名 产生告警的数据库名称。 Slot名 产生告警的数据库复制槽名称。 积压量 Slot数据积压情况。
String 参数解释: 作业ID。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 create_at Long 参数解释: 作业创建时间,十三位时间戳。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 update_at Long 参数解释: 作业更新时间,十三位时间戳。
list重新尝试连接。若再次出现任何故障,NameNode仍会被添加至blacklist。 图1 NameNode blacklisting状态图 配置描述 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。 表1 NameNode blacklisting的相关参数 参数 描述
<null-string> 可选参数,如果没有指定,则字符串null将被使用。 -staging-table <staging-table-name> 创建一个与导入目标表同样数据结构的表,将所有数据先存放在该表中,然后由该表通过一次事务将结果写入到目标表中。 该参数是用来保证在数据导入关系数
告警属性 告警ID 告警级别 是否自动清除 23003 次要 否 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 任务ID 执行失败的Loader任务的ID。 任务名 执行失败的任务名称。
hoodie.index.hbase.zknode.path 仅在索引类型为HBASE时适用,必填选项。这是根znode,它将包含HBase创建及使用的所有znode。 无 hoodie.index.hbase.table 仅在索引类型为HBASE时适用,必填选项。HBase表名称
HMaster等待NameSpace表上线时超时退出 问题 为什么在等待namespace表上线时超时HMaster退出? 回答 在HMaster主备倒换或启动期间,HMaster为先前失败/停用的RegionServer执行WAL splitting及region恢复。 在后台
告警属性 告警ID 告警级别 是否自动清除 12066 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 可能会导致部分需要连接此节点的操作(如重启、同步配
xml”所在目录将生成lib文件夹,其中包含样例项目所依赖的jar包。 准备依赖的Jar包和配置文件。 在Linux环境新建目录,例如“/opt/test”,并创建子目录“lib”。将样例工程依赖的Jar包导出,将1生成的Jar包,以及3生成的Jar包,上传到Linux的“lib”目录。 在“/opt/test”根目录新建脚本“run
告警属性 告警ID 告警级别 是否自动清除 12034 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 任务名 任务名称。 对系统的影响 周期备份任务失败,会导致在备份
xml”所在目录将生成lib文件夹,其中包含样例项目所依赖的jar包。 准备依赖的Jar包和配置文件。 在Linux环境新建目录,例如“/opt/test”,并创建子目录“lib”。将样例工程依赖的Jar包导出,将1生成的Jar包,以及3生成的Jar包,上传到Linux的“lib”目录。 在“/opt/test”根目录新建脚本“run
N目前的开源版本无法代理HTTPS请求,所以无法通过YARN代理访问Flink的原生页面,用户可以在集群的同一个VPC下,创建windows虚拟机,在该虚拟机中访问Flink 原生页面。 表4 参数描述 参数 参数值示例 描述 security.ssl.rest.enabled true
user_name:为待修改有效期的操作系统用户,例如ommdba用户。 建议用户根据实际情况及业务需求进行配置,定期修改用户密码。 修改新创建操作系统用户密码默认有效期。 执行以下命令,编辑文件并修改“PASS_MAX_DAYS”参数值,该参数表示密码的有效时间,单位为“天”。例
SparkSession.builder.appName("SecurityKafkaWordCount").getOrCreate() # 创建表示来自kafka的input lines stream的DataFrame # 安全模式要修改spark/conf/jaas.conf和jaas-zk
考集群内节点使用MRS客户端,MRS集群外客户端的安装操作可参考集群外节点使用MRS客户端。 下载并安装Kafka客户端程序。 代码样例 创建拓扑 public static void main(String[] args) throws Exception { // 设置拓扑配置