检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/opt/client source bigdata_env 执行以下命令进行用户认证。(普通模式跳过此步骤) kinit 组件业务用户 执行以下命令登录客户端工具。 zkCli.sh -server <任一ZooKeeper实例所在节点业务IP>:<clientPort> 执行以下命令删除无用数据。
接收Kafka中数据,生成相应DataStreamReader。 进行分类统计。 计算结果,并进行打印。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt” )下。 运行任务 在运行样例程序时需要指定
Manager操作 修改OMS密码 该操作会重启OMS各进程,影响集群的管理维护。 修改前确认操作的必要性,修改时确保同一时间无其它管理维护操作。 导入证书 该操作会重启OMS进程和整个集群,影响集群的管理维护和业务。 修改前确认操作的必要性,修改时确保同一时间无其它管理维护操作。 恢复OMS
计算结果。 优点:不需要有大的状态后端存储,整体计算资源压力要小于基于状态后端的方案。 缺点:需要依赖于数据格式,常见的方式通过CDC采集工具,将数据采集到Kafka,然后Flink读Kafka数据进行计算。 通过changelog数据解决 changelog与CDC格式的数据类
ibm.jsse2.overrideDefaultTLS”为“true”,设置后可以同时支持TLS V1.0/V1.1/V1.2,详情参见https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8.0.0/com.ibm.java.security
ibm.jsse2.overrideDefaultTLS”为“true”,设置后可以同时支持TLS V1.0/V1.1/V1.2,详情参见https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8.0.0/com.ibm.java.security
ibm.jsse2.overrideDefaultTLS”为“true”,设置后可以同时支持TLS V1.0/V1.1/V1.2,详情参见https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8.0.0/com.ibm.java.security
ibm.jsse2.overrideDefaultTLS”为“true”,设置后可以同时支持TLS V1.0/V1.1/V1.2,详情参见https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8.0.0/com.ibm.java.security
”,执行下列命令初始化环境变量。 source bigdata_env Linux中编译并运行程序 进入Linux客户端目录,运行如下命令导入公共环境变量。 cd /opt/client source bigdata_env 在该目录下用hdfs用户进行命令行认证。 kinit hdfs
SparkSubmit:SparkPython类型的作业在查询时作业类型请选择SparkSubmit。 HiveScript HiveSql DistCp,导入、导出数据。 SparkScript SparkSql Flink 默认取值: 不涉及 job_state 否 String 参数解释: 作业运行状态。
包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认Storm和HBase组件已经安装,并正常运行。 将storm-examples导入到IntelliJ IDEA开发环境,请参见准备Storm应用开发环境。 下载并安装HBase客户端。 获取相关配置文件。获取方法如下:
部件类型 产生告警的元素类型。 部件名 产生告警的元素名称。 对系统的影响 Flume Channel的磁盘空间使用量有继续增长的趋势,将会使数据导入到指定目的地的时间增长,当Flume Channel的磁盘空间使用量达到100%时会导致Flume Agent进程暂停工作。 可能原因 Flume
源连接名称:选择迁移源端集群的HDFS连接,作业运行时将从此端复制导出数据。 目的连接名称:选择迁移目的端集群的HDFS连接,作业运行时会将数据导入此端。 请参见配置HDFS源端参数配置源端连接的作业参数,需要迁移的文件夹可通过“目录过滤器”和“文件过滤器”参数设置符合规则的目录和文件进行迁移。
准备运行环境 在节点上安装客户端,例如安装到“/opt/client”目录。 Linux中编译并运行程序 进入Linux客户端目录,运行如下命令导入公共环境变量: cd/opt/client sourcebigdata_env 在该目录下用hdfs用户进行命令行认证,用户密码请咨询集群管理员。
Linux中编译并运行程序 进入Linux客户端目录,运行如下命令导入公共环境变量: cd/opt/client sourcebigdata_env 进入“/opt/client/HDFS/hadoop/hdfs-c-example”目录下,运行如下命令导入C客户端环境变量。 cd/opt/clien
确认Storm组件已经安装,并正常运行。如果业务需要连接其他组件,请同时安装该组件并运行。 将storm-examples导入到IntelliJ IDEA开发环境,请参见导入并配置Storm样例工程。 参考storm-examples工程src/main/resources/flux-e
Linux中编译并运行程序 进入Linux客户端目录,运行如下命令导入公共环境变量: cd/opt/client sourcebigdata_env 进入“/opt/client/HDFS/hadoop/hdfs-c-example”目录下,运行如下命令导入C客户端环境变量。 cd/opt/clien
关闭SQL加密存储可能会存在密码泄漏风险,建议保持默认开启SQL加密存储。如果要关闭,可参考如下操作: (可选)备份已存在的作业,然后删除所有作业。作业备份和导入可参考导入导出FlinkServer作业信息。 修改“ENABLE_DB_ENCRYPT”的值为“false”。 登录FlinkServer主备
ibm.jsse2.overrideDefaultTLS”为“true”,设置后可以同时支持TLS V1.0/V1.1/V1.2,详情参见https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8.0.0/com.ibm.java.security
son -d '{"plainText":"<password>"}' 'https://x.x.x.x:28443/web/api/v2/tools/encrypt';其中<password>要与签发证书时使用的密码一致,x.x.x.x为集群Manager的浮动IP。 命令中如