检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
#命令使修改后的配置生效。 处理步骤2 DBservice的浮动IP配置需要同网段内没有被使用过的IP,也就是在配置前ping不通的IP,请修改DBService浮动IP配置。 父主题: 使用Hive
告警全部恢复后,等待几分钟,检查本告警是否恢复。 是,处理完毕。 否,执行2。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。 参考信息 无。 父主题: MRS集群告警处理参考
等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,执行2。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。 参考信息 无。 父主题: MRS集群告警处理参考
告警全部恢复后,等待几分钟,检查本告警是否恢复。 是,处理完毕。 否,执行2。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。 参考信息 无。 父主题: MRS集群告警处理参考
创建FlinkServer集群连接 通过集群连接配置访问不同的集群。 创建FlinkServer集群连接步骤 访问Flink WebUI,请参考访问FlinkServer WebUI界面。 选择“系统管理 > 集群连接管理”,进入集群连接管理页面。 单击“创建集群连接”,在弹出的
操作步骤 使用具有CDL管理操作权限的用户或admin用户(未开启Kerberos认证的集群)登录CDLService WebUI界面,请参考登录CDLService WebUI界面。 选择“驱动管理 > 上传驱动”,在弹出的窗口选择本地已准备的数据库驱动文件,单击“打开”,等待驱动上传完成。
获取登录“Loader WebUI”的账户和密码。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader
表中的列名称。支持多列。列名称应由字母数字字符和下划线(_)特殊字符组成。 table_blocksize 数据文件的block大小。更多详细信息,请参考•Block大小。 注意事项 db_name为可选项。 示例 create table productdb.productSalesTable(id
该任务指导用户通过Hue界面提交定时调度类型的作业。 前提条件 提交Coordinator任务之前需要提前配置好相关的workflow作业。 操作步骤 访问Hue WebUI,请参考访问Hue WebUI界面。 在界面左侧导航栏单击,选择“计划”,打开Coordinator编辑器。 在作业编辑界面中单击“My Schedule”修改作业的名称。
前提条件 在Manager界面创建用户并添加hadoop和hive用户组,主组加入hadoop。 操作步骤 下载并安装Hudi客户端,具体请参考安装MRS客户端章节。 目前Hudi集成在Spark中,用户从Manager页面下载Spark客户端即可,例如客户端安装目录为:“/opt/client”。
代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME”
代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME”
代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。
代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。
代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。
DWS集群已创建,已获取到相关表所在的数据库用户名和密码。 已安装MRS客户端,例如安装目录为“/opt/client”。以下操作的客户端目录只是举例,请根据实际安装目录修改。在使用客户端前,需要先下载并更新客户端配置文件,确认Manager的主管理节点后才能使用客户端。 DWS服务数据导入到ClickHouse
开启binlog,在MySQL中打开my.cnf文件,在[mysqld] 区块检查是否配置server_id,log-bin与binlog_format,若没有配置请执行如下命令添加配置项并重启MySQL,若已经配置则忽略此步骤。 $ vi my.cnf [mysqld] server_id=1 log-bin=master
表中的列名称。支持多列。列名称应由字母数字字符和下划线(_)特殊字符组成。 table_blocksize 数据文件的block大小。更多详细信息,请参考•Block大小。 注意事项 db_name为可选项。 示例 create table productdb.productSalesTable(id
WebUI使用作业浏览器 操作场景 用户需要使用图形化界面查看集群中所有作业时,可以通过Hue完成任务。 访问作业浏览器 访问Hue WebUI,请参考访问Hue WebUI界面。 单击作业。 默认显示当前集群的所有作业。 作业浏览器显示的数字表示集群中所有作业的总数。 “作业浏览器”将显示作业以下信息:
单击“添加角色”,然后在“角色名称”和“描述”输入角色名字与描述。 在“配置资源权限”中,选择“待操作集群的名称 > Kafka”。 根据业务需求选择权限,具体配置项,请参见表1 表1 配置项说明 任务场景 角色授权操作 设置Kafka管理员权限 在“配置资源权限”的表格中选择“待操作集群的名称 > Kafka