检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
name>.log ranger-plugin-audit.log Yarn操作审计日志。 SecurityAuth.audit Yarn安全审计日志。 日志级别 Yarn中提供了如表2所示的日志级别。其中日志级别优先级从高到低分别是OFF、FATAL、ERROR、WARN、IN
执行以下命令,切换到客户端安装目录。 cd 客户端安装路径 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 将指定版本的MapReduce tar包存放至H
实例启停前的环境信息日志。 审计日志 mapred-audit-jobhistory.log MR操作审计日志。 SecurityAuth.audit MR安全审计日志。 日志级别 MapReduce中提供了如表2所示的日志级别。其中日志级别优先级从高到低分别是FATAL、ERROR、WARN、I
设置登录集群管理页面及ECS节点用户的密码。 - 确认密码 再次输入设置用户密码。 - 企业项目 选择集群所属的企业项目。 default 通信安全授权 勾选确认授权。 勾选 图1 购买ClickHouse集群 单击“立即购买”,进入任务提交成功页面。 单击“返回集群列表”,在“现有集群”列表中可以查看到集群创建的状态。
参考信息 节点互信异常处理方法如下: 本操作需使用omm用户执行。 如果节点间网络不通,请先解决网络不通的问题,可以检查两个节点是否在同一个安全组,是否有设置hosts.deny、hosts.allow 等。 在两端节点执行ssh-add -l 确认是否有identities信息。
user:RDS服务MySQL数据库用户名。 password:RDS服务MySQL数据库用户密码,命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 MySQL引擎使用示例: 连接到RDS服务的MySQL数据库。
执行以下命令,切换到客户端安装目录。 cd 客户端安装路径 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 将指定版本的MapReduce tar包存放至H
--username 连接MySQL数据库的用户名。 -password 连接MySQL数据库的用户密码。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 -table <table-name> MySQL中用于存放导出数据的表名称。
弹性云服务器客户端安装目录需要分配足够的磁盘空间,至少40GB。 弹性云服务器需要与MRS集群在同一个VPC网络及安全组中。 MRS集群安全组入方向将所有端口对客户端节点放开,具体操作请参考添加安全组规则。 弹性云服务器操作系统已安装NTP服务,且NTP服务运行正常。 若未安装,在配置了yum源的情况下,可执行yum
应用。 前提条件 如果需要从远端HDFS恢复数据,需要准备备集群,且已完成数据备份,详细操作请参见备份IoTDB业务数据。如果主集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置系统互信,请参见配置MRS集群间互信。如果主集群部署为普通模式,则不需要配置互信。
yarn-client)模式。开源支持spark standalone模式提交,但不推荐使用,该模式资源使用率低,并且使用HTTP,可能存在安全风险。 (可选)在bin目录下调用spark-sql或spark-beeline脚本后便可直接输入SQL语句执行查询等操作。 如创建一个表,插入一条数据再对表进行查询。
name>.log ranger-plugin-audit.log Yarn操作审计日志。 SecurityAuth.audit Yarn安全审计日志。 日志级别 Yarn中提供了如表2所示的日志级别。其中日志级别优先级从高到低分别是OFF、FATAL、ERROR、WARN、IN
建表时指定Location为OBS路径 使用安装客户端用户登录客户端安装节点。 执行如下命令初始化环境变量。 source 客户端安装目录/bigdata_env 如果是安全集群,执行以下命令进行用户认证(该用户需要具有Hive操作的权限),如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit
drop table user_info; 外部分区表的操作: 创建外部分区表并导入数据 创建外部表数据存储路径。 kinit hive (安全模式需要执行kinit,普通模式无需执行) 用户hive需要具有Hive管理员权限。 hdfs dfs -mkdir /hive hdfs
如“/opt/client”。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinitHetuEngine用户 根据回显提示输入密码。 执行如下命令创
红色图标:实例故障。 灰色图标:实例已停止、待启动。 蓝色图标:实例处于其他状态,包括扩容中、缩容中、滚动重启中、创建中、启动中、安全启动中、停止中、安全停机中、删除中、已删除、停止中等。 父主题: 使用HetuEngine
application-arguments:提交Spark应用的所需要的参数(可以为空)。 Spark JobHistory Server 用于监控正在运行的或者历史的Spark作业在Spark框架各个阶段的细节以及提供日志显示,帮助用户更细粒度地开发、配置和调优作业。 Spark SQL常用概念
指停止云服务版本的部署,现网中不再部署该云服务版本。 停止全面支持(EOFS) 指定云服务版本停止普通软件BUG修复工作,仅执行致命问题修复、安全类问题修复以及升级等操作。 停止服务(EOS) 指停止云服务版本的使用,现网版本需要升级到新的云服务版本。 MRS新版本发布后,EOM时间
以客户端安装用户,登录客户端的节点,执行如下命令: cd {客户端安装路径} source bigdata_env 集群已启用Kerberos认证(安全模式): kinit 组件业务用户 clickhouse client --host 上报告警的ClickHouseServer实例IP --port
恢复Flink元数据需要先停止Flink服务。 如果需要从远端HDFS恢复数据,需要准备备集群,且已完成数据备份,详细操作请参见备份Flink元数据。如果主集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置系统互信,请参见配置MRS集群间互信。如果主集群部署为普通模式,则不需要配置互信。