检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DATE_FORMAT(log_ts, 'HH') FROM kafka_table; Kafka端口号: 集群的“认证模式”为“安全模式”时为“sasl.port”的值,默认为“21007”。 集群的“认证模式”为“普通模式”时为“port”的值,默认为“9092”。如果配置端口号为9092,则需要配置“allow
FS复制空文件夹到OBS。 hadoop distcp -Dfs.obs.endpoint=xxx -Dfs.obs.access.key=xxx -Dfs.obs.secret.key=xxx -update hdfs://hacluster/blee obs://xxx/aaa
至少添加2个TokenSever(TS)实例。 例如,配置如下图所示,不同版本集群可能存在差异,具体界面显示以实际为准。 Kerberos认证 开启 委托 勾选“高级配置”后的“现在配置”,“委托”选择“现有委托”,并选择创建对接ECS/BMS云服务委托创建的委托。 例如,配置如
典型场景:从HDFS/OBS导入数据到HBase 操作场景 该任务指导用户使用Loader将文件从HDFS/OBS导入到HBase。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 确保用户已授权
阈值设置 > meta > OBS的write接口调用失败总数”,将阈值或平滑次数参数的值根据实际情况调大。 观察界面告警是否清除。 是,处理完毕。 否,执行3。 联系OBS运维人员查看OBS服务是否正常。 是,执行4。 否,联系OBS服务运维人员修复OBS服务。 收集故障信息。 登录FusionInsight
t_Cluster_1_Services_ClientConfig ./install.sh /opt/hadoopclient 配置安全认证及加密。可参考“组件操作指南”的“从零开始使用Flink”。 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\spring
t_Cluster_1_Services_ClientConfig ./install.sh /opt/hadoopclient 配置安全认证及加密。可参考“组件操作指南”的“从零开始使用Flink”。 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\spring
默认为“22260”。 (可选)根据需求可添加自定义配置。 单击“确定”。 登录集群客户端所在节点,执行以下命令,切换到客户端安装目录并认证用户。 cd /opt/client source bigdata_env kinit HetuEngine组件操作用户 (普通模式集群跳过)
- omm切换到omm用户。执行cd命令进入客户端安装目录,然后执行source bigdata_env。如果集群采用安全版本,要进行安全认证。执行kinit hdfs命令,按提示输入密码。向MRS集群管理员获取密码。 执行以下命令,均衡数据分布: hdfs balancer -threshold
r节点。 进入客户端安装目录,设置环境变量。 cd 客户端安装目录 source bigdata_env 如果集群采用安全版本,要进行安全认证。执行kinit hbase命令,按提示输入密码(向MRS集群管理员获取密码)。 执行以下命令查看目前负载均衡功能是否打开。 hbase shell
束任务的Web UI,可以通过Spark2x JobHistory服务或者REST接口访问。 本章节仅支持安全模式(开启了Kerberos认证)集群。 运行中任务Web UI ACL配置。 运行中的任务,可通过服务端对如下参数进行配置。 “spark.admin.acls”:指定Web
root@客户端节点IP地址:/opt/client/conf 表2 配置文件 文件名称 作用 user.keytab 对于Kerberos安全认证提供用户信息。 krb5.conf Kerberos Server配置信息。 检查客户端节点网络连接。 在安装客户端过程中,系统会自动配置
bigdata_env source Spark/component_env 安全模式执行以下命令,普通模式无需执行: kinit test,输入密码完成认证(首次登录需要修改密码) 使用Spark的beeline命令提交任务,创建Spark表: spark-beeline create table
自定义,请咨询系统管理员。执行cd命令进入客户端安装目录,然后执行source bigdata_env。 如果集群采用安全版本,要进行安全认证。 执行kinit hdfs命令,按提示输入密码。向MRS集群管理员获取密码。 执行hdfs dfs -rm -r 文件或目录路径命令,确认删除无用的文件。
切换到客户端安装目录。 例如:cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 执行以下命令进行用户认证。(普通模式跳过此步骤) kinit 组件业务用户 执行以下命令登录客户端工具。 zkCli.sh -server ZooKeeper角色实例所在节点业务IP:
使用omm用户执行gsql -p 20051 -U omm -W password -d hivemeta登录Hive元数据库。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 执行select * from pg_locks;没有发现锁等待。
JDBC驱动程序。 ODBC驱动程序。 Hue beeswax和Impala查询UI。 Impala-shell命令行接口。 支持Kerberos身份认证。 Impala主要应用于实时查询数据的离线分析(如日志分析,集群状态分析)、大规模的数据挖掘(用户行为分析,兴趣分区,区域展示)等场景。
”、“备份恢复”、“集群”、“采集日志”、“主机”、“服务”、“多租户”和“用户管理”九种场景,其中“用户管理”仅在启用了Kerberos认证的集群中支持。每个场景中包含不同操作类型,例如“告警”中包含“导出告警”,“集群”中包含“启动集群”,“多租户”包含“增加租户”等。 “安
切换到客户端安装目录。 例如:cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 执行以下命令进行用户认证。(普通模式跳过此步骤) kinit 组件业务用户 执行以下命令登录客户端工具。 zkCli.sh -server ZooKeeper角色实例所在节点业务IP:
自定义,请咨询系统管理员。执行cd命令进入客户端安装目录,然后执行source bigdata_env。 如果集群采用安全版本,要进行安全认证。 执行kinit hdfs命令,按提示输入密码。向MRS集群管理员获取密码。 执行hdfs dfs -rm -r 文件或目录路径命令,确认删除无用的文件。