检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
UI的管理员列表和管理员组列表,由客户端的“spark.ui.view.acls”和“spark.modify.acls.groups”配置指定查看Web UI任务明细的访问者列表和组列表,由客户端的“spark.modify.acls”和“spark.ui.view.acls.groups”配置指定修改Web
of -i|grep $port。($port为上一步获取端口号) 获取进程号成功。 是,执行10。 否,执行15。 根据获取到的进程号,查看进程是否存在连接泄露。 是,执行11。 否,执行12。 将存在连接泄露的进程关掉,观察界面上告警是否消除。 是,处理完毕。 否,执行12。
不可以为常见的易破解密码,例如Admin@12345。 不可与最近N次使用过的密码相同,N为密码策略配置中“重复使用规则”的值。此策略只影响“人机”用户。 执行如下命令,可以查看用户的信息。 getprinc 系统内部用户名 例如:getprinc hdfs 确认修改密码的用户,用户类型是哪种? 用户类型为“机机”用户,执行7。
fault_cluster, system.replication_queue) group by node,type; 如果存在积压,请查看副本队列中的任务是否报错,并根据报错信息处理。 执行如下SQL排查是否存在节点间表结构不一致。 select FQDN(), create_table_query
在“作业管理”的作业列表中,找到创建的作业名称,单击操作列的“启动”,等待作业启动。 观察数据传输是否生效,例如在Hudi中对表进行插入数据操作,查看DWS导入的文件内容。 父主题: 创建CDL作业
dfs -mkdir 文件夹名称 创建文件夹 hdfs dfs -mkdir /tmp/mydir hdfs dfs -ls 文件夹名称 查看文件夹 hdfs dfs -ls /tmp hdfs dfs -put 客户端节点上本地文件 HDFS指定路径 上传本地文件到HDFS指定路径
HBase不支持此参数,请配置“Map数”。 - 单击“保存并运行”,开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 创建Loader数据导入作业
bigdata.mrs.test 确认作业配置信息,单击“确定”,完成作业的新增。 作业提交成功中,可在作业列表中查看作业运行状态及执行结果,等待作业状态变为“已完成”,可查看相关程序分析结果。 通过集群客户端提交作业 安装MRS集群客户端,具体操作可参考安装MRS集群客户端。 MRS
HBase不支持此参数,请配置“Map数”。 - 单击“保存并运行”,开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 数据导入
dfs -mkdir 文件夹名称 创建文件夹 hdfs dfs -mkdir /tmp/mydir hdfs dfs -ls 文件夹名称 查看文件夹 hdfs dfs -ls /tmp hdfs dfs -put 客户端节点上本地文件 HDFS指定路径 上传本地文件到HDFS指定路径
scala:60) at kafka.admin.TopicCommand.main(TopicCommand.scala) 通过Manager查看Kafka服务是否处于正常状态。 检查客户端命令中ZooKeeper地址是否正确,访问ZooKeeper上所存放的Kafka信息,其路径(
e客户端安装用户身份保存,例如root用户。 查看任一部署Flume角色节点的“业务IP”。 登录FusionInsight Manager页面,具体请参见访问集群Manager,选择“集群 > 服务 > Flume > 实例”。查看任一部署Flume角色节点的“业务IP”。 如
Zone”。单击“Save”保存。如需添加多条策略有效期,可单击按钮添加。如需删除策略有效期,可单击按钮删除。 单击“Add”,在策略列表可查看策略的基本信息。等待策略生效后,验证相关权限是否正常。 如需禁用某条策略,可单击按钮编辑策略,设置策略开关为“Disabled”。 如果不再使用策略,可单击按钮删除策略。
the file system”。 图4 进入HDFS WebUI 观察HDFS上“/flume/test”目录下是否有产生数据。 图5 查看HDFS目录和文件 父主题: 配置Flume非加密传输数据采集任务
用户输入带有敏感信息(如登录密码)的参数时,可通过在参数名前添加“@”的方式为该参数值加密,以防止敏感信息被明文形式持久化。 在MRS管理控制台查看作业信息时,敏感信息会显示为“*”。 例如:username=testuser @password=用户密码 - 服务配置参数 可选参数,用于为本次执行的作业修改服务配置参数。
Zone”。单击“Save”保存。如需添加多条策略有效期,可单击按钮添加。如需删除策略有效期,可单击按钮删除。 单击“Add”,在策略列表可查看策略的基本信息。等待策略生效后,验证相关权限是否正常。 如需禁用某条策略,可单击按钮编辑策略,设置策略开关为“Disabled”。 如果不再使用策略,可单击按钮删除策略。
jar文件后,服务器默认保留5分钟,5分钟内单击确定则完成UDF创建,超时后单击确定则创建UDF失败并弹出错误提示:本地UDF文件路径有误。 在UDF列表中,可查看当前应用内所有的UDF信息。可在对应UDF信息的“操作”列编辑或删除UDF信息(只能删除未被使用的UDF项)。 (可选)如果需要立即运行或
在“作业管理”的作业列表中,找到创建的作业名称,单击操作列的“启动”,等待作业启动。 观察数据传输是否生效,例如在opengauss数据库中对表进行插入数据操作,查看Hudi导入的文件内容。 父主题: 创建CDL作业
仅适用于Spark 、Hive 、Flink服务。 操作步骤 登录Manager页面,选择“集群 > 服务 > JobGateway > 实例”,查看所有JobServer实例节点IP。 获取部署了JobServer的节点中,IP最小的节点(以下简称“最小IP节点”)。若最小IP节点更新服务客户端失败,执行3,
0-SNAPSHOT.jar com.huawei.bigdata.HCatalogExample -libjars $LIB_JARS t1 t2 运行结果查看,运行后t2表数据如下所示: 0: jdbc:hive2://192.168.1.18:2181,192.168.1.> select *