检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
一组指标值的给定任务。 /jobs/<jobid>/vertices/<vertexid>/subtasks/accumulators 获取流图顶点的所有子任务的所有用户定义的累加器。 这些是通过请求“/ jobs / <jobid> / vertices / <vertexid>
一组指标值的给定任务。 /jobs/<jobid>/vertices/<vertexid>/subtasks/accumulators 获取流图顶点的所有子任务的所有用户定义的累加器。 这些是通过请求“/ jobs / <jobid> / vertices / <vertexid>
source bigdata_env 如果集群采用安全版本,要进行安全认证。执行kinit hbase命令,按提示输入密码(向MRS集群管理员获取密码)。 执行以下命令进入hbase shell,查看目前负载均衡功能是否打开: hbase shell balancer_enabled
(仅MRS 3.3.0及之后版本支持)。 在“hbase-dual.xml”中新增主备集群配置 参考准备HBase应用开发和运行环境章节,获取HBase主集群客户端配置文件“core-site.xml”、“hbase-site.xml”、“hdfs-site.xml”,并将其放置
中的数据备份到另一个集群,支持HBase表普通写数据与Bulkload批量写数据场景下的容灾。 前提条件 主备集群都已经安装并启动成功,且获取集群的管理员权限。 必须保证主备集群间的网络畅通和端口的使用。 如果主集群部署为安全模式且不由一个FusionInsight Manage
sys 0m0.696s 第一次读取数据后会将数据放在内存中,Alluxio再次读取时可以提高访问该数据的速度。例如:在通过cat命令获取文件后,用ls命令再查看文件的状态。 alluxio fs ls /mnt/obs/test_data.csv 294520189
hdfs-clean-acls-java.log HDFS清除已删除角色的ACL信息的日志。 hdfs-haCheck.log NameNode主备状态获取脚本运行日志。 <process_name>-jvmpause.log 进程运行中,记录JVM停顿的日志。 hadoop-<SSH_USE
一组指标值的给定任务。 /jobs/<jobid>/vertices/<vertexid>/subtasks/accumulators 获取流图顶点的所有子任务的所有用户定义的累加器。 这些是通过请求“/ jobs / <jobid> / vertices / <vertexid>
(state=42000,code=40000) 设置Hive动态分区表精准拦截 针对涉及动态分区的自读自写场景,由于动态分区在编译阶段获取不到输出的分区信息,无法判断是否存在自读自写场景,为了实现拦截功能,提供了nonstrict和strict两种拦截模式供用户选择。其中:
FE的查询连接端口,可以通过登录Manager,单击“集群 > 服务 > Doris > 配置”,查询Doris服务的“query_port”参数获取。 Doris FE实例IP地址可通过登录MRS集群的Manager界面,单击“集群 > 服务 > Doris > 实例”,查看任一FE实例的IP地址。
Manager,选择“集群 > 服务 > ZooKeeper”,在“配置”页签查看“clientPort”的值。默认为24002。 从6和7回显中获取分区的分布信息和节点信息,在当前目录下创建执行重新分配的json文件。 以迁移的是Broker_ID为6的节点的分区为例,迁移到"/srv
配置Flume参数“flume.config.file”时,支持“上传文件”和“下载文件”功能。上传配置文件后旧文件将被覆盖,再下载文件只能获取新文件。如果未保存配置并重启服务,那么新文件设置未生效,请及时保存配置。 修改服务配置参数后如需重启服务使配置生效,可在服务页面单击右上角“更多
选择此参数值,还需要配置以下参数: “目的端NameService名称”:填写备集群的NameService名称。可在备集群HDFS服务的“管理NameService”页面获取,例如“hacluster”。 “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。
dc=com -W -b ou=Peoples,dc=hadoop,dc=com 执行命令后需输入LDAP管理员密码,请联系MRS集群管理员获取。 是,执行13。 否,执行15。 使用告警出现日期之前的备份文件进行LdapServer恢复和OMS恢复。 必须使用同一时间点的OMS和
委托 单击“管理委托”,为集群绑定或修改委托。 通过绑定委托,您可以将部分资源共享给ECS或BMS云服务来管理,例如通过配置ECS委托可自动获取AK/SK访问OBS,具体请参见配置MRS集群通过IAM委托对接OBS。 MRS_ECS_DEFAULT_AGENCY委托拥有对象存储服务
程(例如:512m, 2g)。 4G spark.yarn.security.credentials.hbase.enabled 是否打开获取HBase token的功能。如果需要Spark-on-HBase功能,并且配置了安全集群,参数值设置为“true”。否则设置为“false”。
程(例如:512m, 2g)。 4G spark.yarn.security.credentials.hbase.enabled 是否打开获取HBase token的功能。如果需要Spark-on-HBase功能,并且配置了安全集群,参数值设置为“true”。否则设置为“false”。
目录已存在,需将此目录权限修改为“777”,将此目录内的日志权限修改为“666”。 在集群内节点安装客户端(MRS 3.3.1之前版本) 获取客户端软件包。 参考访问MRS集群Manager登录集群Manager,单击“集群”,在“概览”页面选择“更多 > 下载客户端”,弹出“下
配置参数 开源默认端口 定制默认端口 端口说明 port 9092 21005 Broker提供数据接收、获取服务 ssl.port 9093 21008 Broker提供数据接收、获取服务的SSL端口 sasl.port 21007 21007 Broker提供SASL安全认证端口,提供安全Kafka服务
具有Spark操作权限的principal。请联系MRS集群管理员获取对应principal。 - spark.kerberos.keytab 具有Spark操作权限的Keytab文件名称和文件路径。请联系MRS集群管理员获取对应Keytab文件。 - spark.security.bigdata