检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
启动HDFS和Yarn服务报错“Permission denied” HDFS用户可在其他用户目录下创建或删除文件 HDFS的DataNode一直显示退服中 内存不足导致HDFS NameNode启动失败 ntpdate修改时间导致HDFS出现大量丢块 DataNode概率性出现CPU占用接近100%导致节点丢失
capacity</name>' capacity-scheduler.xml -A2找出各队列配置的值,检查每个队列配置的值是否和Manager上看到的一致。并检查所有队列配置的值的总和是否是100。 是,则说明配置正常。 否,则说明配置异常,请执行后续步骤修复。 登录MRS Manager页面,选择“主机管理”。
以缺省。 col_position:列添加位置包括FIRST、AFTER origin_col两种,指定FIRST新增列将会被添加到表的第一列。AFTER origin_col新增列将会被加入到原始列origin_col之后,可以缺省。FIRST只能在嵌套列添加新的子列时使用,禁
pache Storm内核,不同的是,Storm使用的内核版本是1.2.1,Streaming使用的是0.10.0。Streaming组件一般用来在升级场景继承过渡业务,比如之前版本已经部署Streaming并且有业务在运行的情况下,升级后仍然可以使用Streaming。如果是新搭建的集群,则建议使用Storm。
集群创建完后,通过添加组件的方式,添加Guardian组件。 在集群详情页,选择“组件管理 > 添加服务”。 在服务列表中,勾选需要添加的服务,单击“下一步”。 图2 添加Guardian服务 在“拓扑调整”页面勾选服务部署的节点(Guardian建议部署在master节点上)。 单击“确认”
Manager的“告警”页面,查看是否有“NodeAgent进程异常”告警产生。 是,执行3。 否,执行6。 查看告警信息里的主机名是否和1主机名一致。 是,执行4。 否,执行6。 参考ALM-12006 NodeAgent进程异常文档步骤处理该告警。 在告警列表中查看“JobGateway服务不可用”告警是否清除。
不足,或者用户修改了转储服务器的用户名、密码或转储目录,将会导致审计日志转储失败。 告警属性 告警ID 告警级别 可自动清除 12001 一般 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName
completed successfully”,相应的Jar包会在“Output Directory”目录中产生。 运行Flink作业。 场景一:使用Flink WebUI界面运行Flink作业 使用具有FlinkServer WebUI管理权限的用户登录集群的FusionInsight
Digest函数来简单估计文本之间的相似性。通过使用函数ngrams()将输入文本分割为4-shingles(文本被分成长度为4的连续子序列,每个子序列称为一个shingle或者gram),它们被用于创建每个初始文本的集合摘要。将集合摘要相互比较,以获得其相应初始文本相似性的近似值。 WITH text_input(id
比如:presto-examples-1.0-SNAPSHOT-jar-with-dependencies.jar。 在运行调测环境上创建一个目录作为运行目录,如或“/opt/presto_examples”(Linux环境),并在该目录下创建子目录“conf”。 将1导出的presto-examples-1
装和配置。 准备本地应用开发环境 准备工程 Spark提供了不同场景下的样例程序,您可以导入样例工程进行程序学习。或者您可以根据指导,新建一个Spark工程。 导入并配置Spark样例工程 新建Spark样例工程(可选) 根据场景开发工程 提供了Scala、Java、Python
in system” Consumer初始化成功但是无法从Kafka中获取指定Topic消息 Consumer消费数据失败,Consumer一直处于等待状态 SparkStreaming消费Kafka消息失败,提示“Error getting partition metadata”
(1 row) mask_hash(string|char|varchar str) →varchar 描述:返回基于str的散列值。散列是一致的,可以用于跨表连接被屏蔽的值。对于非字符串类型,返回NULL。 select mask_hash('panda');
SIMPLE:表示对接的服务是非安全模式,无需认证。该方法创建的Kafka数据连接仅支持SIMPLE认证类型。 KERBEROS:表示对接的服务是安全模式,安全模式的服务统一使用Kerberos认证协议进行安全认证。 - 父主题: 创建FlinkServer作业前准备
是,等待任务运行结束。 否,检查结束。 检查集群是否已经支持root补丁特性 集群是否已经安装了MRS 3.2.0-LTS.1.6及之后的任意一个补丁。 是,可以直接安装MRS_3.2.0-LTS.1.9补丁,此时安装MRS_3.2.0-LTS.1.9补丁会提示需要用户输入root密码或者密钥。
UI”右侧的超链接进入HBase WebUI界面。 单击“Table Details”,对2查看的表对应的Region进行业务调整。 等待一段时间后,查看该告警是否清除。 是,处理完毕。 否,执行6。 收集故障信息 在FusionInsight Manager界面,选择“运维 >
/test/partitions result=failure 在ZooKeeper各个实例节点上执行id -Gn kafka命令,发现有一个节点无法查询用户组信息。 [root @bdpsit3ap03 ~]# id -Gn kafka id: kafka: No such user
的权限,不支持数据库的授权。 Hive管理员权限不支持管理HDFS的权限。 如果数据库中的表或者表中的文件数量比较多,在授权时可能需要等待一段时间。例如表的文件数量为1万时,可能需要等待2分钟。 表1 设置角色 任务场景 角色授权操作 设置Hive管理员权限 在“权限”的表格中单击“Hive”,勾选“Hive
metastore.server.min.threads MetaStore启动的用于处理连接的线程数,如果超过设置的值之后,MetaStore就会一直维护不低于设定值的线程数,即常驻MetaStore线程池的线程会维护在指定值之上。 200 hive.server2.enable.doAs
UI上进入到Topology界面,再单击进入要调试组件界面。 图1 进入拓扑的Component界面 在组件页面获取worker进程运行的主机ip地址,如果有多个则任选一个。 图2 获取Worker运行的主机 打开IDEA工程,在菜单栏中选择“Run > Edit Configurations”。 在弹出的配