检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发FlinkServer SQL作业。 可参考如何创建FlinkServer作业在FlinkServer的SQL开发界面,开发如下SQL并单击“语义校验”: set parallelism.default = 2; CREATE TABLE print( uuid VARCHAR(20), name
hive”用户组,并且添加对应维护实例的租户角色。 (可选)若本端集群开启了Ranger鉴权,则需要给mvuser用户添加刷新物化视图和set session的权限,可分别参考表1和表2。 使用HetuEngine管理员用户登录FusionInsight Manager页面。 选择“集群
不支持创建两个名称相同但大小写不同的用户。例如已创建用户“User1”,无法创建用户“user1”。使用“User1”时请输入正确的用户名。 用户类型 可选值包括“人机”和“机机”。 “人机”用户:用于在FusionInsight Manager的操作运维场景,以及在组件客户端操作的场景
如果在全局页面已选择企业项目,则此处灰化不可选。 实例类型 Prometheus实例的类型,此处选择“Prometheus 通用实例”。 在实例列表单击上述创建的Prometheus实例名称,单击“设置”,查看并保存如下参数值。 表2 Prometheus实例信息 类别 参数 示例 调用凭证 AppSecret
`timestamp` DATETIME NOT NULL COMMENT "日志时间", `type` INT NOT NULL COMMENT "日志类型", `error_code` INT COMMENT "错误码", `error_msg` VARCHAR(1024) COMMENT "错误详细信息"
oader WebUI”界面。 图1 Loader WebUI界面 单击“批量删除”,进入作业批量删除界面。 在“批量删除”中选择删除作业类型。 “所有”,表示删除当前所有的作业。 “指定作业”,表示指定需要删除的作业。选择“指定作业”,在作业列表中勾选需要删除的作业。 单击“确
DataNode的容量计算出错如何处理 为什么存储小文件过程中,缓存中的数据会丢失 当分级存储策略为LAZY_PERSIST时为什么文件的副本的存储类型为DISK 为什么NameNode UI上显示有一些块缺失 父主题: 使用HDFS
登录FusionInsight Manager页面,选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“仅配置文件”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64)单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。
query”。 查看历史: 单击“Query History”,可查看HiveQL运行情况,支持显示所有语句或只显示保存的语句的运行情况。历史记录存在多个结果时,可以在输入框使用关键字进行搜索。 高级查询配置: 单击右上角的,对文件、函数、设置等信息进行配置。 查看快捷键: 单击右上角的,可查看所有快捷键信息。
Broker实例IP地址:登录FusionInsight Manager,选择“集群 > 服务 > Kafka > 实例”,在实例列表页面中查看并记录任意一个Broker实例业务IP地址。 Kafka连接端口:集群已启用Kerberos认证(安全模式)时Broker端口为“sasl.po
网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云 > 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。 图1 配置hosts文件 配置集群安全组规则。 在集群“概览”界面,选择“添加安全组规则
网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云 > 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。 图1 配置hosts文件 将krb5.conf文件中的IP地址修改为对应IP的主机名称。
GC时间超出阈值,会影响JobHistory2x进程运行的性能,甚至造成JobHistory2x进程不可用,进程不可用时仅会造成无法查询Spark任务历史执行记录。 可能原因 该节点JobHistory2x进程堆内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。 处理步骤 检查GC时间 在FusionInsight
ZooKeeper”,单击“资源”,在精细化监控“资源使用(按二级Znode)”中,单击“按容量”查看顶级Znode目录是否被写入较多数据。 是,记录被写入较多数据的目录,执行3。 否,执行5。 确认被写入较多数据的目录中数据是否可以进行删除。 删除ZooKeeper中的数据为高危操作,请谨慎处理。
principal] [-k keytab] -setfacl [{-b|-k} {-m|-x <acl_spec>} <path> ...]|[--set <acl_spec> <path> ...] threadsNumber:并发线程数,默认为本机CPU核数 principal:Kerberos用户
principal] [-k keytab] -setfacl [{-b|-k} {-m|-x <acl_spec>} <path> ...]|[--set <acl_spec> <path> ...] threadsNumber:并发线程数,默认为本机CPU核数 principal:Kerberos用户
er,选择“服务管理 > 下载客户端”下载客户端安装包至主OMS节点。 在MRS管理控制台,查看指定集群“节点管理”页面的“IP”地址。 记录待安装客户端的节点IP地址及主Master节点IP地址(主OMS节点)。 以root用户登录主OMS节点,执行以下命令切换至omm用户。 sudo
Checkpoint统计记录数。 10 否 jobmanager.web.backpressure.cleanup-interval 未访问反压记录清理周期。单位:ms。 600000 否 jobmanager.web.backpressure.refresh-interval 反压记录刷新周期。单位:ms。
Job对应的运行日志保存在哪里? 问: Spark Job对应的运行日志保存在哪里? 答: Spark Job没有完成的任务日志保存在Core节点的“/srv/BigData/hadoop/data1/nm/containerlogs/”目录内。 Spark Job完成的任务日志保存在HDFS的
的startDetail.log日志信息,发现Journalnode实例停止过。 分别查看告警节点和其他JournalNode节点的“/srv/BigData/journalnode/hacluster/current”路径下最新的edits日志文件,发现告警节点与其他节点存在不同步的情况。