检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发Oozie应用 开发Oozie配置文件 Oozie代码样例说明 通过Java API提交Oozie作业 使用Oozie调度Spark2x访问HBase以及Hive 父主题: Oozie开发指南(安全模式)
ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 提示用户证书文件即将过期,如果证书文件过期,则会导致部分功能受限,无法正常使用。 可能原因 系统证书文件(CA证书、HA根证书或者HA用户证书)剩余有效期小于证书的告警阈值。
sparknormal-examples/SparkThriftServerJavaExample 通过JDBC访问Spark SQL的Java/Scala示例程序。 本示例中,用户自定义JDBCServer的客户端,使用JDBC连接来进行表的创建、数据加载、查询和删除。 sparknormal-examples/S
Hive应用开发常见问题 Hive对外接口介绍 配置Windows通过EIP访问安全模式集群Hive 使用二次开发程序产生Unable to read HiveServer2异常如何处理 使用IBM JDK产生异常“Problem performing GSS wrap”如何处理
调测Spark应用 配置Windows通过EIP访问集群Spark 在本地Windows环境中调测Spark应用 在Linux环境中调测Spark应用 父主题: Spark2x开发指南(普通模式)
码中conf目录下的presto.preperties。未开启Kerberos认证集群无须执行此步骤。 表1 presto.preperties参数说明 参数 说明 user 用于Kerberos认证的用户名,即准备Presto应用开发用户中创建的开发用户的用户名。 KerberosPrincipal
Spark多服务场景下,普通用户无法登录Spark客户端 问题 Spark存在多个服务场景时,当使用多服务时,普通用户无法登录spark-beeline。报错如下图所示: 原因 当Hive同时存在多场景服务时,普通用户不属于Hive用户组,没有Hive目录权限,导致无法登录。 解决方法 登录FusionInsight
使用Hue(MRS 3.x及之后版本) 访问Hue WebUI界面 使用Hue WebUI操作Hive表 创建Hue操作任务 使用Hue WebUI典型场景 Hue常用配置参数 Hue日志介绍 Hue常见问题
初始化HDFS 写HDFS文件 追加HDFS文件内容 读HDFS文件 删除HDFS文件 HDFS Colocation 设置HDFS存储策略 HDFS访问OBS 父主题: HDFS开发指南
not null;注:表tbl_src的id字段为Int类型,name字段为String类型。 多线程安全登录方式 如果有多线程进行login的操作,当应用程序第一次登录成功后,所有线程再次登录时应该使用relogin的方式。 login的代码样例: private Boolean
使用Hue(MRS 3.x之前版本) 访问Hue WebUI界面 使用Hue WebUI操作Hive表 在Hue WebUI使用HiveQL编辑器 在Hue WebUI使用元数据浏览器 在Hue WebUI使用文件浏览器 在Hue WebUI使用作业浏览器 Hue常用配置参数
检查工程conf目录下“producer.properties”中配置的“bootstrap.servers”配置值中访问的IP和端口是否正确: 如果IP与Kafka集群部署的业务IP不一致,那么需要修改为当前集群正确的IP地址。 如果配置中的端口为21007(Kafka安全模式端口),那么修改该
节点可使用的CPU、I/O和内存总量。 实现服务级别的资源隔离,可将集群中的服务与其他服务隔离,使一个服务上的负载对其他服务产生的影响有限。 调度机制简介 静态服务资源支持基于时间的动态调度机制,可以在不同时间段为服务配置不同的资源量,优化客户业务运行环境,提高集群的效率。 在一
ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 NetworkCardName 产生告警的网口名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 通信闪断,业务超时。
服务来更新zookeeper上的节点信息。 处理步骤 登录Manager,停止HDFS服务。 在停止HDFS时,建议不要停止相关服务。 停止成功后,登录到被修改了RPC端口的Master节点。 如果两个Master节点都被修改了RPC端口,则只需登录其中一个修改即可。 执行su -
ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 NetworkCardName 产生告警的网口名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 通信闪断,业务超时。
API提交Oozie作业开发思路 通过典型场景,用户可以快速学习和掌握Oozie的开发过程,并且对关键的接口函数有所了解。 本示例演示了如何通过Java API提交MapReduce作业和查询作业状态,代码示例只涉及了MapReduce作业,其他作业的API调用代码是一样的,只是job配置“job.p
API提交Oozie作业开发思路 通过典型场景,用户可以快速学习和掌握Oozie的开发过程,并且对关键的接口函数有所了解。 本示例演示了如何通过Java API提交MapReduce作业和查询作业状态,代码示例只涉及了MapReduce作业,其他作业的API调用代码是一样的,仅job配置“job.pr
or三种进程。在任务调度和运行的过程中,Driver和Executor承担了很大的责任,而ApplicationMaster主要负责container的启停。 因而Driver和Executor的参数配置对spark应用的执行有着很大的影响意义。用户可通过如下操作对Spark集群性能做优化。
后续对应用户关联的数据库下表、视图等数据库对象权限的分离管理和维护。 业务隔离设计-不要在system库中创建业务表 system数据库是ClickHouse默认的系统数据库,默认数据库中的系统表记录的是系统的配置、元数据等的信息数据。 业务在使用ClickHouse的时候,需要