正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
现异常需要使用备份包恢复数据时,没有失败时间段的备份包,导致失败时间段数据无法恢复。 可能原因 该告警产生原因依赖于该任务的详细情况,直接获取日志和任务详情来处理该告警。 处理步骤 查看磁盘空间是否不足。 在FusionInsight Manager管理界面,选择“运维 > 告警
Spark Structured Streaming状态操作样例程序(Scala) 功能介绍 在Spark结构流应用中,跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp;同时输出本批次被更新状态的session。 代码样例
Spark同时访问两个HBase样例程序开发思路 场景说明 spark支持同时访问两个集群中的HBase,前提是两个集群配置了互信。 数据规划 将cluster2集群的所有Zookeeper节点和HBase节点的IP和主机名配置到cluster1集群的客户端节点的“/etc/hosts”文件中。
Spark同时访问两个HBase样例程序(Scala) 下面代码片段仅为演示,具体代码参见:com.huawei.spark.examples.SparkOnMultiHbase def main(args: Array[String]): Unit = { val conf
以上传Jar包至准备好的Linux环境中运行。 HDFS应用程序运行完成后,可直接通过运行结果查看应用程序运行情况,也可以通过HDFS日志获取应用运行情况。 前提条件 已安装客户端时: 已安装HDFS客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文
进行应用开发时,需要同时准备代码的运行调测的环境,用于验证应用程序运行正常。 如果使用Linux环境调测程序,需在准备安装集群客户端的Linux节点并获取相关配置文件。 在节点中安装客户端,例如客户端安装目录为“/opt/client”。 客户端机器的时间与集群的时间要保持一致,时间差小于5分钟。
集群如何进行操作系统漏洞升级? 问题现象 在使用安全软件测试集群时,发现有EulerOS系统底层存在漏洞。 原因分析 MRS集群内服务部署在EulerOS系统中,因此需要进行漏洞升级。 处理步骤 修复漏洞前请确认是否开启了主机安全服务(Host Security Service,
权限,与开源社区版本保持一致。 用户可修改配置开关,实现创建临时函数不需要ADMIN权限。当该选项配置成“false”时,存在一定的安全风险。 安全模式支持配置创建临时函数是否需要ADMIN权限功能,而普通模式不支持该功能。 操作步骤 登录FusionInsight Manager页面,选择“集群
误”。 原因分析 当前用户没有VPC的访问权限。 IAM子用户所在的组有互斥权限导致访问Manager异常。 当前用户没有添加安全组中IP的权限,或安全组中添加的IP发生变化。 处理步骤 配置用户权限。 具体请参考创建MRS操作用户创建用户,或添加用户权限(请勿添加MRS Rea
恢复IoTDB元数据 操作场景 为了确保IoTDB元数据安全,防止因IoTDB的文件损坏等导致IoTDB服务不可用时,需要对IoTDB元数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 系统管理员可以通过FusionInsight
SparkStreaming批量写入HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用streamBulkPut接口将流数据写入Hbase表中。 数据规划 在客户端执行hbase shell进入HBase命令行。 在HBase命令执行下面的命令创建HBase表:
以Hive客户端安装用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录,配置环境变量并认证用户。 cd 客户端安装目录 source bigdata_env kinit Hive业务用户(如果集群未开启Kerberos认证,请跳过该操作) beeline启动断线重连功能。 示例: beeline
例,开发客户端业务。 获取相关配置文件。 本步骤只适用于业务中有访问外部组件需求的场景,如HDFS、HBase等,获取方式请参见Storm-HDFS开发指引或者Storm-HBase开发指引。若业务无需获取相关配置文件,请忽略本步骤。 获取相关jar包,获取方法如下: 在Stor
表存在安全风险。 创建Hive列加密表 以Hive客户端安装用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录,配置环境变量并认证用户。 cd 客户端安装目录 source bigdata_env kinit Hive业务用户(如果集群未开启Kerberos认证,请跳过该操作)
执行以下命令,切换到客户端安装目录。 cd 客户端安装目录 执行以下命令配置环境变量并认证用户。 source bigdata_env kinit 提交Oozie任务的用户( 如果集群未启用Kerberos认证(普通模式)请跳过该操作) 检查Share Lib,包括客户端和服务端两种方式。Spark
步骤四:提交作业并查看结果:在集群客户端提交wordcount数据分析作业并查看执行结果。 准备工作 注册账号并实名认证。 在创建MRS集群之前,请先注册华为账号并开通华为云,进行实名认证。 如果您已开通华为云并进行实名认证,请忽略此步骤。 已准备具有创建MRS集群的IAM用户,详细操作请参见创建IAM用户并授权使用MRS。
bigdata_env 集群已启用Kerberos认证(安全模式): kinit 组件业务用户 clickhouse client --host 上报告警的ClickHouseServer实例IP --port --secure 集群未启用Kerberos认证(普通模式): clickhouse
IN权限,与开源社区版本保持一致。 用户可修改配置开关,实现创建临时函数不需要ADMIN权限。当该选项配置成false时,存在一定的安全风险。 安全模式支持配置创建临时函数是否需要ADMIN权限功能,而普通模式不支持该功能。 操作步骤 进入Hive服务配置页面: MRS 3.x之
使用调整集群节点接口时参数node_id如何配置? 问: 使用调整集群节点接口时(/v1.1/{project_id}/cluster_infos/{cluster_id}),请求参数“node_id”如何配置? 答: 使用调整集群节点接口时,请求参数“node_id”的值固定为“node_orderadd”。
KafkaUI服务审计日志。 鉴权日志 kafka-authorizer.log Kafka开源自带鉴权插件运行日志。 此日志统一归档在“/var/log/Bigdata/audit/kafka/kafkaui”目录下。 ranger-authorizer.log Ranger鉴权插件运行日志。