检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark应用名在使用yarn-cluster模式提交时不生效 问题 Spark应用名在使用yarn-cluster模式提交时不生效,在使用yarn-client模式提交时生效,如图1所示,第一个应用是使用yarn-client模式提交的,正确显示代码里设置的应用名Spark P
查看“安全模式”参数值是否为“ON”。 “ON”表示安全模式已打开。 是,执行4。 否,执行7。 执行以下操作登录HDFS客户端。 登录HDFS客户端安装节点。 集群已启用Kerberos认证(安全模式):使用root用户登录。 集群未启用Kerberos认证(普通模式):使用o
Hive JDBC访问样例程序 Hive JDBC样例程序开发思路 创建Hive表 加载数据到Hive表中 查询Hive表数据 实现Hive进程访问多ZooKeeper 使用JDBC接口提交数据分析任务 父主题: 开发Hive应用
配置Flume对接安全模式Kafka 使用Flume客户端对接安全kafka。 新增jaas.conf文件,并保存到“${Flume客户端安装目录}/conf”下,jaas.conf文件内容如下: KafkaClient { com.sun.security.auth.module
配置Flume对接安全模式Kafka 使用Flume客户端对接安全kafka。 新增jaas.conf文件,并保存到“${Flume客户端安装目录}/conf”下,jaas.conf文件内容如下: KafkaClient { com.sun.security.auth.module
设置表只读模式 安装客户端,具体请参考安装MRS客户端章节。 使用root用户登录安装客户端的节点,执行以下命令: cd 客户端安装目录 source bigdata_env 如果当前集群为安全模式(开启Kerberos认证),执行以下命令认证当前用户,如果当前集群为普通模式(关闭K
配置Windows通过EIP访问安全模式集群HBase 操作场景 该章节通过指导用户配置集群绑定EIP,并配置HBase文件的方法,方便用户可以在本地对样例文件进行编译。 本章节以运行hbase-example中的样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP,并
配置HetuEngine使用代理用户鉴权 适用于MRS 3.3.0及以后版本。 HetuEngine支持使用FusionInsight Manager用户认证时通过客户自有用户(代理用户)使用Ranger鉴权的能力。即在使用HetuEngine客户端时,通过--session-user来指定代理用户。
通过Java API提交Oozie作业 功能简介 Oozie通过org.apache.oozie.client.OozieClient的run方法提交作业,通过getJobInfo获取作业信息。 代码样例 代码示例中请根据实际情况,修改“OOZIE_URL_DEFALUT”为实际
IoTDB开发指南(安全模式) IoTDB应用开发简介 IoTDB应用开发流程介绍 准备IoTDB应用开发环境 开发IoTDB应用 调测IoTDB应用 IoTDB Java API接口介绍
产生告警的角色名称。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 数据库进入只读模式,业务数据丢失。 数据库进入只读模式,上层服务写业务操作相关数据丢失。 可能原因 磁盘配置无法满足业务需求,磁盘使用率达到上限。 处理步骤 检查磁盘使用率是否达到上限
配置多主实例与多租户模式切换 配置场景 在使用集群中,如果需要在多主实例模式与多租户模式之间切换,则还需要进行如下参数的设置。 多租户切换成多主实例模式 修改Spark2x服务的以下参数: spark.thriftserver.proxy.enabled=false spark.scheduler
MapReduce开发指南(普通模式) MapReduce应用开发简介 MapReduce应用开发流程介绍 准备MapReduce应用开发环境 开发MapReduce应用 调测MapReduce应用 MapReduce应用开发常见问题
hosts”值为“*”:表示test用户连接后,可以使用任意代理用户,不限制集群节点。 参数“hadoop.proxyuser.test.groups”值为“*”:表示test用户连接后,可以使用任意代理用户,不限制代理用户所在的用户组。 修改如下参数值,切换JDBCServer实例至多实例模式: 参数名称 值 spark
配置多主实例与多租户模式切换 配置场景 在使用集群中,如果需要在多主实例模式与多租户模式之间切换,则还需要进行如下参数的设置。 多租户切换成多主实例模式 修改Spark2x服务的以下参数: spark.thriftserver.proxy.enabled=false spark.scheduler
ClickHouse开发指南(安全模式) ClickHouse应用开发简介 ClickHouse应用开发流程介绍 准备ClickHouse应用开发环境 开发ClickHouse应用 调测ClickHouse应用
准备本地应用开发环境 在进行二次开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统,支持Windows 7以上版本。 开发和运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下: 服务端和客户端仅支持自带的OpenJDK,版本为1
MapReduce开发指南(普通模式) MapReduce应用开发简介 MapReduce应用开发流程介绍 MapReduce样例工程介绍 准备MapReduce应用开发环境 开发MapReduce应用 调测MapReduce应用 MapReduce应用开发常见问题
ClickHouse开发指南(安全模式) ClickHouse应用开发简介 准备ClickHouse应用开发环境 开发ClickHouse应用 调测ClickHouse应用
org/docs/r3.1.1/hadoop-project-dist/hadoop-common/FileSystemShell.html 表1 透明加密相关命令 场景 操作 命令 描述 hadoop shell命令管理密钥 创建密钥 hadoop key create<keyname>