检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
指导运维工程师停止、启动Flume客户端，以及在不需要Flume数据采集通道时，卸载Flume客户端。 操作步骤 停止Flume角色的客户端。 假设Flume客户端安装路径为“/opt/FlumeClient”，执行以下命令，停止Flume客户端： cd /opt/FlumeClient/fusionin
MRS集群管理员已明确业务需求，并准备一个系统用户。 已安装Kafka客户端。 使用Kafka客户端查看当前消费情况 以客户端安装用户，登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。 cd /opt/client 执行以下命令，配置环境变量。 source bigdata_env
约束与限制 已安装DBeaver 6.3.5版本，DBeaver软件下载链接为：https://dbeaver.io/files/6.3.5/dbeaver-ce-6.3.5-x86_64-setup.exe。 已安装JDK 1.8.0_x。 步骤一：配置DBeaver安装环境 向D
操作步骤 登录FusionInsight Manager页面。 选择“集群 > 服务 > HDFS > 配置 > 全部配置”进入HDFS全部配置页面。 搜索并根据实际需求进行配置以下参数。 参数名称 参数说明 默认值 dfs.datanode.synconclose 在存储文件过程
在这个场景下，需要进行以下操作，将集群中的证书导入第三方JDK或者JRE中。 配置方法 导出集群中的证书： 安装集群客户端，例如安装路径为“/opt/client”。 执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 生成证书文件
KerberosConfigPath 访问数据源用户的krb5配置文件，参考配置HetuEngine应用安全认证获取。 KerberosKeytabPath 访问数据源用户的keytab配置文件，参考配置HetuEngine应用安全认证获取。 jdbc_location 导入并配置HetuEngine Pyth
IoTDB > 配置”，在搜索框中搜索“SSL”，修改“SSL_ENABLE”参数值为“false”；保存配置后需重启IoTDB服务使配置生效。并修改客户端“客户端安装目录/IoTDB/iotdb/conf”目录下的“iotdb-client.env”文件中的配置：iotdb_ssl_enable="false"。
Project”，如图1所示。 图1 创建工程 在“New Project”页面选择“Java”，然后配置工程需要的JDK和其他Java库。如图2所示。配置完成后单击“Next”。 图2 配置工程所需SDK信息 在会话框中填写新建的工程名称。然后单击Finish完成创建。 图3 填写工程名称
x，则添加的安全组规则为： 图1 配置安全组 关于安全组的具体配置可参考：配置安全组规则。 安全组中需要放开的IP地址为用户访问MRS集群的公网IP地址，如果当前网络为内部局域网环境，请务必确认安全组中配置的IP地址是否为公网出口IP。 单击MRS集群“概览”页面的“添加安全组规则”检查配置的IP是否变
创建并购买一个包含Kafka组件的MRS 3.1.0版本集群，集群未开启Kerberos认证，详情可参考创建MRS集群。 安装MRS集群客户端，具体请参考安装客户端。 步骤一：配置Kafka Eagle对接MRS参数 下载Kafka Eagle，此处以EFAK3.0.1版本为例，具体以实际为准。
任务，建议用户关闭ShuffleService功能，即在“Spark-defaults.conf”配置文件中将配置项“spark.shuffle.service.enabled”配置为“false”。 父主题： Spark Core
输入字段名 配置可能出现空值的字段名，需填写已生成的字段名。 string 是 无 替换值 配置替换空值的指定值。 string 是 无 数据处理规则 字段原值为null时，替换成指定的值。 样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下图： 配置“空值转换”算子，如下图：
使用IntelliJ IDEA工具，请根据指导完成开发环境配置。 HDFS的运行环境即HDFS客户端，请根据指导完成客户端的安装和配置。 准备HDFS应用开发和运行环境 准备工程 HDFS提供了不同场景下的样例程序，可以导入样例工程进行程序学习。 导入并配置HDFS样例工程 准备安全认证 如果使用的是安全集群，需要进行安全认证。
使用IntelliJ IDEA工具，请根据指导完成开发环境配置。 HDFS的运行环境即HDFS客户端，请根据指导完成客户端的安装和配置。 准备HDFS应用开发和运行环境 准备工程 HDFS提供了不同场景下的样例程序，可以导入样例工程进行程序学习。 导入并配置HDFS样例工程 准备安全认证 如果使用的是安全集群，需要进行安全认证。
op的相关配置没有设置。 问题3： 常见的场景是使用--files上传了user.keytab，然后使用--keytab又指定了同一个文件，导致一个文件多次被上传。 处理步骤 问题1： 重新kinit一个用户并修改相应的配置参数。 问题2： 查看hadoop相关的配置项是否正确，
在FusionInsight Manager界面选择“集群 > 服务 > Oozie > 配置 > 全部配置”，在“自定义”的“oozie.site.configs”参数中添加如下四个配置项。修改完成后单击“保存”，在弹框中单击“确定”保存配置。 名称 值 参数说明 oozie.services.ext org
Manager页面，选择“系统配置 > 用户管理”。 在已创建的新用户对应的“操作”列单击“修改”。 单击“选择添加的用户组”，如需使用Hive服务，必须添加Hive组。 单击“选择并绑定角色”，勾选5中已创建的角色。 单击“确定”完成用户权限的配置。 FusionInsight
系统元数据的Alluxio Master，另一个是调度文件系统操作的Alluxio Job Master。 Workers 负责管理用户可配置的本地资源（例如：内存、SDD、HDD），对底层存储进行数据操作。 Client Alluxio Client主要包括三种方式：Java API、Shell、HTTP
Manager界面，重启HBase服务。 配置phoenix客户端参数(未开启Kerberos认证集群可跳过此步骤)。 配置phoenix连接时使用的认证信息。进入$PHOENIX_HOME/bin，编辑hbase-site.xml文件，需配置参数如表 1 Phoenix参数配置所示。 表2 Phoenix参数配置
原因分析 集群版本和运行的程序包版本不匹配。 处理步骤 参考运行Spark Streaming 对接Kafka0-10样例程序进行相关配置。 当前集群为MRS 2.1.0版本，请如需使用Maven库中的提供的样例程序，请获取spark-streaming-kafka-0-10_2
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
