检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行以下命令配置环境变量。 source bigdata_env 首次登录IoTDB客户端前需执行以下步骤生成SSL客户端证书: 执行以下命令生成客户端SSL证书: keytool -noprompt -import -alias myservercert -file ca.crt
端环境中运行应用。使用Scala或Java语言开发的应用程序在Flink客户端的运行步骤是一样的。 基于YARN集群的Flink应用程序不支持在Windows环境下运行,只支持在Linux环境下运行。 操作步骤 在IntelliJ IDEA中,在生成Jar包之前配置工程的Artifacts信息。
可直接读取、写入以及授权他人访问此HDFS目录与文件。 本章节适用于MRS 3.x及后续版本。 安全模式支持创建HDFS角色,普通模式不支持创建HDFS角色。 如果当前组件使用了Ranger进行权限控制,须基于Ranger配置HDFS相关策略进行权限管理,具体操作可参考添加HDFS的Ranger访问权限策略。
对于Java开发环境,推荐使用IDEA工具,安装要求如下。 JDK使用1.7版本(或1.8版本) IntelliJ IDEA(版本:13.1.6) Spark不支持当客户端程序使用IBM JDK 1.7运行时,使用yarn-client模式向服务端提交Spark任务。 Oracle JDK需进行安全加固,具体操作如下。
'master1:7051,master2:7051,master3:7051' ); 报错如下: 回答 当前Impala版本开启Ranger鉴权后,暂不支持创建Kudu外表。 如果当前集群中无Kudu服务,需要在Impalad的自定义配置中指定--kudu_master_hosts=master1:7051
在本地开发环境中调测Manager应用 操作场景 在程序代码完成开发后,可以在Windows开发环境中直接运行应用。 如果Windows运行环境中使用IBM JDK,不支持在Windows环境中直接运行应用程序。 操作步骤 在开发环境中(例如IntelliJ IDEA中),分别选中以下两个工程运行程序: 选中UserManager
不同版本的Hive之间是否可以兼容? Hive 3.1版本与Hive 1.2版本相比不兼容内容主要如下: 字段类型约束:Hive 3.1不支持String转成int。 UDF不兼容:Hive 3.1版本UDF内的Date类型改为Hive内置。 索引功能废弃。 驱动不兼容:Hive
【Spark WebUI】使用IE浏览器访问Spark2x WebUI界面失败 用户问题 通过IE浏览器访问Spark的WebUI界面,偶尔出现访问失败情况。 问题现象 访问页面失败,浏览器无法显示此页,如下图所示: 原因分析 部分低版本IE浏览器处理SSL握手有问题导致访问失败。
应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 Spark应用程序只支持在Linux环境下运行,不支持在Windows环境下运行。 使用Python开发的Spark应用程序无需打包成jar,只需将样例工程拷贝到编译机器上即可。 运行Spark
如何给集群内用户添加租户管理权限? 分析集群和混合集群支持添加租户管理权限,流式集群不支持添加租户管理权限。给新建账号添加租户管理权限方法如下: MRS 3.x之前版本: 登录MRS Manager。 在“系统设置 > 用户管理”中选择新建的用户,单击“操作”列中的“修改”。 在
安装Flink客户端 Flink使用Windows环境进行开发,运行环境则建议部署在Linux环境下,MRS客户端不支持安装在Windows环境。您可以执行如下操作完成客户端的配置。 操作步骤 安装Flink客户端。 确认服务端Flink组件已经安装。 下载Flink客户端程序。
”隔开,配置为空时表示不过滤目录。不支持正则表达式过滤。 “?”匹配单个字符。 “*”配置多个字符。 在匹配条件前加“^”表示取反,即文件过滤。 * 文件过滤器 配置通配符对源文件的输入文件名进行过滤。配置多个过滤条件时使用“,”隔开。不能配置为空。不支持正则表达式过滤。 “?”匹配单个字符。
Flink作业在ClickHouse中找不到对应表会报错,所以需提前在ClickHouse中创建好对应的表。 Flink写ClickHouse不支持删除操作 由于不支持删除操作,Flink无法对ClickHouse的数据进行回撤。在Flink处理更新数据的时候产生的回撤流就无法在ClickHouse中执行,导致数据结果不对。
ase和Kafka组件。 回答 可以有条件的实现两个集群间组件互相访问,但是存在以下限制: 仅允许访问一个Hive MetaStore,不支持同时访问cluster1的Hive MetaStore和cluster2的Hive MetaStore。 不同集群的用户系统没有同步,因此
app-submission.cross-platform”参数值需配置为“true”。若集群无此参数,或参数值为“false”,则表示集群不支持此功能,需要按照如下操作增加该参数或修改参数值进行开启。 本章节操作适用于MRS 3.x及之后版本。 配置描述 在客户端的“mapred-site
修改OMS数据库管理员密码 建议管理员定期修改OMS数据库管理员的密码,以提升系统运维安全性。 使用root用户登录主管理节点。 ommdba用户密码不支持在备管理节点修改,否则集群无法正常工作。只需在主管理节点执行修改操作,无需在备管理节点操作。 执行以下命令,切换用户。 sudo su -
ase和Kafka组件。 回答 可以有条件的实现两个集群间组件互相访问,但是存在以下限制: 仅允许访问一个Hive MetaStore,不支持同时访问cluster1的Hive MetaStore和cluster2的Hive MetaStore。 不同集群的用户系统没有同步,因此
Internet Explorer浏览器可能存在兼容性问题,建议使用Google Chrome浏览器访问CDLService UI。 CDL不支持抓取表名包含$或者中文等特殊字符的表。 前提条件 MRS集群已安装CDL组件,并且正常运行。 开启Kerberos认证的集群已参考CDL用
app-submission.cross-platform”参数值需配置为“true”。若集群无此参数,或参数值为“false”,则表示集群不支持此功能,需要按照如下操作增加该参数或修改参数值进行开启。 本章节操作适用于MRS 3.x及之后版本。 配置描述 在客户端的“mapred-site
ux环境中运行。在程序代码完成开发后,可以上传Jar包至Linux客户端环境中运行应用。 HDFS应用程序只支持在Linux环境下运行,不支持在Windows环境下运行。 前提条件 已安装HDFS客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中