检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
list”配置项的值,否则以HTTPS访问不了Yarn。单击“保存”,单击“确定”,保存完成后重启该服务。 TLSv1协议存在安全漏洞,请谨慎使用。 操作步骤 获取运行在Yarn上的任务的具体信息。 命令: curl -k -i --negotiate -u : "https://10-12
开发用户为“人机”用户时请执行:kinit sparkuser 执行Spark shell命令。 Spark常用的命令如下所示: spark-shell 提供了一个简单的调试工具,支持Scala语言。 在shell控制台执行: spark-shell 即可进入Scala交互式界面,从HDFS中获取数据,再操作RDD进行计算,输出并打印结果。
list”配置项的值,否则以HTTPS访问不了Yarn。单击“保存”,单击“确定”,保存完成后重启该服务。 TLSv1协议存在安全漏洞,请谨慎使用。 操作步骤 获取运行在Yarn上的任务的具体信息。 命令: curl -k -i --negotiate -u : "https://10-12
表并插入数据。 释放资源:如果您在完成实践后不需要继续使用MRS集群,请及时清理资源以免产生额外扣费。 准备工作 注册账号并实名认证。 在创建MRS集群之前,请先注册华为账号并开通华为云,进行实名认证。 如果您已开通华为云并进行实名认证,请忽略此步骤。 请您保证账户有足够的资金,
6:Spark Script 7:Spark SQL(该接口当前不支持) 默认取值: 不涉及 file_action String 参数解释: 导入导出数据。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 arguments String 参数解释: 程序执行的关键参数。
ibm.jsse2.overrideDefaultTLS”为“true”,设置后可以同时支持TLS V1.0/V1.1/V1.2,详情参见https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8.0.0/com.ibm.java.security
bigdata_env kinit 组件业务用户 kinit一次票据时效24小时。24小时后再次运行样例,需要重新kinit。 与HTTP服务访问相比,以HTTPS方式访问Mapreduce时,由于使用了SSL安全加密,需要确保Curl命令所支持的SSL协议在集群中已添加支持。若不支持,可对应修改集
请通过该功能授权后,联系运维人员进行巡检并获取巡检结果。MRS支持的所有巡检脚本见界面中的巡检脚本列表,MRS目前仅支持证书检测脚本,用来检查集群中的证书是否过期。 开启巡检授权 登录MRS控制台。 单击集群名称进入集群详情页面。 选择“巡检授权”页签。 配置巡检参数。 巡检授
> 样例工程名称 > Lifecycle > compile”,双击“compile”运行maven的compile命令。 图3 mavne工具 clean和compile 方法二 在IDEA的下方Terminal窗口进入“pom.xml”所在目录,手动输入mvn clean compile命令进行编译。
Flume证书文件非法或已损坏 ALM-24011 Flume证书文件即将过期 ALM-24012 Flume证书文件已过期 ALM-24013 Flume MonitorServer证书文件非法或已损坏 ALM-24014 Flume MonitorServer证书文件即将过期
选择“extract to the target JAR”后,单击“OK”。 您可以根据实际情况设置Jar包的名称、类型以及输出路径。 为避免导入不必要Jar包引起Jar包冲突,您只需要加载IoTDB相关的基础Jar包,分别是: flink-iotdb-connector-* fli
g.tar 步骤2:生成Flume配置文件 登录FusionInsight Manager,选择“集群 > 服务 > Flume > 配置工具”。 配置并导出“properties.properties”文件。 选择“Agent名”为“server”,分别选择“Avro Source”、“Memory
配置”,选择“全部配置”。在搜索框中输入参数名称。 参数说明 下表仅列举了部分常用参数,实际参数以Manager页面为准,参数详情请参见官网https://docs.cloudera.com/documentation/enterprise/6/properties/6.3/topic
配置基于HTTPS/HTTP协议的REST接口 操作场景 WebHCat为Hive提供了对外可用的REST接口,开源社区版本默认使用HTTP协议。 MRS Hive支持使用更安全的HTTPS协议,并且可以在两种协议间自由切换。 安全模式支持HTTPS和HTTP协议,普通模式只支持HTTP协议。
数据及删除表。 释放资源:如果您在完成实践后不需要继续使用MRS集群,请及时清理资源以免产生额外扣费。 准备工作 注册账号并实名认证。 在创建MRS集群之前,请先注册华为账号并开通华为云,进行实名认证。 如果您已开通华为云并进行实名认证,请忽略此步骤。 请您保证账户有足够的资金,
> 样例工程名称 > Lifecycle > install”,双击“install”运行maven的install命令。 图2 maven工具clean和install 方法二:在IDEA的下方Terminal窗口进入“pom.xml”所在目录,手动输入mvn clean install命令进行编译。
6:Spark Script 7:Spark SQL(该接口当前不支持) 默认取值: 不涉及 file_action String 参数解释: 导入导出数据。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 arguments String 参数解释: 程序执行的关键参数。
配置NameNode内存参数 配置场景 在HDFS中,每个文件对象都需要在NameNode中注册相应的信息,并占用一定的存储空间。随着文件数的增加,当原有的内存空间无法存储相应的信息时,需要修改内存大小的设置。 配置描述 参数入口: 请参考修改集群服务配置参数,进入HDFS“全部配置”页面。
配置”,选择“全部配置”。在搜索框中输入参数名称。 参数说明 下表仅列举了部分常用参数,实际参数以Manager页面为准,参数详情请参见官网https://docs.cloudera.com/documentation/enterprise/6/properties/6.3/topic
ibm.jsse2.overrideDefaultTLS”为“true”,设置后可以同时支持TLS V1.0/V1.1/V1.2,详情参见https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8.0.0/com.ibm.java.security