检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用于提交Spark应用到Spark集群中运行,返回运行结果。需要指定class、master、jar包以及入参。 示例:执行jar包中的GroupByTest例子,入参为4个,指定集群运行模式是local单核运行。 ./bin/spark-submit --class org.apache.spark.examples
re密码。 否 说明: 该参数未配置时为非安全Kafka。 如果需要配置SSL,truststore.jks文件生成方式可参考“Kafka开发指南 > 客户端SSL加密功能使用说明”章节。 四种类型实际命令示,以ReadFromKafka为例,集群域名为“HADOOP.COM”:
default database tables columns策略 在Hive组件安全访问策略列表页面,单击“Add New Policy”为相关用户或者用户组添加资源访问策略,具体请参考配置组件权限策略。 Hive支持只显示有权限的库和表。Hue只支持显示有权限的库,授权库后即展示该库中所有的表。
执行以下命令,切换到客户端安装目录。 cd 客户端安装目录 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 在hdfs命令行显式添加要访问的OBS文件系统。
个批次重启的实例数,默认为1。 说明: 该参数仅对同时满足“采用并发滚动策略”和“实例为数据节点”两个条件时才有效。 当启用机架策略时,该参数将失效,集群以机架策略默认配置的最大实例数(默认值为20)作为一个机架内分批并发重启的最大实例数。 该参数仅在滚动重启HDFS、HBase
创建集群时已勾选Sqoop组件以及依赖的服务。 安装客户端,具体请参考安装客户端(3.x及之后版本)。例如安装目录为“/opt/client”,请根据实际安装目录修改。为使用Sqoop时简单方便,使用Sqoop时需要安装全量客户端。 如果集群已开启kerberos认证,需要先创建或
执行命令df -h查看挂载目录,找到故障告警目录挂载的磁盘。 执行命令smartctl -a /dev/sd故障磁盘,进行磁盘检测,其中“故障磁盘”为3查询到的磁盘。 若检测结果如下图所示,其中“SMART Health Status: OK”,表示当前磁盘是健康的,执行6。 若检测结果如下图所示,其中“Elements
使用WinSCP工具,以客户端安装用户将压缩文件保存到客户端安装的目录,例如“/opt/hadoopclient”。 解压软件包。 例如下载的客户端文件为“FusionInsight_Cluster_1_Services_Client.tar”执行如下命令进入客户端所在目录,解压文件到本地目录。
权 > 查看授权信息”查看授权详细信息。 问题解决后,在页面右上角单击“运维”,选择“集群界面授权 > 关闭授权”为华为云支持人员取消访问权限。 巡检授权 MRS为您提供巡检集群功能,帮助您检查集群的基础信息,包括容量、资源、版本、缺陷等,帮助您更好的维护集群。当您需要对集群进行
COM。 未开启Kerberos认证集群略过此步骤。 在Linux环境中添加样例工程运行所需的classpath,例如(以客户端安装路径为/opt/conf为例) export YARN_USER_CLASSPATH=/opt/conf/:/opt/client/HBase/hbase/
-c 打印当前元信息中列的信息。 列信息包含类名、类型、序号。 -d 打印数据文件中的数据,可通过“'limit=x'”限制数据量。 数据为当前指定的数据文件内容,通过limit限制数据量时一次只能指定一个数据量大小。 -t 打印写入数据的时区。 打印此文件写入时区。 -h 使用帮助格式化说明。
在概览页签下的“基本信息”区域,单击“HSConsole WebUI”后的链接,进入HSConsole界面。 在计算实例页面,查看是否存在状态为“故障”的计算实例。 是,执行13。 否,执行14。 在实例的“操作”列中,单击“启动”,等待实例启动完成。 在告警列表中,查看“ALM-45001
Kerberos认证:开启 其他参数根据实际需要进行配置。 集群购买完成后安装集群客户端,详细操作请参考安装客户端(3.x版本)。 例如客户端安装路径为“/opt/dorisclient”。 在Doris集群安装MySQL客户端,详细操作请参考使用MySQL客户端连接Doris。 创建拥有D
channel = c1 参数“server.sources.r1.spooldir”的值为3新建的txt文件所在目录。 参数“server.sinks.obs_sink.hdfs.path”中的值为1中新建的OBS文件系统。 将“客户端安装目录/Hive/Beeline/lib”目录
需在本地环境变量中设置环境变量认证用户名和认证用户密码,建议密文存放,使用时解密,确保安全。其中: 认证用户名为访问IoTDB的用户名。 认证用户密码为访问IoTDB的用户密码。 public class FlinkIoTDBSink { public static void main(String[]
登录MRS集群详情页面,选择“组件管理”。 单击“Flume > 实例”。 单击进入故障节点的Flume实例页面,查看指标“Sink速度指标”,检查其速度是否为0。 是,执行2.a。 否,处理完毕。 检查Flume Sink配置的IP所在节点与故障节点的网络状态。 确认Flume Sink是否是avro类型。
全部配置”,搜索参数“yarn.resourcemanager.placement-constraints.handler”,并将其“值”设置为“scheduler”,单击“保存”并确定,保存配置。 单击“实例”,勾选ResourceManager实例(主、备实例都需要重启),选择“更多
使用客户端安装用户登录客户端所在节点,切换到客户端目录: cd 客户端安装目录 执行以下命令加载环境变量: source bigdata_env 启用多实例功能后,为其他HBase服务实例进行应用程序开发时还需执行以下命令,切换指定服务实例的客户端。 例如HBase2:source /opt/client
使用具有创建CDL任务的用户或者具有管理员权限的用户登录FusionInsight Manager。 选择“运维 > 告警 > 告警”,单击“告警ID”为“45617”所在行的,在“定位信息”中查看发生该告警的作业名称。 在告警列表中,查看是否存在该任务对应的“ALM-45616 CDL任务执行异常”告警。
在初始化建立Kafka消费者实例时,设置此配置项“max.partition.fetch.bytes”的值。 例如,参考本例,可以将此配置项设置为“5252880”: ...... // 安全协议类型 props.put(securityProtocol, kafkaProc.getV