检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。 若运行“Spark on
模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “源端主NameNode IP地址”:填写备集群主NameNode业务平面IP地址。 “源端备NameNode IP地址”:填写备集群备NameNode业务平面IP地址。 “源端NameNode
-hDoris FE实例IP地址 admin用户默认密码为空。 数据库连接端口为Doris FE的查询连接端口,可以通过登录Manager,单击“集群 > 服务 > Doris > 配置”,查询Doris服务的“query_port”参数获取。 Doris FE实例IP地址可通过登录MRS集群的Manager界面,单击“集群
进入Spark客户端目录,调用bin/spark-submit脚本运行代码。 在运行样例程序时需要指定<zkQuorum>,<zkQuorum>指ZooKeeper服务器ip地址。 bin/spark-submit --class com.huawei.bigdata.spark.examples.SparkHivetoHbase
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/female/” )下。 运行任务 进入Spark客户端目录,使用java -cp命令运行代码(类名与文件名
-hDoris FE实例IP地址 执行命令后输入数据库登录用户密码。 Doris FE的查询连接端口,可以通过登录Manager,单击“集群 > 服务 > Doris > 配置”,查询Doris服务的“query_port”参数获取。 Doris FE实例IP地址可通过登录MRS集群的Manager界面,单击“集群
datapath 待导入数据所在目录。 /opt/data balancer_ip_list ClickHouse服务Balancer实例IP地址列表,整体使用括号括起,单个IP使用双引号引起,IP之间使用空格分隔。 ("192.168.1.1" "192.168.1.2") balancer_tcp_port
connection-url=jdbc:mysql://MySQL IP地址:3306 connection-user=用户名 connection-password=密码 “MySQL IP地址”为MySQL实例IP地址,需要和MRS集群网络互通 。 用户名和密码为登录MySQL的连接用户名和密码。
haconnection import HAConnection 声明HiveServer的IP地址列表。本例中hosts代表HiveServer的节点,xxx.xxx.xxx.xxx代表业务IP地址。 hosts = ["xxx.xxx.xxx.xxx", "xxx.xxx.xxx.xxx"]
haconnection import HAConnection 声明HiveServer的IP地址列表。本例中hosts代表HiveServer的节点,xxx.xxx.xxx.xxx代表业务IP地址。 hosts = ["xxx.xxx.xxx.xxx", "xxx.xxx.xxx.xxx"]
port”参数获取。 Doris FE或DBalancer实例IP地址可通过登录MRS集群的Manager界面,单击“集群 > 服务 > Doris > 实例”,查看任一FE或DBalancer实例的业务IP地址。 用户也可以使用MySQL连接软件或者在Doris WebUI界面连接数据库。
服务角色在主机节点上运行的具体实例。 例如运行在Host2上的KerberosAdmin,运行在Host3上的KerberosServer。 主机 一个弹性云服务器,可以运行Linux系统。 例如Host1~Host5。 机架 一组包含使用相同交换机的多个主机集合的物理实体。 例如Rack1,包含Host1~Host5。
的安装部署和参数调优。 MRS服务为客户提供完全可控的大数据集群,客户在创建时可设置虚拟机的登录方式(密码或者密钥对),所创建的MRS集群资源完全归客户所用。同时MRS支持在两节点4U8G的ECS上部署大数据集群,为客户测试开发提供更多的灵活选择。 MRS集群类型包括分析集群、流式集群和混合集群。
当数据的长度恰好为N个字节时,FixedString类型是高效的。在其他情况下,这可能会降低效率。可以有效存储在FixedString类型的列中的值的示例: 二进制表示的IP地址 语言代码(ru_RU, en_US … ) 货币代码(RUB … ) 二进制表示的哈希值(MD5使用FixedString(16),SH
环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。 若运行“Spark on
请输入所需查询日志的节点主机名或管理平面的IP地址。 各IP地址间用“,”隔开,例如:192.168.10.10,192.168.10.11。 如果IP地址连续,用“-”连接。例如:192.168.10.[10-20]。 如果IP地址分段连续,连续时用“-”连接,各IP地址段间用“,”隔开,例如:192
统一身份认证服务 IAM”。 选择“委托 > 创建委托”。 设置“委托名称”。例如:mrs_ecs_obs。 “委托类型”选择“云服务”,在“云服务”中选择“弹性云服务器ECS 裸金属服务器 BMS”,授权ECS或BMS调用OBS服务。 图2 创建委托 “持续时间”选择“永久”并单击“完成”。
求,您还可以变更计费模式。详细介绍请参见变更计费模式概述。 计费项 MRS集群的计费项由MRS服务管理费用和IaaS基础设施资源费用(弹性云服务器,云硬盘)组成。如需了解每种计费项的计费因子、计费公式等详细信息,请参考计费项。 如需了解实际场景下的计费样例以及各计费项在不同计费模式下的费用计算过程,请参见计费样例。
ALM-45742 请求ECS metadata接口失败 本章节仅适用于MRS 3.1.5及之后版本。 告警解释 当Guardian调用IAM接口获取临时aksk时,需要先从ECS metadata接口获取相关元数据信息,如果调用该接口失败,则产生该告警。 告警属性 告警ID 告警级别
服务 > Hue > 实例”,记录主Hue的IP地址。 登录主Hue的IP地址。 执行ping命令,查看主Hue所在主机与DBService服务所在主机的网络连接是否正常。(获取DBService服务IP地址的方式和获取主Hue IP地址的方式相同。) 是,执行13。 否,执行11。