检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kerberos认证 不开启 是否启用Kerberos认证。 用户名 admin/root 登录集群管理页面及ECS节点的用户名。 密码 - 设置登录集群管理页面及ECS节点用户的密码。 确认密码 - 再次输入设置用户密码。 企业项目 default 选择集群所属的企业项目。 通信安全授权
包年/包月 包年/包月是一种先付费再使用的计费模式,适用于对资源需求稳定且希望降低成本的用户。本文将介绍包年/包月MRS集群资源的计费规则。 适用场景 包年/包月计费模式需要用户预先支付一定时长的费用,适用于长期、稳定的业务需求。 以下是一些适用于包年/包月计费模式的业务场景: 用户基于业务需求可预估资源使用周期。
xml”中(例如“客户端安装路径/HDFS/hadoop/etc/hadoop/”)配置如下参数。 表1 参数描述 参数 描述 默认值 io.compression.codecs 为了使LZC压缩格式生效,在现有的压缩格式列表中增加如下值: “com.huawei.hadoop.datasight.io.compress
如果对RocksDB有频繁的读取请求,那么磁盘IO会成为Flink任务瓶颈。当一个 TaskManager包含三个slot时,那么单个服务器上的三个并行度都对磁盘造成频繁读写,从而导致三个并行度的之间相互争抢同一个磁盘IO,导致三个并行度的吞吐量都会下降。可以通过指定多个不同的硬盘从而减少IO竞争。
UI五种方式,可参考HDFS常用API介绍、HDFS Shell命令介绍。 JAVA API 提供HDFS文件系统的应用接口,本开发指南主要介绍如何使用Java API进行HDFS文件系统的应用开发。 C API 提供HDFS文件系统的应用接口,使用C语言开发的用户可参考C接口的描述进行应用开发。
WebUI的Flink作业开发界面添加自定义参数“table.optimizer.multi-join-enabled”为“true”开启MultiJoin算子功能,可参考如何创建FlinkServer作业。 SQL示例: CREATE TABLE datagen1 ( id int, f1 int,
请登录密钥管理控制台进行操作。 数据盘密钥ID 用于加密数据盘的密钥ID。 组件版本 集群安装各组件的版本信息。 委托 通过绑定委托,ECS或BMS云服务将有权限来管理您的部分资源。 父主题: 查看MRS集群日志
进入Spark客户端目录,调用bin/spark-submit脚本运行代码。 在运行样例程序时需要指定<zkQuorum>,<zkQuorum>指ZooKeeper服务器ip地址。 bin/spark-submit --class com.huawei.bigdata.spark.examples.SparkHivetoHbase
击。 所以在普通模式下,建议单用户场景下使用,必须通过严格限定网络访问权限来保障集群的安全。 尽量将业务应用程序部署在同VPC和子网下的ECS中,避免通过外网访问MRS集群。 配置严格限制访问范围的安全组规则,禁止对MRS集群的入方向端口配置允许Any或0.0.0.0的访问规则。
如为test用户在“default”库中的“datagen”表添加“a<>1”过滤条件。 使用权限配置完成的用户通过FlinkServer提交FlinkSQL作业,详情可参考如何创建FlinkServer作业。 SQL示例如下: CREATE CATALOG myhive WITH ( 'type' = 'hive'
Kerberos认证 不开启 是否启用Kerberos认证。 用户名 admin/root 登录集群管理页面及ECS节点的用户名。 密码 - 设置登录集群管理页面及ECS节点用户的密码。 确认密码 - 再次输入设置用户密码。 企业项目 default 选择集群所属的企业项目。 通信安全授权
二级索引等功能。在创建表的时候需要指定表引擎,不同的表引擎会决定一张数据表的最终“性格”,比如数据表拥有何种特性、数据以何种形式被存储以及如何被加载。 父主题: ClickHouse开发指南(普通模式)
以root用户登录告警所在主机,用户密码为安装前用户自定义,请咨询系统管理员。 执行命令ethtool 网口名称,查看当前网口速率最大值Speed。 对于虚拟机环境,通过命令可能无法查询到网口速率,建议直接联系系统管理确认网口速率是否满足需求。 若网络读吞吐率超过阈值,直接联系网络管理员,提升网口速率。
连接时应答的超时时间(单位:秒)。为了避免由于GC带来的长时间等待,可以设置更大的值。 60 加密 Spark支持Akka和HTTP(广播和文件服务器)协议的SSL,但WebUI和块转移服务仍不支持SSL。 SSL必须在每个节点上配置,并使用特殊协议为通信涉及到的每个组件进行配置。 表24
以root用户登录告警所在主机,用户密码为安装前用户自定义,请咨询系统管理员。 执行命令ethtool 网口名称,查看当前网口速率最大值Speed。 对于虚拟机环境,通过命令可能无法查询到网口速率,建议直接联系系统管理确认网口速率是否满足需求。 若网络写吞吐率超过阈值,直接联系网络管理员,提升网口速率。
连接时应答的超时时间(单位:秒)。为了避免由于GC带来的长时间等待,可以设置更大的值。 60 加密 Spark支持Akka和HTTP(广播和文件服务器)协议的SSL,但WebUI和块转移服务仍不支持SSL。 SSL必须在每个节点上配置,并使用特殊协议为通信涉及到的每个组件进行配置。 表24
Core节点是存放集群业务数据的节点,在缩容时必须保证待缩容节点上的数据被完整迁移到其他节点,即完成各个组件的退服之后,才会执行缩容的后续操作(节点退出Manager和删除ECS等)。在选择Core节点时,会优先选择存储数据量较小,且可退服实例健康状态良好的节点,避免节点退服失败。例如在分析集群上,Core节点安装
IoTDB特指其中的时间序列数据库组件。 图3 IoTDB结构 用户可以通过JDBC/Session将来自设备传感器上采集的时序数据和服务器负载、CPU内存等系统状态数据、消息队列中的时序数据、应用程序的时序数据或者其他数据库中的时序数据导入到本地或者远程的IoTDB中。用户还
二级索引等功能。在创建表的时候需要指定表引擎,不同的表引擎会决定一张数据表的最终“性格”,比如数据表拥有何种特性、数据以何种形式被存储以及如何被加载。 父主题: ClickHouse开发指南(安全模式)
CLIENT_GC_OPTS="-Xmx1G" 在修改完后,使用如下命令刷新客户端配置,使之生效: source <客户端安装路径>/bigdata_env 如何设置Yarn客户端运行时的日志级别? Yarn客户端运行时的日志是默认输出到Console控制台的,其级别默认是INFO级别。有的时候为了