检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群进行扩容的时候,就需要对Colocation的locators分配进行重新规划。 2 创建一批新的locators,并重新规划数据存放方式。 旧的locators使用的是旧的数据节点,而新创建的locators偏重使用新的数据节点,所以需要根据实际业务对数据的使用需求,重新规划locators的使用。
用2个标签配额。 单击“确定”添加标签。 为节点增加标签 为集群增加默认标签时自动增加节点标签,请参见•为已有集群增加集群标签。 弹性伸缩方式为节点自动增加节点标签 配置弹性伸缩策略时添加标签,MRS会自动为新扩容的节点加上该标签,并将标签同步至云服务器和云硬盘。 登录MRS管理控制台。
ketab路径命令”查看配置文件“*.kerberosKeytab”参数所指的keytab认证路径是否存在。 是,执行20。 否,执行19。 ketab路径查看方式:cat properties.properties | grep keytab 将步骤18中kerberosKeytab参数的值指定为用户自定的keytab路径,执行21。
ndencies.jar 显示结果如下: 调用ClickHouse的SpringBoot样例接口触发样例代码运行: Windows环境运行方式: 打开浏览器,输入:http://ClickHouse客户端节点IP:8080/clickhouse/executeQuery,查看浏览器返回信息:
能。可通过如下方法确认单个备份或恢复任务的znode数量: 单个备份或恢复任务的znode数量要少于操作系统的文件句柄限制。查看句柄限制的方式如下: 使用shell命令输入:cat /proc/sys/fs/file-max,用于查看系统级的最大限制。 使用shell命令输入:ulimit
大降低数据传输量,减轻网络带宽压力。社区开放了ReplicaSelector接口来支持此特性,MRS Kafka中默认提供两种实现此接口的方式。 RackAwareReplicaSelector:优先从相同机架的副本进行消费(机架内就近消费特性)。 AzAwareReplicaS
输入类型 输出类型 Hive输入 表输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,设置数据保存方式。 表4 输出设置参数 参数名 说明 示例 架构名称 数据库模式名。 dbo 表名 数据库表名,用于最终保存传输的数据。 说明: 表名可以
宽不尽相同。 在Spark-shell上使用CarbonData 用户若需要在Spark-shell上使用CarbonData,需通过如下方式创建CarbonData Table,加载数据到CarbonData Table和在CarbonData中查询数据的操作。 spark.sql("CREATE
不尽相同。 在Spark-shell上使用CarbonData 用户如果需要在Spark-shell上使用CarbonData,需通过如下方式创建CarbonData Table,加载数据到CarbonData Table和在CarbonData中查询数据的操作。 spark.sql("CREATE
第三部分是权限,如cdrwa指的是拥有所有权限。 特别的,由于普通模式启动客户端不需要认证,sasl认证类型的ACL在普通模式下将不能使用。本文所有涉及sasl方式的鉴权操作均是在安全集群中进行。 表1 Zookeeper的五种ACL 权限说明 权限简称 权限详情 创建权限 create(c) 可以在当前znode下创建子znode
大降低数据传输量,减轻网络带宽压力。社区开放了ReplicaSelector接口来支持此特性,MRS Kafka中默认提供两种实现此接口的方式。 RackAwareReplicaSelector:优先从相同机架的副本进行消费(机架内就近消费特性)。 AzAwareReplicaS
ndencies.jar 显示结果如下: 调用ClickHouse的SpringBoot样例接口触发样例代码运行: Windows环境运行方式: 打开浏览器,输入:http://ClickHouse客户端节点IP:8080/clickhouse/executeQuery,查看浏览器返回信息:
CLI:使用--source选项。 JDBC:在Connection实例上设置ApplicationName客户端信息属性。 客户端标签(clientTags)的设置方式如下: CLI:使用--client-tags选项。 JDBC:在Connection实例上设置ClientTags client info属性。
第三部分是权限,如cdrwa指的是拥有所有权限。 特别的,由于普通模式启动客户端不需要认证,sasl认证类型的ACL在普通模式下将不能使用。本文所有涉及sasl方式的鉴权操作均是在安全集群中进行。 表1 Zookeeper的五种ACL 权限说明 权限简称 权限详情 创建权限 create(c) 可以在当前znode下创建子znode
根据业务侧需求考虑是否需要将该用户添加到白名单中。 是,执行13。 否,执行15。 将用户添加到白名单,需要重启Kafka服务,这样会中断服务导致业务受影响,因此如果要采用这种方式,必须和业务侧确认后才能进行。 在FusionInsight Manager首页,选择“集群 > 待操作的集群名称 > 服务 > Kafka
输入类型 输出类型 HBase输入 表输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,设置数据保存方式。 表4 输出设置参数 参数名 说明 示例 架构名称 数据库模式名。 dbo 表名 数据库表名,用于最终保存传输的数据。 说明: 表名可以
输入类型 输出类型 Hive输入 表输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,设置数据保存方式。 表4 输出设置参数 参数名 说明 示例 架构名称 数据库模式名。 dbo 表名 数据库表名,用于最终保存传输的数据。 说明: 表名可以
该路径必须在/clickhouse目录下,否则后续可能因为ZooKeeper配额不够导致数据插入失败。 为了避免不同表在ZooKeeper上数据冲突,目录格式必须按照如下规范填写: /clickhouse/tables/{shard}/default/test,其中/clickhouse/tables/{shard
resource_pool_name String 参数解释: 资源池名称。 约束限制: 当集群版本不支持按指定资源池进行弹性伸缩时,需要填写为default资源池。 取值范围: 只能由英文字母、数字以及“_”和“-”组成。 默认取值: 不涉及 auto_scaling_policy
sql.SQLContext:是Spark SQL功能和DataFrame的主入口。 pyspark.sql.DataFrame:是一个以命名列方式组织的分布式数据集。 pyspark.sql.HiveContext:获取存储在Hive中数据的主入口。 pyspark.sql.Data