检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不同版本计费差异 普通版和LTS版由于功能不一致,计费存在一定差异,详情请查看计费说明,您也可以通过MRS提供的价格计算器,选择您需要的集群版本、节点规格,快速计算出购买MRS集群的参考价格。
在聚合函数中,FILTER是更符合SQL标准用于过滤的语法,并且能获得更多的性能提升。FILTER是用于聚合函数的修饰符,用于限制聚合中使用的值。 【示例】在某些场景下需要从不同维度来统计UV,如Android中的UV,iPhone中的UV,Web中的UV和总UV,这时可能会使用如下CASE
扩容成功后,可以在集群详情的“节点管理”页签查看集群的节点信息。 扩容包周期集群 登录MRS管理控制台。 选择“现有集群” ,选中一个运行中的集群并单击集群名称,进入集群信息页面。 选择“节点管理”页签,在需要扩容的节点组的“操作”列单击“扩容”,进入扩容集群页面。 只有运行中的集群才能进行扩容操作。
API订阅安全Topic,并进行消息消费的代码片段。 详细内容在com.huawei.bigdata.kafka.example.Consumer类中。 /** * Consumer构造函数。 * @param topic 订阅的Topic名称。 */
API订阅安全Topic,并进行消息消费的代码片段。 详细内容在com.huawei.bigdata.kafka.example.Consumer类中。 /** * Consumer构造函数。 * @param topic 订阅的Topic名称。 */
初始化HDFS 功能简介 在使用HDFS提供的API之前,需要先进行HDFS初始化操作。过程为: 加载HDFS服务配置文件,并进行kerberos安全认证。 认证通过后,实例化Filesystem。 此处kerberos安全认证需要使用到的keytab文件,请提前准备。 代码样例 如下是代码片段,详细代码请参考com
/user/mapred:755 配置HDFS文件和目录的权限 HDFS支持用户进行文件和目录默认权限的修改。HDFS默认用户创建文件和目录的权限的掩码为“022”,如果默认权限满足不了用户的需求,可以通过配置项进行默认权限的修改。 参数入口: 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。
/user/mapred:755 配置HDFS文件和目录的权限 HDFS支持用户进行文件和目录默认权限的修改。HDFS默认用户创建文件和目录的权限的掩码为“022”,如果默认权限满足不了用户的需求,可以通过配置项进行默认权限的修改。 参数入口: 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。
版本为47.3.1。 具体软件,请到对应的官方网站获取。 https://pypi.org/project/setuptools/#files 将下载的setuptools压缩文件复制到客户端机器上,解压后进入解压目录,在客户端机器的命令行终端执行python3 setup.py
ReadOnlyAccess权限,拥有该权限的用户仅能查看MRS的资源。)。 默认情况下,管理员创建的IAM用户没有任何权限,需要将其加入用户组,并给用户组授予策略或角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。 在MRS管理控制台“现有集群”
API订阅安全Topic,并进行消息消费的代码片段。 详细内容在com.huawei.bigdata.kafka.example.Consumer类中。 /** * Consumer构造函数。 * @param topic 订阅的Topic名称。 */
debug=true; }; 其中keyTab和principal的值请按照实际情况配置,所配置的principal需要有相应的kafka的权限。 配置业务,其中kafka.bootstrap.servers的端口号使用21007,kafka.security.protocol使用SASL_PLAINTEXT。
DFS中执行增、删、改、查数据的操作时,必须获取对应的TGT和ST,用于本次安全访问的认证。 应用开发认证 MRS各组件提供了应用开发接口,用于用户或者上层业务产品集群使用。在应用开发过程中,安全模式的集群提供了特定的应用开发认证接口,用于应用程序的安全认证与访问。例如hadoop-common
API订阅安全Topic,并进行消息消费的代码片段。 详细内容在com.huawei.bigdata.kafka.example.Consumer类中。 /** * Consumer构造函数。 * @param topic 订阅的Topic名称。 */
HMaster通过ZooKeeper协调log splitting任务和有效的RegionServer,并追踪任务的发展。如果主HMaster在log splitting任务期间退出,新的主HMaster会尝试重发没有完成的任务,RegionServer从头启动log splitting任务。
WebUI”右侧,单击URL链接,访问KafkaUI的页面。 单击“Topics”,进入Topic管理页面。 在待修改项的“Operation”列单击“Action > Alter”,弹出的页面中修改Topic分区。 目前集群只支持增加分区操作,即修改的分区个数要大于原设置的分区个数。 单击“OK”完成修改。
kinit 组件业务用户 该方式仅适用于Linux操作系统,且安装了Kudu的客户端。 代码认证: 通过获取客户端的principal配置文件和keytab文件进行认证。 父主题: 准备Kudu应用开发环境
HBase服务数据读写示例安全认证(多集群互信场景) 场景说明 当不同的多个Manager系统下安全模式的集群需要互相访问对方的资源时,管理员可以设置互信的系统,使外部系统的用户可以在本系统中使用。每个系统用户安全使用的范围定义为“域”,不同的Manager系统需要定义唯一的域名。跨Manager访问实际上就是用
HBase服务数据读写示例安全认证(多集群互信场景) 场景说明 当不同的多个Manager系统下安全模式的集群需要互相访问对方的资源时,管理员可以设置互信的系统,使外部系统的用户可以在本系统中使用。每个系统用户安全使用的范围定义为“域”,不同的Manager系统需要定义唯一的域名。跨Manager访问实际上就是用
timeouts 客户端与服务端建立Socket连接超时时,客户端的重试次数。 取值范围:1~256 45 ipc.client.connect.timeout 客户端与服务端建立socket连接的超时时间。增大该参数值,可以增加建立连接的超时时间。 单位:毫秒。取值范围:1~3600000 20000