检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
spark.examples.streaming.StreamingExampleProducer {BrokerList} {Topic} 如果开启了kerberos认证,需要将客户端的配置文件“spark-defaults.conf”和sparkJDBC服务端中的配置项spark.yarn
source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要具有创建HBase表的权限,具体请参见创建角色配置拥有对应权限的角色,参考创建用户为用户绑定对应角色。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit
name对应新建的用户hbaseuser,userKeytabName和krb5ConfName路径对应从准备HBase应用开发用户中获取的认证相关文件名称(未开启Kerberos认证集群可跳过此步)。 user.name=hbaseuser userKeytabName=user.keytab krb5ConfName=krb5
配置并导入样例工程 MRS提供了不同组件场景下的多种样例程序,用户可获取样例工程并导入本地开发环境中进行程序学习。 配置安全认证 连接开启了Kerberos认证的MRS集群时,应用程序中需配置具有相关资源访问权限的用户进行安全认证。 根据业务场景开发程序 根据实际业务场景开发程序,调用组件接口实现对应功能。
表1 HBase参数说明 参数 参数说明 参数值 hbase.regionserver.hfile.durable.sync 设置是否启用Hfile耐久性以将数据持久化到磁盘。若将该参数设置为true,由于每个Hfile写入HBase时都会被hadoop fsync同步到磁盘上,则HBase性能将受到影响。
source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要具有创建HBase表的权限,具体请参见创建角色配置拥有对应权限的角色,参考创建用户为用户绑定对应角色。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit
source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要具有创建HBase表的权限,具体请参见创建角色配置拥有对应权限的角色,参考创建用户为用户绑定对应角色。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit
source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要具有创建HBase表的权限,具体请参见创建角色配置拥有对应权限的角色,参考创建用户为用户绑定对应角色。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit
二级索引等功能。在创建表的时候需要指定表引擎,不同的表引擎会决定一张数据表的最终“性格”,比如数据表拥有何种特性、数据以何种形式被存储以及如何被加载。 父主题: ClickHouse应用开发简介
二级索引等功能。在创建表的时候需要指定表引擎,不同的表引擎会决定一张数据表的最终“性格”,比如数据表拥有何种特性、数据以何种形式被存储以及如何被加载。 父主题: ClickHouse应用开发简介
HBase运维管理 HBase日志介绍 配置Region Transition恢复线程 启用集群间拷贝功能备份集群数据 配置HBase主备集群数据自动备份 HBase集群容灾高可用 父主题: 使用HBase
scaling-in:缩容中 starting:启动中 terminating:删除中 terminated:已删除 failed:失败 API的调用方法请参见如何调用API。 约束限制 已获取待创建集群区域的项目ID,请参考获取项目ID获取。 已获取集群ID,即创建集群成功后返回结果中的“cluster_id”
表1 Flume角色服务端所需修改的参数列表 参数名称 参数值填写规则 参数样例 ssl 是否启用SSL认证(基于安全要求,建议启用此功能)。 true表示启用。 false表示不启用。 true keystore 服务端证书。 ${BIGDATA_HOME}/FusionInsight_Porter_8
HBase运维管理 HBase日志介绍 HBase常用参数配置 配置Region Transition恢复线程 启用集群间拷贝功能备份集群数据 配置HBase主备集群数据自动备份 HBase集群容灾高可用 父主题: 使用HBase
source HBase/component_env 如果集群已启用Kerberos认证(安全模式),执行以下命令以HBase内置用户进行认证,如果是首次认证,需要输入默认密码,并修改密码: kinit hbase 如果集群未启用Kerberos认证(普通模式),则执行以下命令设置Hadoop用户名:
使用Impala Impala客户端使用实践 访问Impala WebUI界面 使用Impala操作Kudu表 Impala对接外部LDAP Impala启用并配置动态资源池 使用Impala查询管理界面 Impala常见配置参数 Impala常见问题
使用Impala Impala客户端使用实践 访问Impala WebUI界面 使用Impala操作Kudu表 Impala对接外部LDAP Impala启用并配置动态资源池 使用Impala查询管理界面 Impala常见配置参数 Impala常见问题
配置”,在搜索框中搜索表1中的参数,并根据业务实际情况修改参数值以启用HBase分时Compaction吞吐量功能,且参数支持动态生效,修改配置保存后,登录hbase shell命令行执行update_all_config即可更新配置,无需重启实例。 开启HBase分时Compaction吞吐量功能需“hbase
使用Yarn Yarn用户权限管理 使用Yarn客户端提交任务 配置Container日志聚合功能 启用Yarn CGroups功能限制Container CPU使用率 Yarn企业级能力增强 Yarn性能调优 Yarn运维管理 Yarn常见问题
用户可以直接单击“测试”立即检测连接是否可用。 查看连接 在Loader页面,单击“管理连接”。 如果集群启用了Kerberos认证,则默认显示所有当前用户创建的连接,不支持显示其他用户创建的连接。 如果集群未启用Kerberos认证,则显示集群中全部的Loader连接。 在“Sqoop连接”中输入指定连接的名称,可以筛选该连接。