检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
directory</name> <value>[1]查询中间结果的临时目录</value> </property> Java样例:使用JDBC接口访问HBase。 public String getURL(Configuration conf) {
根据指导完成客户端的安装和配置。 准备Spark本地应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节
conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:sparkuser,需要修改为准备好的开发用户。 打包项目 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上。 通过
写HDFS文件 功能简介 写文件过程为: 实例化一个FileSystem。 由此FileSystem实例获取写文件的各类资源。 将待写内容写入到HDFS的指定文件中。 在写完文件后,需关闭所申请资源。 代码样例 如下是写文件的代码片段,详细代码请参考com.huawei.bigdata
Connector将Presto适配到如Hive或关系型数据库的数据源。 Catalog Catalog包含schema以及引用通过connector连接的数据源 Schema Schema是组织数据表的一种形式。 父主题: Presto应用开发概述
} LOG.info("Exiting testSingleColumnValueFilter."); } 注意事项 当前二级索引不支持使用SubstringComparator类定义的对象作为Filter的比较器。 例如,如下示例中的用法当前不支持: Scan scan
Manager无法登录和操作。 恢复过程中需要重启所有集群,集群重启时无法访问。 Manager数据恢复后,会丢失从备份时刻到恢复时刻之间的数据,例如系统设置、用户信息、告警信息或审计信息。可能导致无法查询到数据,或者某个用户无法访问集群。 Manager数据恢复后,系统将强制各集群的LdapServer从OLadp同步一次数据。
器(SSH方式)。 MRS集群安全组入方向将所有端口对客户端节点放开,具体操作请参考添加安全组规则。 集群内节点安装客户端 获取软件包。 访问集群Manager,在“集群”下拉列表中单击需要操作的集群名称。 选择“更多 > 下载客户端”,弹出“下载集群客户端”信息提示框。 图1 下载客户端
准备本地应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 准备连接Hive集群配置文件
Hive用户权限管理 Hive用户权限说明 创建Hive角色 配置Hive表、列或数据库的用户权限 配置Hive业务使用其他组件的用户权限 父主题: 使用Hive
Spark用户权限管理 SparkSQL用户权限介绍 创建SparkSQL角色 配置Spark表、列和数据库的用户权限 配置SparkSQL业务用户权限 配置Spark Web UI ACL Spark客户端和服务端权限参数配置说明 父主题: 使用Spark/Spark2x
Yarn用户权限管理 创建Yarn角色 父主题: 使用Yarn
角色”,在“角色”界面单击“添加角色”按钮,进入添加角色页面。 在添加角色界面输入“角色名称”,例如ckrole,在配置资源权限处单击集群名称,进入服务列表页面,单击ClickHouse服务,进入ClickHouse权限资源页面。 勾选“ClickHouse管理员权限”,单击“确定”操作结束。
spark.shuffle.io.connectionTimeout shuffle操作时连接远程节点的超时时间。单位:秒。 120s spark.network.timeout 所有涉及网络连接操作的超时时间。单位:秒。 360s 回答 由于当前数据量较大,有16T,而分区数只有2
spark.shuffle.io.connectionTimeout shuffle操作时连接远程节点的超时时间。单位:秒。 120s spark.network.timeout 所有涉及网络连接操作的超时时间。单位:秒。 360s 回答 由于当前数据量较大,有16T,而分区数只有2
进入Mapreduce服务参数“全部配置”界面,具体操作请参考修改集群服务配置参数章节。 在搜索框中输入参数名称,修改并保存配置。然后在Mapreduce服务“概览”页面选择“更多 > 同步配置”。同步完成后重启Mapreduce服务。 作业日志参数: 表1 参数说明 参数 描述 默认值 mapreduce
进入Mapreduce服务参数“全部配置”界面,具体操作请参考修改集群服务配置参数章节。 在搜索框中输入参数名称,修改并保存配置。然后在Mapreduce服务“概览”页面选择“更多 > 同步配置”。同步完成后重启Mapreduce服务。 作业日志参数: 表1 参数说明 参数 描述 默认值 mapreduce
e-server.log /var/log/Bigdata/clickhouse/clickhouseServer/ugsync.log 用户角色同步工具打印日志。 /var/log/Bigdata/clickhouse/clickhouseServer/prestart.log
API:提供基于窗口的API。 资源调度器:新增基于资源的调度器插件,可以在拓扑定义时指定可使用的最大资源,并且通过配置的方式指定用户的资源配额,从而管理该用户名下的拓扑资源。 State Management:提供带检查点机制的Bolt接口,当事件失败时,Storm会自动管理bolt的状态并且执行恢复。
安装MRS集群客户端 安装客户端(3.x版本) 安装客户端(2.x及之前版本)