检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
(connection != null) { try { // 关闭hbase连接. connection.close(); } catch
} } if (connection != null) { try { // 关闭Hbase连接 connection.close(); } catch (IOException e)
String password) 初始化Session。 Session.open() 开启Session。 Session.close() 关闭Session。 void setStorageGroup(String storageGroupId) 设置存储组。 void dele
率以提高性能。表示分配给HFile/StoreFile所使用的块缓存的最大heap(-Xmx setting)的百分比。 当offheap关闭时,默认值为0.25,当offheap开启时,默认值是0.1。 Handler相关参数 表3 Handler相关参数 参数 描述 默认值 hbase
加密密码中含有双引号应使用反斜杠\进行转义。可参考Shell的转义字符规则。 命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 - use.keytab 是否使用keytab方式登录。 true,表示使用keytab文件登录
/loader-tools-1.99.3 执行以下命令,对非加密密码进行加密。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 ./encrypt_tool 未加密的密码 得到加密后的密文,作为“authentication
安全模式下Yarn和HBase的权限管理默认是开启的,因此在安全模式下默认需要配置Yarn和HBase权限。 在普通模式下,Yarn和HBase的权限管理默认是关闭的,即任何用户都有权限,因此普通模式下默认不需要配置Yarn和HBase权限。如果用户修改了Yarn或者HBase的配置来开启权限管理,则
率以提高性能。表示分配给HFile/StoreFile所使用的块缓存的最大heap(-Xmx setting)的百分比。 当offheap关闭时,默认值为“0.25”,当offheap开启时,默认值是“0.1”。 Handler相关参数 表3 Handler相关参数 参数 描述 默认值
统会冻结这些资源,其状态为“冻结”。本文提及的冻结一般指欠费冻结,其他冻结场景请参见资源冻结的类型有哪些?。 说明: 冻结期间集群不可用且关闭集群中所有云主机,解冻后集群自动恢复为“运行中”状态。如果用户没有续费,冻结期限到期后集群会被删除,状态更新为“已删除” 故障节点修复中
行SQL的解析和生成执行计划,然后分发到多个Worker进程上执行。 有关Presto的详细信息,请参见:https://prestodb.github.io/或https://prestosql.io/。 Presto多实例 MRS支持为大规格的集群默认安装Presto多实例,
获取Oozie服务器URL(任意节点),这个URL将是客户端提交流程任务的目标地址。 URL格式为:https://Oozie节点业务IP:21003/oozie。端口为“OOZIE_HTTPS_PORT”参数对应值,默认为21003。 例如,“https://10.10.10.176:21003/oozie”。 操作步骤
性能。 MRS将Tez作为Hive的默认执行引擎,执行效率远远超过原先的MapReduce的计算引擎。 有关Tez的详细说明,请参见:https://tez.apache.org/。 Tez和MapReduce间的关系 Tez采用了DAG来组织MapReduce任务(DAG中一个
编译并调测Flink应用 操作场景 在程序代码完成开发后,建议您上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Flink客户端的运行步骤是一样的。 基于YARN集群的Flink应用程序不支持在Windows环境下运行,只支持在Linux环境下运行。
加密密码中含有双引号应使用反斜杠\进行转义。可参考Shell的转义字符规则。 命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 - job.jobId 需要执行数据备份的作业ID。 作业ID可通过登录Loader webUI在已创建的作业查看。
privileges.enable为true后采用show grant查看。 单击“Add”,在策略列表可查看策略的基本信息。等待策略生效后,验证相关权限是否正常。 如需禁用某条策略,可单击按钮编辑策略,设置策略开关为“Disabled”。 如果不再使用策略,可单击按钮删除策略。 Hive数据脱敏
构化数据或半结构化数据的、具备高可靠性、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储系统。更多关于HBase的信息,请参见:https://hbase.apache.org/。 存储在HBase中的表的典型特征: 大表(BigTable):一个表可以有上亿行,上百万列。
"timestamp":1524900185, "value":"true", "tags":{"key":"value"}}' https://<tsd_ip>:4242/api/put?sync <tsd_ip>表示所需写入数据的Opentsdb服务的TSD实例的IP地址。
图1 查看项目ID 调用API获取项目ID 项目ID可以通过调用查询指定条件下的项目信息API获取。 获取项目ID的接口为“GET https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,具体请参考终端节点。 响应示例如下,其
3补丁需要滚动重启Hadoop、Hive、Spark、Kafka、Ranger、Presto以及相关依赖服务,滚动重启服务不断服。 MRS 1.9.2.3补丁安装完成之后,需要关闭指标共享,重新打开指标共享。 慢盘隔离特性约束: 隔离慢盘之前无法判断集群节点是否存在客户私有化数据,因此不要在节点数据盘存放个人私有化数据,避免慢盘隔离时对业务造成影响;
根据集群版本选择对应的分支,下载并获取MRS相关样例工程。 例如本章节场景对应示例为“SparkHivetoHbase”样例,获取地址:https://github.com/huaweicloud/huaweicloud-mrs-example/tree/mrs-3.1.5/src