检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
写HDFS文件 功能简介 写文件过程为: 实例化一个FileSystem。 由此FileSystem实例获取写文件的各类资源。 将待写内容写入到HDFS的指定文件中。 在写完文件后,需关闭所申请资源。 代码样例 如下是写文件的代码片段,详细代码请参考com.huawei.bigdata
Connector将Presto适配到如Hive或关系型数据库的数据源。 Catalog Catalog包含schema以及引用通过connector连接的数据源 Schema Schema是组织数据表的一种形式。 父主题: Presto应用开发概述
果不正确。 该工具用于对常见的非文本类的数据文件格式进行异常排查。 该章节内容仅适用MRS 3.2.0及之后版本。 操作步骤 使用omm用户登录安装了Hive服务的节点,执行以下命令进入Hive安装目录。 cd ${BIGDATA_HOME}/FusionInsight_HD_*
恢复ClickHouse元数据 操作场景 在用户意外修改、删除或需要找回数据时,集群用户需要对ClickHouse进行重大操作(如升级或迁移等)后,系统数据出现异常或未达到预期结果,导致ClickHouse组件全部故障无法使用,或者迁移数据到新集群的场景中,需要对ClickHouse元数据进行恢复数据操作。
ScramLoginModule required;”。 登录FusionInsight Manager管理界面,重启Kafka服务所有Broker实例。 Kafka客户端配置Kafka Token认证。 参考Kafka Token认证机制工具使用说明为用户生成Token。 二次开发样例工程配置。
从控制台获取项目ID 在调用接口的时候,部分URL中需要填入项目编号(project_id),所以需要获取到项目编号。项目编号获取步骤如下: 登录管理控制台。 单击用户名,在下拉列表中单击“我的凭证”。 在“API凭证”页面的项目列表中查看项目ID。 多项目时,展开“所属区域”,从“项目ID”列获取子项目ID。
用from_utf8来更正无效的UTF-8数据。 此外,这些函数对Unicode代码点进行运算,而不是对用户可见的字符(或字形群集)进行运算。某些语言将多个代码点组合成单个用户感观字符(这是语言书写系统的基本单位),但是函数会将每个代码点视为单独的单位。 lower和upper函
以root用户登录任意一个Master节点并初始化环境变量。 source /opt/client/bigdata_env 执行zkCli.sh -server 'ZooKeeper实例IP地址:ZooKeeper连接端口'命令登录ZooKeeper。 ZooKeeper连接端口通常
准备Spark本地应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 准备Spark连接集群配置文件 配置并导入样例工程 Sp
管理HetuEngine数据源 在HetuEngine的WebUI界面,用户可以对已添加的数据源进行查看、编辑和删除等操作。 使用HetuEngine管理员用户登录Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。 在“概览”页签
directory.move.trash”,“值”为“true”。 单击“保存”保存配置。单击“实例”,勾选所有Hive实例,选择“更多 > 重启实例”,输入当前用户密码,单击“确定”重启所有Hive实例。 父主题: Hive企业级能力增强
根据指导完成客户端的安装和配置。 准备Spark本地应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节
ection refused 用户问题 请求提交任务的Yarn的ResourceManager报错connection refused,且配置的Yarn端口为8032。 问题现象 MRS的Yarn ResourceManager中的一个节点无法连接,且配置的Yarn端口为8032。
HBase表中的单行记录所需权限 集群认证模式 用户所需权限 安全模式 “SELECT”、“INSERT”和“DELETE” 普通模式 无 操作步骤 以Hive客户端安装用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录,配置环境变量并认证用户。 cd 客户端安装目录 source
上传生成的应用包“mapreduce-examples-1.0.jar”到Linux客户端上。例如“/opt”目录。 如果集群开启Kerberos,参考5.2.2-准备开发用户获得的“user.keytab”、“krb5.conf”文件需要在Linux环境上创建文件夹保存这些配置文件,例如“/opt/conf”。
组。 对于每个组使用strategyParams实例化适当的策略类(例如:sortColumns),然后应用该策略重写数据。 创建一个REPLACE提交,并更新HoodieReplaceCommitMetadata中的元数据。 如何执行Clustering 同步执行Clustering配置。
txt FlinkServer访问URL日志。 start_thrift_server.out thrift server启动日志。 thrift_server_thriftServer_xxx.log.last cleanup.log 安装卸载实例时的清理日志。 flink-omm-client-IP
审计日志 对于审计日志来说,记录了某个时间点某个用户从哪个IP发起对HiveServer或者MetaStore的请求以及记录执行的语句是什么。 如下的HiveServer审计日志,表示在2016-02-01 14:51:22 用户user_chen向HiveServer发起了show
配置MRS集群存算分离 MRS存算分离配置流程说明 配置MRS集群通过IAM委托对接OBS 配置MRS集群通过Guardian对接OBS 存算分离常见问题
Flink用户权限管理 Flink安全认证机制说明 Flink用户权限说明 创建FlinkServer权限角色 配置Flink对接Kafka安全认证 配置Flink认证和加密 父主题: 使用Flink