检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MySQL Tools Doris采用MySQL协议，高度兼容MySQL语法，支持标准SQL，用户可以通过各类客户端工具来访问Doris，并支持与BI工具无缝对接。 FE 主要负责用户请求的接入、查询解析规划、元数据的管理、节点管理相关工作。 BE 主要负责存储数据、执行查询计划、副本负载均衡。
txt"和"/opt/log2.txt"。 数据文件若存放在本地文件系统，需在所有部署Yarn NodeManager的节点指定目录放置，并设置运行用户访问权限。 若将数据文件放置于HDFS，需指定程序中读取文件路径HDFS路径，例如"hdfs://hacluster/path/to/file"。
步骤中的reducer为下一个步骤中的mapper提供数据。Hive on Tez任务仅在一个任务中就能完成同样的处理过程，任务之间不需要访问HDFS。 Tez和Yarn间的关系 Tez是运行在Yarn之上的计算框架，运行时环境由Yarn的ResourceManager和Appl
算法实现对敏感数据的加密存储。HBase支持加密HFile和WAL内容，用户可以配置AES和SMS4算法进行数据的加密存储（参见加密HFile和WAL内容）。 数据传输安全性 在MRS集群中，Web通道访问支持HTTPS加密；RPC通信支持SASL认证，并可配置对称密钥的方式进行加密。
连接开启了Kerberos认证的MRS集群时，应用程序中需配置具有相关资源访问权限的用户进行安全认证。 根据业务场景开发程序 根据实际业务场景开发程序，调用组件接口实现对应功能。 编译并运行程序 将开发好的程序编译运行，用户可在本地Windows开发环境中进行程序调测运行，也可以将程序编译
lugin”，命令如下： mysql --enable-cleartext-plugin -u数据库登录用户 -p数据库登录用户密码 -P数据库连接端口 -hDoris FE实例IP地址 在安装了MySQL客户端的节点执行以下命令启用mysql_clear_password插件，再重新连接Doris即可。
可能原因 该节点Kafka实例堆内存使用率过大，或配置的堆内存不合理，导致使用率超过阈值。 处理步骤 检查堆内存使用率。 登录MRS集群详情页面，选择“告警管理”。 单击“ALM-38002 Kafka堆内存使用率超过阈值 > 定位信息”。查看告警上报的实例的IP地址。 单击“组件管理
“/opt/hadoopclient”。 HetuEngine服务及计算实例运行状态正常。 如集群已启用Kerberos认证，需提前创建HetuEngine的用户并授予相关权限，且需要通过Ranger为该用户配置操作数据源的数据库、表、列的管理权限。 配置HetuEngine SQL防御使用约束
超高I/O型：I3型、IR3型 鲲鹏内存优化型：KM1型 鲲鹏超高I/O型：KI1型 鲲鹏通用计算增强型：KC1型 针对不同的应用场景，MRS使用到如下实例的裸金属服务器。 鲲鹏 V1实例 规格命名规则 AB.C.D 例如m2.8xlarge.8 其中， A表示系列，例如：s表示通用型、c表示计算型、m表示内存型。
的值为当前非堆内存使用量的两倍（或根据实际情况进行调整）。 重启受影响的服务或实例观察界面告警是否清除。 是，处理完毕。 否，执行6。 重启服务期间服务不可用，业务中断。重启实例期间实例不可用，当前实例节点任务会执行失败。 收集故障信息。 在FusionInsight Manager界面，选择“运维
> 用户”，单击“添加用户”，创建用户test（实际运行用户）和test1（代理用户）用户，用户组选择hadoop、hive和supergroup，主组选择hadoop。 在spark-beeline中使用代理用户提交Spark任务 修改JDBCServer实例配置。 登录FusionInsight
安全模式下在提交source.jar之前，请确保已经进行kerberos安全登录，并且keytab方式下，登录用户和所上传keytab所属用户必须是同一个用户。 拓扑提交成功后请登录HDFS集群查看。 如果使用票据登录，则需要使用命令行定期上传票据，具体周期由票据刷新截止时间而定，步骤如下：
具有简洁易懂的特性，推荐用户使用Scala语言进行Spark应用程序开发。 按不同的语言分，Spark的API接口如表1所示。 表1 Spark API接口 接口 说明 Scala API 提供Scala语言的API。由于Scala语言的简洁易懂，推荐用户使用Scala接口进行程序开发。
0.1补丁期间会重启MRS Manager和Hive服务，重启服务期间会引起服务暂时不可用。 MRS 2.1.0.1补丁安装完成后，需要先登录到MRS集群的Master1节点，删除HDFS上任务目录。 未开启Kerberos认证的集群，执行如下命令删除HDFS上任务目录。 hdfs
duce)的并发数。 如果所有的任务（map/reduce）需要读写数据至磁盘，多个进程将会同时访问一个磁盘。这将会导致磁盘的IO性能非常低下。为了改善磁盘的性能，请确保客户端并发访问磁盘的数不大于3。 最大并发的container数量应该为[2.5 * Hadoop中磁盘配置数
Hive任务失败，报没有HDFS目录的权限 问题背景与现象 Hive任务报错，提示执行用户没有HDFS目录权限： 2019-04-09 17:49:19,845 | ERROR | HiveServer2-Background-Pool: Thread-3160445 | Job
步骤3：创建并运行Flink作业 方式1：在控制台界面在线提交作业。 登录MRS管理控制台，单击MRS集群名称，进入集群详情页面。 在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步。 单击“作业管理”，进入“作业管理”页签。 单击“添加”，添加一个Flink作业。
连接开启了Kerberos认证的MRS集群时，应用程序中需配置具有相关资源访问权限的用户进行安全认证。 根据业务场景开发程序 根据实际业务场景开发程序，调用组件接口实现对应功能。 编译并运行程序 将开发好的程序编译运行，用户可在本地Windows开发环境中进行程序调测运行，也可以将程序编译
采集堆栈信息 登录FusionInsight Manager。 选择“集群 > 服务 > 待收集服务的名称”。 选择“更多 > 采集堆栈”。 采集多个实例的堆栈信息：进入实例列表，勾选要采集的实例名称，选择“更多 > 采集堆栈”。 采集单个实例的堆栈信息：单击要采集的实例，选择“更多
0个压缩文件，压缩文件保留个数和压缩文件阈值可以配置。 表1 Hue日志列表 日志类型 日志文件名 描述 运行日志 access.log 访问日志。 error.log 错误日志。 gsdb_check.log gaussDB检查日志。 kt_renewer.log Kerberos认证日志。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
