检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark Doris Connector可以支持通过Spark读取Doris中存储的数据，也支持通过Spark写入数据到Doris中。 支持从Doris中读取数据 支持Spark DataFrame批量/流式写入Doris。 可以将Doris表映射为DataFrame或者RDD，推荐使用DataFrame。
在MRS管理控制台，查看指定集群“节点管理”页面的“IP”地址。 记录需使用客户端的Core节点IP地址。 在主管理节点，执行以下命令，将客户端安装包从主管理节点文件拷贝到当前Core节点： scp -p /tmp/MRS-client/MRS_Services_Client.tar Cor
7、DN8节点上。 图1 DataNode分区场景 通过hdfs nodelabel -setLabelExpression -expression 'LabelA[fallback=NONE]' -path /Hbase命令，给Hbase目录设置表达式。从图1中可知，“/Hba
不同的YARN队列，从而达到资源隔离，且JDBCServer根据需求动态启动，可避免浪费资源。 实现方案 多租户模式的HA方案原理如图1所示。 图1 Spark JDBCServer多租户 ProxyServer在启动时，向ZooKeeper注册自身消息，在指定目录中写入节点信息
权限管理，具体操作可参考添加Hive的Ranger访问权限策略。 Hive权限模型 使用Hive组件，必须对Hive数据库和表（含外表和视图）拥有相应的权限。在MRS中，完整的Hive权限模型由Hive元数据权限与HDFS文件权限组成。使用数据库或表时所需要的各种权限都是Hive权限模型中的一种。
远端主机的安全组配置，确保用户名密码正确，及远端主机的安全组已增加SSH(22)端口的入方向规则。然后从3执行重新下载客户端。 连接到服务器失败，请检查网络连接或参数设置。 图1 下载客户端 选择“Flume”服务，单击“实例”，查看任意一个Flume实例和两个MonitorServer实例的“业务IP”。
5版本的样例工程下载地址为：https://github.com/huaweicloud/huaweicloud-mrs-example/tree/mrs-3.1.5。 图1 样例代码下载 下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。 MRS服务3.1.2-LTS版本获取样例工程请参考通过开源镜像站获取样例工程。
选择上报告警实例主机名对应的角色“Broker”。单击图表区域右上角的下拉菜单，选择“定制”，来自定义监控项。 在弹出的“定制”对话框中，选择“磁盘 > Broker磁盘使用率”，并单击“确定”。 关于Kafka磁盘使用情况信息会被显示。 图1 Broker磁盘使用率 根据12的显示信息，查看是否只有2中上报告警的磁盘分区。
k/examples/streaming/WordCount.jar 作业提交成功后，客户端界面显示如下。 图2 在Yarn上提交作业成功 图3 启动session成功 图4 在session中提交作业成功 使用运行用户进入Yarn服务的原生页面，具体操作参考查看Flink作业信
//ClusterX。 设置系统的环境变量说明 Hadoop在安全认证的时候，需要获取客户端所在主机的域名（Default Realm，从环境变量USERDNSDOMAIN中获取）。如果该主机没有域名，则运行样例程序会有如下报错： 此时需要用户设置系统的环境变量USERDNSDOMAIN以规避该问题，具体如下：
CT表/视图。 HetuEngine支持的GBase数据源的Schema和Table名称不区分大小写。 配置GBase数据源步骤 安装集群客户端 安装包含HetuEngine服务的集群客户端，例如安装目录为“/opt/hadoopclient”。 准备GBase驱动 从GBase
//ClusterX。 设置系统的环境变量说明 Hadoop在安全认证的时候，需要获取客户端所在主机的域名（Default Realm，从环境变量USERDNSDOMAIN中获取）。如果该主机没有域名，则运行样例程序会有如下报错： 此时需要用户设置系统的环境变量USERDNSDOMAIN以规避该问题，具体如下：
Manager。 选择“审计 > 配置”。 单击“审计日志转储”右侧的开关。 “审计日志转储”默认为不启用，开关显示为表示启用。 根据表1填写转储参数。 图1 转储参数 表1 审计日志转储参数 参数 示例 参数说明 SFTP IP 模式 IPv4 目标IP的IP地址模式，可选择“IPv4”或者“IPv6”。
在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Kafka > 实例”，选择上报告警实例主机名对应的角色。单击图标区域右上角下拉菜单，选择“定制 > 其它”，勾选“Broker上用户连接数使用率”，“Broker上用户最大连接数状况”和“Broker上
租户是MRS大数据平台的核心概念，使传统的以用户为核心的大数据平台向以多租户为核心的大数据平台转变，更好的适应现代企业多租户应用环境，如图1所示。 图1 以用户为核心的平台和以多租户为核心的平台 对于以用户为核心的大数据平台，用户直接访问并使用全部的资源和服务。 用户的应用可能只用到集群的部分资源，资源利用效率低。
HBase: 解决HMaster堆内存使用监控数据上报到CES 超过100%问题； Ranger: 解决只给视图权限不给表的权限时，sparksql无法查询视图的问题； 安装完成后必须的手动操作 请参考安装完成后必须的手动操作。 补丁兼容关系 MRS 3.1.0.0.10补丁包中已包含所有MRS
置该文件的读写权限。 请管理员根据企业安全要求，选择安全的操作步骤分发密钥。 如果在使用过程中，有节点出现密钥文件丢失的情况，请按照此步骤从其他节点复制到该节点。 在FusionInsight Manager界面中，选择“集群 > 服务 > HBase > 配置”，在搜索框中搜索并配置以下参数：
获取软件包。 访问集群Manager，在“集群”下拉列表中单击需要操作的集群名称。 选择“更多 > 下载客户端”，弹出“下载集群客户端”信息提示框。 图1 下载客户端 在只安装单个服务的客户端的场景中，选择“集群 > 服务 > 服务名称 > 更多 > 下载客户端”，弹出“下载客户端”信息提示框。
表3 MAXCOLUMNS 可选参数名称 默认值 最大值 MAXCOLUMNS 2000 20000 表4 MAXCOLUMNS可选参数的行为图 MAXCOLUMNS值 在文件Header选项中的列数 考虑的最终值 在加载项中未指定 5 2000 在加载项中未指定 6000 6000
OPTION的权限。 ALTER VIEW view_name RENAME TOnew_view_name 是视图view_name的所有者。 DROP VIEW view_name 是视图view_name的所有者。 FUNCTION CREATE [TEMPORARY] FUNCTION
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
