检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
已安装MySQL客户端，相关操作可参考使用MySQL客户端连接Doris。 已安装Spark客户端。 操作步骤 在Doris中创建表并插入数据。 登录安装了MySQL的节点，执行以下命令，连接Doris数据库。
在Linux客户端运行应用和在Windows环境下运行应用的初始化代码相同，代码样例如下所示。
操作步骤 登录“Loader WebUI”界面。 登录FusionInsight Manager系统，具体请参见访问FusionInsight Manager（MRS 3.x及之后版本）。 选择“集群 > 待操作集群名称 > 服务 > Loader”。
操作步骤 进入Hive服务配置页面： MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Hive > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。
回答 登录FusionInsight Manager，选择“集群 > 服务 > 服务名称”，在服务详情页上继续单击“更多”，查看“启用Ranger鉴权”是否为可单击？ 是，表示当前本服务未启用Ranger鉴权插件，可单击“启用Ranger鉴权”启用该功能。
登录主管理节点查看系统日志“/var/log/Bigdata/tomcat/web.log”。
登录Master节点。 执行hostname -i获取本机IP。
回答 登录FusionInsight Manager，选择“集群 > 服务 > 服务名称”，在服务详情页上继续单击“更多”，查看“启用Ranger鉴权”是否为可单击？ 是，表示当前本服务未启用Ranger鉴权插件，可单击“启用Ranger鉴权”启用该功能。
Spark Core常用接口 Spark主要使用到如下这几个类： JavaSparkContext：是Spark的对外接口，负责向调用该类的Java应用提供Spark的各种功能，如连接Spark集群，创建RDD，累积量和广播量等。它的作用相当于一个容器。
关闭HetuEngine JDBC Server的连接。 父主题： 开发HetuEngine应用
Spark Core常用接口 Spark主要使用到如下这几个类： JavaSparkContext：是Spark的对外接口，负责向调用该类的Java应用提供Spark的各种功能，如连接Spark集群，创建RDD，累积量和广播量等。它的作用相当于一个容器。
操作步骤 要启动聚合算法优化，在Spark客户端的“spark-defaults.conf”配置文件中进行设置。
场景如下： 升级前： 客户端A - >将一些数据写入文件X（假设已写入“A”字节） 升级过程中： 客户端A - >仍然将数据写入文件X（现在文件中的数据是“A + B”字节） 升级完成： 客户端A - >完成写入文件。最终数据为“A + B”字节。
“taskmanager.network.netty.client.connectTimeoutSec”：默认是120s，表示taskmanager的客户端连接超时的时间。
场景如下： 升级前： 客户端A - >将一些数据写入文件X（假设已写入“A”字节） 升级过程中： 客户端A - >仍然将数据写入文件X（现在文件中的数据是“A + B”字节） 升级完成： 客户端A - >完成写入文件。最终数据为“A + B”字节。
Clustering架构 Hudi通过其写入客户端API提供了不同的操作，如insert/upsert/bulk_insert来将数据写入Hudi表。
操作步骤 使用Ranger管理员用户rangeradmin登录Ranger管理页面，具体操作可参考登录Ranger WebUI界面。 在首页中单击“HBASE”区域的组件插件名称如“HBase”。 单击“Add New Policy”，添加HBase权限控制策略。
操作步骤 使用Ranger管理员用户rangeradmin登录Ranger管理页面，具体操作可参考登录Ranger WebUI界面。 在首页中单击“HBASE”区域的组件插件名称如“HBase”。 单击“Add New Policy”，添加HBase权限控制策略。
@Override @SuppressWarnings("unchecked") public void init(ProcessorContext context) { // 在本地保留
false spark.sql.uselocalFileCollect 是否将结果数据保存在本地磁盘中而不是内存里面。 优点：结果数据小数据量情况下和原生内存的方式相比性能损失可以忽略，大数据情况下（亿级数据）性能远比使用HDFS，以及原生内存方式好。 缺点：需要调优。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
