检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark支持使用Scala、Java和Python语言进行程序开发，由于Spark本身是由Scala语言开发出来的，且Scala语言具有简洁易懂的特性，推荐用户使用Scala语言进行Spark应用程序开发。 按不同的语言分，Spark的API接口如表1所示。 表1 Spark API接口 功能
Spark支持使用Scala、Java和Python语言进行程序开发，由于Spark本身是由Scala语言开发出来的，且Scala语言具有简洁易懂的特性，推荐用户使用Scala语言进行Spark应用程序开发。 按不同的语言分，Spark的API接口如表1所示。 表1 Spark API接口 功能
等信息（多节点信息之间以逗号隔开）。 多租户模式下，MRS页面上的JDBCServer实例是指ProxyServer（JDBCServer代理）。 示例如下： serverUri=192.168.169.84:22550 ;version=8.1.0.1;sequence=0000001244
4：开启SPINNING_DISK_OPTIMIZED_HIGH_MEM Flush线程数，增加线程数以快速将内存数据落盘 增加线程数的同时，需增加vcore的数量 推荐2-10 否：执行9。 重启作业，检查告警是否恢复。 是，处理完毕。 否，执行9。 联系运维人员，并发送已收集的故障日志信息。 告警清除
4：开启SPINNING_DISK_OPTIMIZED_HIGH_MEM Flush线程数，增加线程数以快速将内存数据落盘 增加线程数的同时，需增加vcore的数量 推荐2-10 否：执行9。 重启作业，检查告警是否恢复。 是，处理完毕。 否，执行9。 联系运维人员，并发送已收集的故障日志信息。 告警清除
INSERT INTO TABLE info values(001,'jack','huawei'); SELECT * FROM info; 推荐使用 spark-beeline，因为spark-beeline是在beeline的基础上面做的封装，用户可直接运行spark-beeline。
transfer”配置项设置为“true”，此参数才会生效。 缺省值为“3des”，表示采用3DES算法进行加密。此处的值还可以设置为“rc4”，避免出现安全隐患，不推荐设置为该值。 3des HDFS hadoop.rpc.protection 设置Hadoop中各模块的RPC通道是否加密。包括： 客户端访问HDFS的RPC通道。
客户端安装完成后，在客户端内创建“lib”目录，用于放置相关jar包。 将安装客户端过程中解压的目录中Kafka相关jar包复制到“lib”目录。 例如客户端软件包的下载路径为主管理节点的“/tmp/FusionInsight-Client”目录，执行以下命令： mkdir /opt/client/lib
mples”文件夹中的“pom.xml”文件，单击“OK”。 确认后续配置，单击“Next”，如无特殊需求，相关配置使用默认值即可。 选择推荐的JDK版本，单击“Finish”完成样例工程导入。 工程导入完成后，修改样例工程的“conf”目录下的“clickhouse-example
-examples”文件夹中的“pom.xml”文件，单击“OK”。 确认后续配置，单击“Next”；如无特殊需求，使用默认值即可。 选择推荐的JDK版本，单击“Finish”完成导入。 工程导入完成后，修改样例工程的“conf”目录下的“clickhouse-example.p
在yarn-client模式下，Driver部署在Client端，在Client端启动。yarn-client模式下，不兼容老版本的客户端。推荐使用yarn-cluster模式。 客户端向ResourceManager发送Spark应用提交请求，ResourceManager为其返
在YARN-Client模式下，Driver部署在Client端，在Client端启动。YARN-Client模式下，不兼容老版本的客户端。推荐使用YARN-Cluster模式。 客户端向ResourceManager发送Spark应用提交请求，Client端将启动Applicat
uble类型配置脱敏策略后，spark-beeline查询结果存在与策略预期不一致的现象，但查询结果非原始值，如需要与策略结果保持一致，则推荐使用“Nullify”脱敏策略。 对于不支持的数据类型，如果配置了脱敏策略或输出列涉及脱敏传递，最终都按“Nullify”脱敏策略处理。 配置Spark动态脱敏
仅分析集群、流式集群和混合集群支持创建集群时配置弹性伸缩策略。 登录MRS管理控制台。 在购买包含有Task类型节点组件的集群时，参考自定义购买MRS集群配置集群软件配置和硬件配置信息后，在“高级配置”页签的弹性伸缩栏，打开对应Task节点类型后的开关按钮，即可进行弹性伸缩规则及资源计划的配置或修改。 图1
视图数据修改。 禁止在创建物化视图时使用POPULATE关键字。 使用POPULATE方式创建物化视图期间，如果有数据插入，则可能丢失。 推荐的历史数据同步方式： -- create MV с where date >= in_the_future CREATE MATERIALIZED
FE实例IP地址可通过登录MRS集群的Manager界面，单击“集群 > 服务 > Doris > 实例”，查看任一FE实例的IP地址。 用户也可以使用MySQL连接软件或者Doris WebUI界面连接数据库。 执行以下命令创建数据库： create database if not exists example_db;
vaExample”文件夹中的“pom.xml”文件，单击“OK”。 确认后续配置，单击“Next”；如无特殊需求，使用默认值即可。 选择推荐的JDK版本，单击“Finish”完成导入。 工程导入完成后，修改样例工程的“conf”目录下的“clickhouse-example.p
ample”文件夹中的“pom.xml”文件，单击“OK”。 确认后续配置，单击“Next”，如无特殊需求，相关配置使用默认值即可。 选择推荐的JDK版本，单击“Finish”完成样例工程导入。 工程导入完成后，修改样例工程的“conf”目录下的“clickhouse-example
COLUMNS (tel_phone STRING, email STRING); 建表时配置Hive数据加密 指定表的格式为RCFile(推荐使用)或SequenceFile，加密算法为ARC4Codec。SequenceFile是Hadoop特有的文件格式，RCFile是Hiv
他，则取消数据导出操作。 例如：输入“yes”后，需根据提示输入业务用户名和对应密码，当显示以下信息，表示数据导出成功。 为避免安全风险，推荐使用交互式方式导出CSV文件。 导出CSV文件也可使用“./export-csv.sh -h IoTDBServer实例节点的业务ip -p
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
