检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
println(s"Finished! Exit code is $exitCode") } 根据业务逻辑，开发对应的Spark应用程序。并设置用户编写的Spark应用程序的主类等常数。不同场景的示例请参考开发Spark应用。 如果您使用的安全模式，建议按照安全要求，准备安全认证代码、业务应用代码及其相关配置。
krb5ConfFile.getAbsolutePath() + ") is not a file."); } // 3.设置并检查krb5config setKrb5Config(krb5ConfFile.getAbsolutePath());
createDefault()) { HttpPost httpPost = new HttpPost(PUT_URL);//请求需要设置超时时间 addTimeout(httpPost); String weatherData = genWeatherData();
// 初始化用户自定义状态 public UDFState() { count = 0L; } // 设置用户自定义状态 public void setState(long count) { this.count = count;
于数据从集群导出去的场景来说，就是将数据写入到外部数据源。上述示例配置的是一个SFTP数据源连接器。配置SFTP和FTP的数据源连接器需要设置密码并进行加密。密码加密方法如下： 执行以下命令，进入到loader-tools-1.99.3目录。Loader客户端安装目录为“/opt
MapReduce客户端配置文件路径：客户端安装目录/HDFS/hadoop/etc/hadoop/mapred-site.xml。 表1 多CPU内核设置 配置 参数 配置描述 节点容器槽位数 yarn.nodemanager.resource.memory-mb 参数解释：节点上YARN可使用的物理内存总量。单位：M。
Session.close() 关闭Session。 void setStorageGroup(String storageGroupId) 设置存储组。 void deleteStorageGroup(String storageGroup) void deleteStorageGroups(List<String>
语句，执行3。 使用spark-beeline运行SQL语句，执行4。 执行SQL语句时，需要添加参数“--driver-memory”，设置内存大小，例如： /spark-sql --master=local[4] --driver-memory=512M -f /tpch.sql
是否启用Kerberos认证。 用户名 admin/root 登录集群管理页面及ECS节点的用户名。 密码 - 设置登录集群管理页面及ECS节点用户的密码。 确认密码 - 再次输入设置用户密码。 企业项目 default 选择集群所属的企业项目。 通信安全授权 勾选 勾选确认授权。 图1
（数据定义语言）：可以动态地创建、修改或删除数据库、表和视图，而无须重启服务。 DML（数据操作语言）：可以动态查询、插入、修改或删除数据。 权限控制：可以按照用户粒度设置数据库或者表的操作权限，保障数据的安全性。 数据备份与恢复：提供了数据备份导出与导入恢复机制，满足生产环境的要求。 分布式管理：提供集群模式，能够自动管理多个数据库节点。
Session.close() 关闭Session。 void setStorageGroup(String storageGroupId) 设置存储组。 void deleteStorageGroup(String storageGroup) void deleteStorageGroups(List<String>
hadoop.com", MRS 2.1.x及之前版本： sasl.kerberos.keytab：可通过在MRS Manager界面选择“系统设置 > 用户管理”，在对应用户所在行的“操作”列选择“更多 >下载认证凭据”，保存后解压得到用户的user.keytab文件。 sasl.kerberos
下载”。 在“服务”中勾选操作集群的“HetuEngine”，单击“确定”。 在“主机”中勾选对应角色所在的主机，单击“确定”。 单击右上角的，设置日志收集的“开始时间”和“结束时间”，分别为告警产生时间的前后30分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除
调优，如果告警发生，参数值按照0.5倍速率调大。如果告警频繁发生，参数值按照1倍速率调大。调整HeapSize大小时，建议将Xms和Xmx设置成相同的值，这样可以避免JVM动态调整HeapSize大小的时候影响性能。 “-XX:MaxDirectMemorySize”为IoTDB
于数据从集群导出去的场景来说，就是将数据写入到外部数据源。上述示例配置的是一个SFTP数据源连接器。配置SFTP和FTP的数据源连接器需要设置密码并进行加密。密码加密方法如下： 执行以下命令，进入到loader-tools-1.99.3目录。Loader客户端安装目录为“/opt
/udf/hetuserver/UDF函数包 将UDF JAR文件上传到HDFS上自定义的目录存放，要确保用户对JAR文件具有读权限，建议权限设置“chmod 644”。若希望HetuEngine服务在卸载时一并删除UDF JAR文件，那么可以将自定义的目录创建在“/user/hetuserver/”路径中。
故障磁盘信息。 更换故障硬盘。 检查告警是否清除。 是，操作结束。 否，执行5。 收集故障信息。 在MRS Manager界面，选择“系统设置 > 日志导出” 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 相关参数获取方法如下：
hive.server2.authentication 用于指定HiveServer的认证方式，取值范围为“KERBEROS”或“LDAP”，需设置为“LDAP”。 LDAP hive.server2.authentication.ldap.baseDN LDAP服务用户所在的Base
语句，执行3。 使用spark-beeline运行SQL语句，执行4。 执行SQL语句时，需要添加参数“--driver-memory”，设置内存大小，例如： /spark-sql --master=local[4] --driver-memory=512M -f /tpch.sql
Base表，授予权限后可以使用SparkSQL访问HBase表。以授予用户在SparkSQL中查询HBase表的权限为例，操作步骤如下： 设置“spark.yarn.security.credentials.hbase.enabled”为“true”。 在Manager角色界面创
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
