检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不同语言的开发环境配置。Spark的运行环境即Spark客户端，请根据指导完成客户端的安装和配置。 准备Spark本地应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，配置文件通常包括集群组件信息文件以及用于安全认证的用户文件
dc=com”和“cn=krbadmin,ou=Users,dc=hadoop,dc=com”的密码，以提升系统运维安全性。 该章节仅适用于MRS 3.1.0版本。MRS 3.1.0之后版本请参考修改OMS服务配置章节。 对系统的影响 修改密码后需要重启KrbServer服务。 修改密码后需要确认LDAP管理账户“cn=krbkdc
字符。 默认取值： 不涉及 cluster_id 是 String 参数解释： 集群ID。如果指定集群ID，则获取该集群做过补丁更新的最新版本元数据。获取方法，请参见获取集群ID。 约束限制： 不涉及 取值范围： 只能由英文字母、数字以及“_”和“-”组成，且长度为[1-64]个字符。
INSERT INTO参数 参数 描述 tableIndentifier 需要执行INSERT命令的Hudi表的名称。 select query 查询语句。 注意事项 写入模式：Hudi对于设置了主键的表支持三种写入模式，用户可以设置参数hoodie.sql.insert.mode来指定Insert模式，默认为upsert。
spec使用正则表达式来选择需要TTL的分区，可以执行show partitions命令查看Hudi表的分区格式，然后写正确的正则表达式来匹配分区。 value和units要搭配使用，value给定的是整数值，units是数值的单位，表示数据要保留的时长。 更新TTL策略： call
创建包含SELECT查询结果的新表。 使用CREATE TABLE创建空表。 使用IF NOT EXISTS子句时，如果表已经存在则不会报错。 可选WITH子句可用于设置新创建的表的属性，如表的存储位置（location）、是不是外表（external）等。 示例 用指定列的查询结果创建新表
Master承担了以前的TaskTracker的一些角色，ResourceManager承担了JobTracker的角色。 Application Master管理一个在YARN内运行的应用程序的每个实例。Application Master负责协调来自ResourceManager的资源，并
JobHistory进程堆内存使用超出阈值”并且按照指导处理以后，运行一段时间又会出现同样的告警。 原因分析 可能存在JobHistory内存泄露问题，需要安装相应的补丁修复。 处理步骤 适当调大JobHistory进程堆内存。 如果已经调大堆内存，可以通过重启JobHistory实例规避。 父主题： 使用Spark
查看执行结果中libcrypto.so.1.1的指向是否有值，如果为not found请执行以下命令加载。 echo $LD_LIBRARY_PATH 查看系统库环境变量里是否加载了非系统的openssl相关的库。如果是，请修改为系统的openssl相关的库。 如果仍旧无法解决，请联系支持人员。
程序会默认为用户添加访问OBS的临时accesskey和secretkey，但是临时accesskey和secretkey有过期时间。 如果需要运行像Flink和SparkStreaming这样的长时作业时，用户可通过“服务配置参数”选项框传入永久的accesskey和secre
安装和配置Eclipse或IntelliJ IDEA 用于开发Kafka应用程序的工具。 网络 确保本地与Kafka服务所在的VPC的至少一个节点在网络上互通。 访问云服务器的安全认证 本地可以通过密钥或密码方式登录访问Linux弹性云服务器 父主题： 准备Kafka应用开发环境
String 参数解释： 资源计划的周期类型，当前只允许以下类型：daily。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 start_time 是 String 参数解释： 资源计划的起始时间，格式为“hour:minute”，表示时间在0:00-23:59之间。 约束限制：
如果某个DataNode日志中打印“Too many open files”，说明该节点文件句柄不足，导致打开文件句柄失败，然后就会重试往其他DataNode节点写数据，最终表现为写文件很慢或者写文件失败。 解决办法 执行ulimit -a命令查看有问题节点文件句柄数最多设置是多少，如果很小，建议修改成640000。
提示the previous process is not quit。 解决办法 登录节点，后台通过执行ps -ef | grep HRegionServer发现确实存在一个残留的进程。 确认进程可以终止后，使用kill命令终止该进程（如果kill无法终止该进程，需要使用kill
本示例演示了如何通过Java API提交MapReduce作业和查询作业状态，对网站的日志文件进行离线分析。 oozie-examples/oozienormal-examples/OozieSparkHBaseExample 使用Oozie调度Spark访问HBase的示例程序。
String 参数解释： 资源计划的周期类型，当前只允许以下类型：daily。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 start_time 是 String 参数解释： 资源计划的起始时间，格式为“hour:minute”，表示时间在0:00-23:59之间。 约束限制：
本示例演示了如何通过Java API提交MapReduce作业和查询作业状态，对网站的日志文件进行离线分析。 oozie-examples/ooziesecurity-examples/OozieSparkHBaseExample 使用Oozie调度Spark访问HBase的示例程序。
--topic <Topic名称> --producer.config config/producer.properties 消费数据，需要拥有该Topic的消费者权限。 bin/kafka-console-consumer.sh --topic <Topic名称> --bootstrap-server
--topic <Topic名称> --producer.config config/producer.properties 消费数据，需要拥有该Topic的消费者权限。 bin/kafka-console-consumer.sh --topic <Topic名称> --bootstrap-server
DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别，请执行如下操作： 请参考修改集群服务配置参数，进入Storm的“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 保存配置，在弹出窗口中单击“确定”使配置生效。 日志格式 Storm的日志格式如下所示：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
