检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
前提条件 已经配置完成导入并配置Oozie样例工程的前提条件。 开发环境配置 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\oozie-examples”目录下的样例工程文件夹“ooziesecurity-examples”中的OozieSparkHBaseExampl
keytab和krb5.conf文件为安全模式下的认证文件，需要在FusionInsight Manager中下载principal用户的认证凭证，样例代码中使用的用户为：sparkuser，需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。
keytab和krb5.conf文件为安全模式下的认证文件，需要在FusionInsight Manager中下载principal用户的认证凭证，样例代码中使用的用户为：sparkuser，需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。
用户”，下载参考准备MRS应用开发用户准备的开发用户的认证凭据。 代码样例 以下代码片段仅为演示，具体代码参见“com.huawei.bigdata.iotdb.SessionbyKerberosExample”类。 在Manager界面，选择“集群 > 服务 > IoTDB > 实例”，查看待连接的IoTDBServer所在的节点IP。
Kafka管理员用户组。添加入本组的用户，拥有所有Topic的创建，删除，授权及读写权限。仅在已启用Kerberos认证的集群中使用。 storm Storm的普通用户组，属于该组的用户拥有提交拓扑和管理属于自己的拓扑的权限。仅在已启用Kerberos认证的集群中使用。 stormadmin
用户尝试收集大量数据到Driver端，如果Driver端的内存不足以存放这些数据，那么就会抛出OOM(OutOfMemory)的异常，然后Driver端一直在进行GC，尝试回收垃圾来存放返回的数据，导致应用长时间挂起。 解决措施： 如果用户需要在OOM场景下强制将应用退出，那么可以在启动Spark Core应
在Core节点组中单击已更新补丁的Core名称，进入弹性云服务器管理控制台。 在页面右上角单击“重启”，重启Core节点。 重启完成后，在集群详情页的“节点管理”的Core节点组中勾选Core节点，单击“节点操作 > 启动所有角色”。 重复1~11的操作，升级其他Core节点。 所
数据。 原理：每次poll的数据处理完后才提交offset，如果poll数据后的处理时长超出了session.timeout.ms的设置时长，此时发生rebalance导致本次消费失败，已经消费数据的offset无法正常提交，所以下次重新消费时还是在旧的offset消费数据，从而导致消费数据重复。
TRY 评估一个表达式，如果出错，则返回Null。类似于编程语言中的try catch。try函数一般结合COALESCE使用，COALESCE可以将异常的空值转为0或者空，以下情况会被try捕获： 分母为0 错误的cast操作或者函数入参 数字超过了定义长度 不推荐使用，应该明确以上异常，做数据预处理
用户尝试收集大量数据到Driver端，如果Driver端的内存不足以存放这些数据，那么就会抛出OOM(OutOfMemory)的异常，然后Driver端一直在进行GC，尝试回收垃圾来存放返回的数据，导致应用长时间挂起。 解决措施： 如果用户需要在OOM场景下强制将应用退出，那么可以在启动Spark Core应
判断连续满足指标阈值的周期数(一个周期为5分钟)。 约束限制： 不涉及 取值范围： 1-288 默认取值： 不涉及 表7 Tag 参数 是否必选 参数类型 描述 key 是 String 参数解释： 标签的键。 约束限制： 不涉及 取值范围： 标签的key值可以包含任意语种字母、数字、空格和_
Thread会根据token renew周期 * 0.75的时间比例上传更新后的Credential文件到HDFS上。 Executor进程中有1个Credential Refresh Thread会根据token renew周期 *0.8的时间比例去HDFS上获取更新后的Credential文件，用来刷
enabled 是否开启客户端的授权，需设为“true”。 true hive.security.authorization.createtable.owner.grants 将哪些权限赋给创建表的owner，建议设置为“ALL”。 ALL MetaStore服务的core-site.xml配置文件
在安装客户端过程中，系统会自动配置客户端节点“hosts”文件，建议检查“/etc/hosts”文件内是否包含集群内节点的主机名信息，如未包含，需要手动复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中，确保本地机器能与集群各主机在网络上互通。 父主题： 准备ClickHouse应用开发环境
对请求流、展示流、点击流的数据进行关联查询。 统计结果写入kafka。 应用中监控流处理任务的状态。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“
对请求流、展示流、点击流的数据进行关联查询。 统计结果写入kafka。 应用中监控流处理任务的状态。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“
目录下的样例工程，可根据实际业务场景选择对应的样例，相关样例介绍请参见HBase应用开发样例工程介绍。 若需要在本地Windows调测HBase样例代码，需参考表1放置各样例项目所需的配置文件、认证文件： 表1 放置各样例项目所需的配置文件/认证文件 样例工程位置 需放置的配置/认证文件
日志归档规则：HDFS的日志启动了自动压缩归档功能，默认情况下，当日志大小超过100MB的时候，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的100个压缩文件，压缩文件保留个数可以在Manager界面中配置。
日志归档规则：HBase的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过30MB的时候，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件，压缩文件保留个数可以在Manager界面中配置。
规则 单表（分布式表）的记录数不要超过万亿，对于万亿以上表的查询，性能较差，且集群维护难度变大。单表（本地表）不超过百亿。 表的设计都要考虑到数据的生命周期管理，需要进行TTL表属性设置或定期老化清理表分区数据。 单表的字段建议不要超过5000列。 因为当一次插入的数据大小超过“mi
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
