检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
sc = new SparkContext(conf) // 建立连接hbase的配置参数，此时需要保证hbase-site.xml在classpath中 val hbConf = HBaseConfiguration.create(sc.hadoopConfiguration)
println(s"Finished! Exit code is $exitCode") } 根据业务逻辑，开发对应的Spark应用程序。并设置用户编写的Spark应用程序的主类等常数。准备业务应用代码及其相关配置。不同场景的示例请参考开发Spark应用。 调用org.apache
是，处理完毕。 否，执行12。 收集故障信息。 在FusionInsight Manager界面，选择“运维>日志>下载”。 在“服务”中勾选“NodeAgent”、“OmmServer”，单击“确定”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟，单击“下载”。
创建包含SELECT查询结果的新表。 使用CREATE TABLE创建空表。 使用IF NOT EXISTS子句时，如果表已经存在则不会报错。 可选WITH子句可用于设置新创建的表的属性，如表的存储位置（location）、是不是外表（external）等。 示例 用指定列的查询结果创建新表orders_column_aliased：
是，联系运维人员进行处理。 否，执行18。 收集故障信息。 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“LdapServer”和“OmsLdapServer”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时，单击“下载”。
“备份路径”表示备份文件保存的完整路径。 选择正确的项目，在“备份路径”中选中备份文件的完整路径并复制。 在FusionInsight Manager，选择“运维 > 备份恢复 > 恢复管理”。 单击“创建”。 在“任务名称”填写恢复任务的名称。 在“恢复对象”选择待操作的集群。 在“恢复配置”，勾选“元数据和其他数据”下的“Flink”。
通过Manager页面，查看当前Kafka集群配置。 MRS Manager界面操作：登录MRS Manager，选择“服务管理 > Kafka > 服务配置”，“参数类别”设置为“全部配置”，发现“KAFKA_JVM_PERFORMANCE_OPTS”的中“-XX:MaxDirectMemorySize”值为“1G”。
是，处理完毕。 否，执行13。 收集故障信息。 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 根据在1获取的服务名称，在“服务”中勾选对应的组件及“NodeAgent”，单击“确定”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告
安装客户端。在节点上安装客户端，如安装到“/opt/client”目录。 REST接口 通过以下命令可跳过REST接口过滤器获取相应的应用信息。 安全模式下，JobHistory仅支持https协议，故在如下命令的url中请使用https协议。 安全模式下，需要设置spark.ui
运行日志的级别优先级从高到低分别是error、warning、trace、information、debug，程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。 表3 日志级别 级别 描述 error error表示系统运行的错误信息。 warning
根据业务逻辑，开发对应的Spark应用程序。并设置用户编写的Spark应用程序的主类等常数。不同场景的示例请参考开发Spark应用。 如果您使用的安全模式，建议按照安全要求，准备安全认证代码、业务应用代码及其相关配置。 yarn-cluster模式中不支持在Spark工程中添加安全认证。因为
/udf/hetuserver/UDF函数包 将UDF JAR文件上传到HDFS上自定义的目录存放，要确保用户对JAR文件具有读权限，建议权限设置“chmod 644”。若希望HetuEngine服务在卸载时一并删除UDF JAR文件，那么可以将自定义的目录创建在“/user/hetuserver/”路径中。 当前HetuEngine仅支持UDF
new JavaSparkContext(conf); // 建立连接hbase的配置参数，此时需要保证hbase-site.xml在classpath中 Configuration hbConf = HBaseConfiguration.create(jsc.ha
Partition/分区 是一个有序的、不可变的消息序列，这个序列可以被连续地追加—个提交日志。在分区内的每条消息都有一个有序的ID号，这个ID号被称为偏移（Offset），这个偏移量可以唯一确定每条消息在分区内的位置。 Producer/生产者 向Kafka的主题发布消息。 Consumer/消费者
使用flink_admin登录Manager，选择“集群 > 服务 > Flink”，在“Flink WebUI”右侧，单击链接，访问Flink的WebUI。 参考如何创建FlinkServer作业，新建Flink SQL流作业，在作业开发界面进行如下作业配置。然后输入SQL，执行SQL校验通过后，
00秒，如果导入的源文件无法在规定时间内完成导入，可以在Stream Load请求中设置单独的超时时间，或调整“stream_load_default_timeout_second”参数值设置全局的默认超时时间。 选择“BE（角色） > 自定义”，在自定义参数“be.conf.customized
sc = new SparkContext(conf) // 建立连接hbase的配置参数，此时需要保证hbase-site.xml在classpath中 val hbConf = HBaseConfiguration.create(sc.hadoopConfiguration)
使用Spark-Beeline工具创建Spark和HBase表table1、table2，并通过HBase插入数据。 确保JDBCServer已启动。然后在Spark2x客户端，使用Spark-Beeline工具执行如下操作。 使用Spark-beeline工具创建Spark表table1。 create
安装客户端。在节点上安装客户端，如安装到“/opt/client”目录。 REST接口 通过以下命令可跳过REST接口过滤器获取相应的应用信息。 安全模式下，JobHistory仅支持https协议，故在如下命令的url中请使用https协议。 安全模式下，需要设置spark.ui
已创建或获取访问Oozie服务的人机用户账号及密码。 Shell任务： 该用户需要从属于hadoop、supergroup组，添加Oozie的角色操作权限，并确保Shell脚本在每个nodemanager节点都有执行权限。 SSH任务： 该用户需要从属于hadoop、supergroup组，添加Oozie的角色操作权限，并完成互信配置。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
