检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过Java API提交Oozie作业 功能简介 Oozie通过org.apache.oozie.client.OozieClient的run方法提交作业，通过getJobInfo获取作业信息。 代码样例 代码示例中请根据实际情况，修改“OOZIE_URL_DEFALUT”为实际
mapreduce.Job - The url to track the job: http://10-120-180-170:8088/proxy/application_1468241424339_0002/ 16657 [main] INFO org.apache.hadoop
mapreduce.Job - The url to track the job: http://10-120-180-170:8088/proxy/application_1468241424339_0002/ 16657 [main] INFO org.apache.hadoop
HBase启动后，HMaster原生页面显示RegionServer个数多于实际RegionServer个数。 查看HMaster原生页面，显示有4个RegionServer在线，如下图示： 原因分析 如下图可以看出，第三行hostname为controller-192-168-1-3节点和第四行hostname为
Kafka Producer API使用样例 功能介绍 下面代码片段在com.huawei.bigdata.kafka.example.Producer类中，用于实现新Producer API向安全Topic生产消息。 样例代码 Producer线程run方法中的消费逻辑。 样例
使用多线程Producer发送消息 功能介绍 在使用Producer API向安全Topic生产消息基础上，实现了多线程Producer，可启动多个Producer线程，并通过指定相同key值的方式，使每个线程对应向特定Partition发送消息。 下面代码片段在com.huawei
spark-sql脚本、spark-shell脚本和spark-submit脚本（运行的应用中带SQL操作），不支持使用proxy user参数去提交任务。另外，由于本文档中涉及的样例程序已添加安全认证，建议不要使用proxy user参数去提交任务。 基本概念 RDD 即弹性分布数据集（Resilient Distributed
join cow表，作业启动后缓存过期，重新加载不到数据，join无输出的问题。 解决[FLINK-27247]问题。 解决Flink通过代理用户访问普通集群Hive失败问题。 解决磁盘不可用告警无具体盘符问题。 解决阈值告警平滑次数偶现不生效，导致阈值告警频繁上报的问题。 解决
调测Kafka Producer样例程序 前提条件 如需在Windows调测程序，需要配置Windows通过EIP访问集群Kafka，详情请参见配置Windows通过EIP访问集群Kafka。 如需在Linux调测程序，需要确保当前用户对“src/main/resources”目
调测Kafka Producer样例程序 前提条件 如需在Windows调测程序，需要配置Windows通过EIP访问集群Kafka，详情请参见配置Windows通过EIP访问安全模式集群Kafka。 如需在Linux调测程序，需要确保当前用户对“src/main/resourc
查看MRS组件角色实例日志 MRS集群创建成功后，用户可以通过Manager界面在线直接查看组件各角色实例的日志内容并下载指定日志文件，便于快速定位分析问题。 本章节操作仅支持MRS 3.x及之后的版本。 查看角色实例日志 登录FusionInsight Manager。 选择“集群
务，开启物化视图推荐能力后，系统能自动学习并推荐对业务最有价值的物化视图SQL，使HetuEngine具备自动预计算加速能力，在相关场景下在线查询效率获得倍数提升，同时有效降低系统负载压力。 前提条件 集群运行正常并至少安装一个QAS实例。 已创建用于访问HetuEngine W
调测Kafka Producer样例程序 前提条件 已配置Windows通过EIP访问集群Kafka，详情请参见配置Windows通过EIP访问集群Kafka。 如需在Linux调测程序，需要确保当前用户对“src/main/resources”目录下和依赖库文件目录下的所有文件
允许使用Impala的SQL语法从Kudu tablets插入、查询、更新和删除数据。此外，还可以用JDBC或ODBC，Impala作为代理连接Kudu进行数据操作。 Impala与HBase间的关系 Impala表默认使用存储在HDFS上的数据文件，便于全表扫描的批量加载和查
Producer偶现发送数据失败，日志提示“Too many open files in system” 问题背景与现象 在使用Producer向Kafka发送数据功能时，发现客户端发送失败。 图1 Producer发送数据失败 可能原因 Kafka服务异常。 网络异常。 Kafka
责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理，可以可靠地处理无限的数据流。 Storm有很多适用的场景：实时分析、在线机器学习、持续计算和分布式ETL等，易扩展、支持容错，可确保数据得到处理，易于构建和操控。 Storm有如下几个特点： 适用场景广泛 易扩展，可伸缩性高
MRS集群所在VPC部署了VPCEP后集群补丁安装失败 问题现象 通过MRS管理控制台为MRS集群在线安装补丁，补丁安装失败，报错日志信息中提示访问OBS 403无权限。 原因分析 用户集群所在VPC中，部署并配置了VPC终端节点（VPCEP）。相关的终端节点策略中，未允许MRS
SQL语句和SQL脚本文件查询和分析数据，包括SQL语句和Script脚本两种形式，如果SQL语句中涉及敏感信息，也可使用脚本文件方式提交。 用户可以在MRS管理控制台在线创建一个作业并提交运行，也可以通过MRS集群客户端来以命令行形式提交作业。 前提条件 用户已经将作业所需的程序包和数据文件上传至OBS或HDFS文件系统中。
SparkSql作业用于查询和分析数据，包括SQL语句和Script脚本两种形式，如果SQL语句涉及敏感信息，也可使用脚本文件方式提交。 用户可以在MRS管理控制台在线创建一个作业并提交运行，也可以通过MRS集群客户端来以命令行形式提交作业。 操作视频 本视频以在MRS集群的管理控制台上提交并查看SparkSql作业为例进行说明。
15:45:42 INFO mapreduce.Job: The url to track the job: https://linux1:8090/proxy/application_1455853029114_0027/ 16/02/24 15:45:42 INFO mapreduce.Job:
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
