检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark从HBase读取数据再写入HBase样例程序（Java） 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei
Spark从HBase读取数据再写入HBase样例程序（Scala） 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei
Spark Structured Streaming对接Kafka样例程序（Scala） 功能介绍 使用Structured Streaming，从kafka中读取广告请求数据、广告展示数据、广告点击数据，实时获取广告有效展示统计数据和广告有效点击统计数据，将统计结果写入kafka中。
提交SQL语句 功能介绍 在MRS集群中提交并执行一条SQL语句。 接口约束 无 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/sql-execution 表1 路径参数 参数 是否必选 参数类型
据并替换旧凭据。 修改admin用户密码 通过Manager页面修改admin用户密码： 开启Kerberos认证的集群和开启弹性公网IP功能未开启Kerberos认证的集群支持通过Manager界面修改admin密码。 使用admin账户登录Manager页面。 MRS 2.x
”时输入的密码保持一致，执行以下命令运行参数。命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 --topic topic1 --bootstrap.servers 10.96.101.32:9093 --security
初始化HDFS 功能简介 在使用HDFS提供的API之前，需要先进行HDFS初始化操作。过程为： 加载HDFS服务配置文件，并进行kerberos安全认证。 认证通过后，实例化Filesystem。 此处kerberos安全认证需要使用到的keytab文件，请提前准备。 配置文件介绍
Spark Streaming对接Kafka0-10样例程序（Scala） 功能介绍 在Spark应用中，通过使用Streaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例
“$BIGDATA_CLIENT_HOME”指的是客户端安装目录。 然后执行： source $BIGDATA_CLIENT_HOME/bigdata_env 启用多实例功能后，为其他HBase服务实例进行应用程序开发时还需执行以下命令，切换指定服务实例的客户端。 例如HBase2：source /opt/cl
YARN REST API接口介绍 功能简介 通过HTTP REST API来查看更多Yarn任务的信息。目前Yarn的REST接口只能进行一些资源或者任务的查询。完整和详细的接口请直接参考官网上的描述以了解其使用：http://hadoop.apache.org/docs/r3
Spark Streaming对接Kafka0-10样例程序（Scala） 功能介绍 在Spark应用中，通过使用Streaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例
Spark Structured Streaming对接Kafka样例程序（Scala） 功能介绍 使用Structured Streaming，从Kafka中读取广告请求数据、广告展示数据、广告点击数据，实时获取广告有效展示统计数据和广告有效点击统计数据，将统计结果写入kafka中。
Spark Streaming对接Kafka0-10样例程序（Scala） 功能介绍 在Spark应用中，通过使用Streaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例
要发送数据的端口，此参数不能为空。须配置为与之相连的avro source监测的端口。 21154 ssl 是否启用SSL认证（基于安全要求，建议启用此功能）。 只有“Avro”类型的Source才有此配置项。 true表示启用 false表示不启用 false 单击“导出”，将配置文件“properties
要发送数据的端口，此参数不能为空。须配置为与之相连的avro source监测的端口。 21154 ssl 是否启用SSL认证（基于安全要求，建议启用此功能）。 只有“Avro”类型的Source才有此配置项。 true表示启用 false表示不启用 false 单击“导出”，将配置文件“properties
即logs目录下的日志文件：clickhouse-example.log。 运行clickhouse-examples的完整样例后，控制台显示部分运行结果如下： Connected to the target VM, address: '127.0.0.1:53321', transport:
logs”目录下的日志文件：clickhouse-example.log。 运行clickhouse-examples的完整样例后，控制台显示部分运行结果如下： Connected to the target VM, address: '127.0.0.1:53321', transport:
logs”目录下的日志文件：clickhouse-example.log。 运行clickhouse-examples的完整样例后，控制台显示部分运行结果如下： Connected to the target VM, address: '127.0.0.1:53321', transport:
志） KafkaUI：“/var/log/Bigdata/kafka/ui”（运行日志） 日志归档规则：Kafka的日志启动了自动压缩归档功能，默认情况下，当日志大小超过30MB的时候，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>
Scala样例代码 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
