如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
）、SparkStreaming（微批流计算）、Storm（流计算）、Flink（流计算），满足多种大数据应用场景，将数据进行结构和逻辑的转换，转化成满足业务目标的数据模型。 基于预设的数据模型，使用易用的SQL数据分析，用户可以选择Hive（数据仓库），SparkSQL以及Presto交互式查询引擎。
saveAsTextFile(path: String): Unit 把dataset写到一个text file、HDFS或者HDFS支持的文件系统中，spark把每条记录都转换为一行记录，然后写到file中。 saveAsSequenceFile(path: String, codec: Option[Class[_
CompressionCodec> codec) 把dataset写到一个text file、hdfs、或者hdfs支持的文件系统中，spark把每条记录都转换为一行记录，然后写到file中。 java.util.Map<K,Object> countByKey() 对每个key出现的次数做统计。
saveAsTextFile(path: String): Unit 把dataset写到一个text file、HDFS或者HDFS支持的文件系统中，spark把每条记录都转换为一行记录，然后写到file中。 saveAsSequenceFile(path: String, codec: Option[Class[_
约束限制： 不涉及 取值范围： SUCCEED：成功 FAILED：失败 默认取值： 不涉及 请求示例 取消SQL执行任务请求示例 POST https://{endpoint}/v2/{project_id}/clusters/{cluster_id}/sql-execution/{sql_id}/cancel
PyFlink样例程序代码说明 通过Python API的方式提交Flink读写Kafka作业到Yarn上代码样例 下面列出pyflink-kafka.py的主要逻辑代码作为演示，在提交之前需要确保“file_path” 为要运行的SQL的路径，建议写全路径。 完整代码参见“fl
HDFS HTTP REST API接口介绍 功能简介 REST应用开发代码样例中所涉及的文件操作主要包括创建文件、读写文件、追加文件、删除文件。完整和详细的接口请参考官网上的描述以了解其使用：http://hadoop.apache.org/docs/r3.1.1/hadoop
配置Windows通过EIP访问集群Kafka 操作场景 该章节通过指导用户配置集群绑定EIP，并配置Kafka文件的方法，方便用户可以在本地对样例文件进行编译。 操作步骤 为集群的每个节点申请弹性公网IP，并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名
Server所在节点，执行如下命令： echo 'select * from system.clusters' | curl -k 'https://ClickHouseServer实例节点IP:端口号/' -u ck_user:密码 --data-binary @- 记录同一个
CompressionCodec> codec) 把dataset写到一个text file、hdfs、或者hdfs支持的文件系统中，spark把每条记录都转换为一行记录，然后写到file中。 java.util.Map<K,Object> countByKey() 对每个key出现的次数做统计。
CompressionCodec> codec) 把dataset写到一个text file、hdfs、或者hdfs支持的文件系统中，spark把每条记录都转换为一行记录，然后写到file中。 java.util.Map<K,Object> countByKey() 对每个key出现的次数做统计。
其中“X”为随机生成的数字，请根据实际情况修改。同时文件需要以Flume客户端安装用户身份保存，例如root用户。 登录安装Flume客户端节点，切换到客户端安装目录，执行以下命令修改文件： vi conf/jaas.conf 修改参数“keyTab”定义的用户认证文件完整路径即4中保存
单击“保存”使配置生效。无需重启HDFS服务。 通过客户端配置磁盘均衡 安装客户端，详细操作请参考使用MRS客户端。 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录，例如“/opt/client”。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env
saveAsTextFile(path: String): Unit 把dataset写到一个text file、HDFS或者HDFS支持的文件系统中，spark把每条记录都转换为一行记录，然后写到file中。 saveAsSequenceFile(path: String, codec: Option[Class[_
saveAsTextFile(path: String): Unit 把dataset写到一个text file、HDFS或者HDFS支持的文件系统中，spark把每条记录都转换为一行记录，然后写到file中。 saveAsSequenceFile(path: String, codec: Option[Class[_
CompressionCodec> codec) 把dataset写到一个text file、hdfs、或者hdfs支持的文件系统中，spark把每条记录都转换为一行记录，然后写到file中。 java.util.Map<K,Object> countByKey() 对每个key出现的次数做统计。
配置Windows通过EIP访问安全模式集群Kafka 操作场景 该章节通过指导用户配置集群绑定EIP，并配置Kafka文件的方法，方便用户可以在本地对样例文件进行编译。 操作步骤 为集群的每个节点申请弹性公网IP，并将本地Windows的hosts文件添加所有节点的公网IP对应
配置Windows通过EIP访问普通模式集群Kafka 操作场景 该章节通过指导用户配置集群绑定EIP，并配置Kafka文件的方法，方便用户可以在本地对样例文件进行编译。 操作步骤 为集群的每个节点申请弹性公网IP，并将本地Windows的hosts文件添加所有节点的公网IP对应
HDFS HTTP REST API接口介绍 功能简介 REST应用开发代码样例中所涉及的文件操作主要包括创建文件、读写文件、追加文件、删除文件。完整和详细的接口请参考官网上的描述以了解其使用： http://hadoop.apache.org/docs/r3.1.1/hadoo
ibm.jsse2.overrideDefaultTLS”为“true”，设置后可以同时支持TLS V1.0/V1.1/V1.2，详情可参考https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8.0.0/com.ibm.java.security
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
您即将访问非华为云网站，请注意账号财产安全
