检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备Spark应用开发环境 准备Spark本地应用开发环境 配置Spark应用安全认证 导入并配置Spark样例工程 新建Spark样例工程（可选） 配置Spark Python3样例工程 父主题： Spark2x开发指南（安全模式）
准备Flink应用开发环境 准备本地应用开发环境 准备Flink应用开发用户 安装Flink客户端 配置并导入Flink样例工程 新建Flink样例工程（可选） 准备Flink应用安全认证 父主题： Flink开发指南
ClickHouse宽表设计 ClickHouse宽表设计原则 ClickHouse表字段设计 ClickHouse本地表设计 ClickHouse分布式表设计 ClickHouse分区设计 ClickHouse索引设计 父主题： ClickHouse数据库设计
String> socketStream(java.lang.String hostname,int port) 创建一个输入流，通过TCP socket从对应的hostname和端口接收数据。接收的字节被解析为UTF8格式。默认的存储级别为Memory+Disk。 JavaDStream<java
文件必须以原子方式放置在给定的目录中，这在大多数文件系统中可以通过文件移动操作实现。 Socket Source host：连接的节点ip，必填 port：连接的端口，必填 不支持 - Rate Source rowsPerSecond：每秒产生的行数，默认值1 rampUpTime：在达到ro
Manager页面，具体请参见访问集群Manager，然后选择“服务管理”。 单击“下载客户端”。 “客户端类型”选择“仅配置文件”，“下载路径”选择“服务器端”，单击“确定”开始生成客户端配置文件，文件生成后默认保存在主管理节点“/tmp/MRS-client”。 图1 仅下载客户端的配置文件
调测IoTDB应用 在本地Windows环境中调测IoTDB应用 在Linux中调测JDBC或Session应用 在Flink WebUI和Linux中调测Flink应用 在Linux环境中调测Kafka应用 在IoTDBServer节点调测UDF应用 父主题： IoTDB开发指南（普通模式）
原因分析 当前登录的用户不具备操作此目录的权限或者在HiveServer所在节点上没有此目录。 解决方案 通常不建议使用本地文件加载数据到hive表。 建议先将本地文件放入HDFS，然后从集群中加载数据。 Hive对load data local inpath命令有如下权限要求，请对照下述要求是否满足：
Agent进程暂停工作。 可能原因 Flume Sink故障，导致数据无法发送。 网络故障，导致数据无法发送。 处理步骤 检查Flume Sink是否故障。 本地打开用户自定义配置文件properties.properties，搜索配置文件中是否有“type = hdfs”关键字确认Flume Sink是否是HDFS类型。
ues（保持源RDD的分区方式，这与map不同）； 对单个RDD重排，如sort、partitionBy（实现一致性的分区划分，这个对数据本地性优化很重要）； 对单个RDD基于key进行重组和reduce，如groupByKey、reduceByKey； 对两个RDD基于key进
环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上（文件上传的路径需要和生成的jar包路径一致）。 若运行“Spark on
HBase企业级能力增强 配置HBase全局二级索引提升查询效率 配置HBase本地二级索引提升查询效率 增强HBase BulkLoad工具数据迁移能力 配置HBase冷热分离 配置RSGroup管理RegionServer资源 查看HBase慢请求和超大请求信息 父主题： 使用HBase
topic name"); System.out.println("<bootstrap.servers> is the ip:port list of brokers"); System.out.println("************************
准备Spark应用开发环境 准备Spark本地应用开发环境 准备Spark连接集群配置文件 导入并配置Spark样例工程 新建Spark样例工程（可选） 配置Spark Python3样例工程 父主题： Spark2x开发指南（普通模式）
在进行应用开发前，需首先准备开发环境，推荐使用Java语言进行开发，使用IntelliJ IDEA工具，同时完成JDK、Maven等初始配置。 准备本地应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，配置文件通常包括集群组件信息文件以
上报告警的ClickHouseServer实例IP --port 9440 --secure 集群未启用Kerberos认证（普通模式）： clickhouse client --host 上报告警的ClickHouseServer实例IP --user 用户名 --password --port 9440 执行以下
IDEA中运行main方法提交 * 3、本地提交 ，在本地执行应用程序，一般用来测试 * 命令行方式和远程方式安全和普通模式都支持 * 本地提交仅支持普通模式 *
pse中运行main方法提交 * 3、本地提交 ，在本地执行应用程序，一般用来测试 * 命令行方式和远程方式安全和普通模式都支持 * 本地提交仅支持普通模式 *
对接OBS场景中，spark-beeline登录后指定loaction到OBS建表失败 问题 对接OBS ECS/BMS集群，spark-beeline登录后，指定location到OBS建表报错失败。 图1 错误信息 回答 HDFS上ssl.jceks文件权限不足，导致建表失败。
调测Hive应用 在本地Windows环境中调测Hive JDBC样例程序 在Linux环境中调测Hive JDBC样例程序 调测Hive HCatalog样例程序 调测Hive Python样例程序 调测Hive Python3样例程序 调测Hive SpringBoot样例程序
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
