检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
IDEA中的JDK配置为Open JDK。 不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。 准备开发用户 参考准备MRS应用开发用户进行操作，准备用于应用开发的集群用户并授予相应权限。
配置HDFS细粒度锁 操作场景 历史版本的HDFS使用了全局锁，读-写互斥，写-写互斥，即全局一把锁。但是实际上并非所有的读-写，写-写操作都会产生资源竞争。因此在该版本汇总引入了细粒度锁特性（FGL）。FGL对全局锁按照目录以及操作类型进行拆分，只有会产生资源竞争的操作才会使用同一个锁。因此极大地提升了写性能。
JDK，请确保IntelliJ IDEA中的JDK配置为Open JDK。 不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境基本配置。用于项目管理，贯穿软件开发生命周期。 安装JDK 开发和运行环境的基本配置，版本要求如下： 服
Spark任务提交至Yarn上面，运行task的executor使用的资源受yarn的管理。从报错信息可看出，用户申请启动executor时，指定10G的内存，超出了Yarn设置的每个container的最大内存的限制，导致任务无法启动。 解决办法 修改Yarn的配置，提高对container的限制。如可通过调整“yarn
ckpoint，则需要对应用中的DStream checkpoint对象进行序列化，序列化时会用到dstream.context。 dstream.context是Streaming Context启动时从output Streams反向查找所依赖的DStream，逐个设置context。如果Spark
continue_if_corrupted true 表示当本地的RocksDB目录读取失败时，false表示用户可选择退出进程，true表示清空脏数据。 merge_tree_metadata_cache.lru_cache_size 1GB 用于缓存part元数据的RocksDB实例中的LRU大小，0表示不限制。
30%以上的数据），建议使用coalesce算子，手动减少RDD的partition数量，将RDD中的数据压缩到更少的partition中去。因为filter之后，RDD的每个partition中都会有很多数据被过滤掉，此时如果照常进行后续的计算，其实每个task处理的parti
准备本地应用开发环境 在进行应用开发时，要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 Eclipse 开发环境的基本配置。版本要求：4.2或以上。 JDK JDK使用1.7或者1.8版本。 说明： 基于安全考虑，MRS集群服务端只支持TLS 1.1和TLS 1.2加密协议，IBM
stderr/stdin/syslog Yarn服务上运行的应用所对应的container日志。 yarn-application-check.log Yarn服务上运行的应用检查日志。 yarn-appsummary.log Yarn服务上运行的应用的运行结果日志。 yarn-switch-resourcemanager
me”的值。 Display参数值： SET parameter_name 此命令用于显示指定的“parameter_name”的值。 Display会话参数： SET 此命令显示所有支持的会话参数。 Display会话参数以及使用细节： SET -v 此命令显示所有支持的会话参数及其使用细节。
mapreduce.job.reduce.slowstart.completedmaps 为job安排reduce前应完成的映射数的分数形式。默认100%的Map跑完后开始起Reduce。 1.0 父主题： MapReduce性能调优
mapreduce.job.reduce.slowstart.completedmaps 为job安排reduce前应完成的映射数的分数形式。默认100%的Map跑完后开始起Reduce。 1.0 父主题： MapReduce性能调优
app-submission.cross-platform 支持在Windows上提交到Linux上运行MR任务的配置项。当该参数的值设为“true”时，表示支持。当该参数的值设为“false”时，表示不支持。 true 父主题： 使用Mapreduce
SpringBoot样例工程的命令行形式运行 在IDEA界面使用Maven执行install。 当输出“BUILD SUCCESS”，表示编译成功，如下图所示。编译成功后将会在样例工程的target下生成含有“flink-dws-sink-example-1.0.0-SNAPSHOT”字段的Jar包。
Hue常见问题 使用IE浏览器在Hue中执行HQL失败 Hue WebUI中Oozie编辑器的时区设置问题 父主题： 使用Hue
迁移工具时产生的错误日志。 日志级别 ClickHouse提供了如表3所示的日志级别。 运行日志的级别优先级从高到低分别是error、warning、trace、information、debug，程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。 表3
安装和配置IDEA 用于开发Flink应用程序的工具。版本要求：2019.1或其他兼容版本。 安装Scala Scala开发环境的基本配置。版本要求：2.11.7。 安装Scala插件 Scala开发环境的基本配置。版本要求：1.5.4。 安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。
本开发指南提供了MRS产品Storm组件基于开源Storm的Eclipse样例工程和常用接口说明，便于开发者快速熟悉Storm开发。 开发环境准备分为应用开发客户端和应用提交客户端；应用开发一般是在Windows环境下进行；应用提交一般是在Linux环境下进行。 在进行二次开发时，要准备的开发环境如表1所示。 表1
Python3样例工程章节，获取样例代码，获取hetu-jdbc-XXX.jar文件，并复制到自定义目录中。 参考通过HSFabric的KeyTab认证实现查询HetuEngine SQL任务章节，获取“user.keytab”和“krb5.conf”文件，并放置到自定义目录中。 编辑样
ckpoint，则需要对应用中的DStream checkpoint对象进行序列化，序列化时会用到dstream.context。 dstream.context是Streaming Context启动时从output Streams反向查找所依赖的DStream，逐个设置context。若Spark
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
