检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
setSocketTimeout(60000).build(); req.setConfig(requestConfig); } 父主题： 开发OpenTSDB应用
io.encryption.arc4.ARC4Codec; 自定义函数，具体内容请参见开发Hive用户自定义函数。 父主题： 开发Hive应用
重，导致HDFS写任务失败。 由于数据倾斜，导致MapReduce只会在某几个节点访问，造成这些节点上负载很大，而其他节点闲置。 针对单个应用程序任务，只能使用一次DFSColocationAdmin和DFSColocationClient实例。如果每次对文件系统操作都获取此实例
Manager，选择“系统 > 权限 > 域和互信 > 本端域” 查看。 先使用kinit命令获取kerberos认证的缓存。 使用准备MRS应用开发用户章节中创建的开发用户执行以下命令运行客户端程序： kinit -kt keytab的存储路径 username cd python-examples
"jdbc:hive2://").append("impalad_ip").append("/"); if (isSecurityMode) { // 安全模式 sBuilder.append(";auth=") .append(clientInfo
IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境基本配置。用于项目管理，贯穿软件开发生命周期。 安装JDK 开发和运行环境的基本配置，版本要求如下： 服务端和客户端仅支持集群自带的OpenJDK，不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的：
如下是代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples的HdfsExample类。 在Linux客户端运行应用和在Windows环境下运行应用的初始化代码相同，代码样例如下所示。 // 完成初始化和认证 confLoad(); authentication();
1、命令行方式提交，这种需要将应用程序jar包复制到客户端机器上执行客户端命令提交 * 2、远程方式提交，这种需要将应用程序的jar包打包好之后在IntelliJ IDEA中运行main方法提交 * 3、本地提交 ，在本地执行应用程序，一般用来测试
Encoding”的下拉框中，选择“UTF-8”。 单击“Apply”应用配置。 单击“OK”完成编码配置。 图27 Settings 请从Flink服务端安装目录获取相关的依赖包。 请从Kafka环境中获取Kafka依赖包。 具体依赖包请查看参考信息。 配置Maven。 参考配置华为开源镜像仓章节描述，增加开
ttpClient, operationUrl, jsonFilePath, operationName); 父主题： 开发Manager应用
IDEA中的JDK配置为Oracle JDK。 不同的Eclipse不要使用相同的workspace和相同路径下的示例工程。 开发环境安装Mave环境，安装版本3.0.0以上。 父主题： 准备Kafka应用开发环境
String[] {"the cow jumped over the moon", "an apple a day keeps the doctor away", "four score
Producer类中，用于实现新Producer API向安全Topic生产消息。 样例代码 Producer线程run方法中的消费逻辑。 样例代码获取方式请参考获取MRS应用开发样例工程。 代码样例： public void run() { LOG.info("New Producer:
用户需要在应用代码中将checkpoint设置为FsStateBackend。例如： env.setStateBackend(new FsStateBackend("hdfs://hacluster/flink/checkpoint/")); 父主题： Flink应用开发常见问题
((sTempOneLine = reader.readLine()) != null) { strBuffer.append(sTempOneLine); } LOG.info("result is : " + strBuffer
用户需要在应用代码中将checkpoint设置为FsStateBackend。例如： env.setStateBackend(new FsStateBackend("hdfs://hacluster/flink/checkpoint/")); 父主题： Flink应用开发常见问题
-8”。 单击“Apply”应用配置。 单击“OK”完成编码配置。 图27 Settings 请从Flink服务端安装目录获取相关的依赖包。 请从Kafka环境中获取Kafka依赖包。 具体依赖包请查看样例工程运行依赖包参考信息。 配置Maven。 参考配置华为开源镜像仓章节描述
fSystem.mkdirs(filePath); } return true; } 父主题： 开发HDFS应用
Streaming应用与Kafka对接，Spark Streaming应用异常终止并从checkpoint恢复重启后，对于进入Kafka数据的任务，系统默认优先处理应用终止前（A段时间）未完成的任务和应用终止到重启完成这段时间内（B段时间）进入Kafka数据生成的任务，最后再处理应用重启完成
Streaming应用与Kafka对接，Spark Streaming应用异常终止并从checkpoint恢复重启后，对于进入Kafka数据的任务，系统默认优先处理应用终止前（A段时间）未完成的任务和应用终止到重启完成这段时间内（B段时间）进入Kafka数据生成的任务，最后再处理应用重启完成
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
