检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
gs/application_${appid}/container_{$contid}”。 运行中的任务日志存储在以上路径中，运行结束后会基于Yarn的配置确定是否汇聚到HDFS目录中。 FlinkResource运行日志：“/var/log/Bigdata/flink/flinkResource”。
1版本安装不成功，则需要检查环境是否有问题或是Python自身原因导致的。 安装Python客户端到客户端机器。 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\hive-examples”目录下的样例工程文件夹“python3-examples”。 进入“python3-examples”文件夹。
MRS 1.5.1.4补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.5.1.4 发布时间 2018-08-23 解决的问题 Spark组件问题： 当carbon表元数据文件较大时导致的查询慢问题。 修复carbon在某些场景下，对数据进行压缩时，出现转换为SHORT_INT失败的问题。
创建CDL数据比较任务作业 操作场景 数据比对即是对源端数据库中的数据和目标端Hive中的数据作数据一致性校验，如果数据不一致，CDL可以尝试修复不一致的数据。 当前数据对比任务支持手动全量任务比对。数据比对任务采用On Yarn的运行形态，比对结果会上传到HDFS目录。 数据比对目前仅支持基本数据类型比对，
基于某些业务要求，开发的Flink应用程序实现功能：实时输出带有前缀的消息内容。 数据规划 Flink样例工程的数据存储在Kafka组件中。向Kafka组件发送数据（需要有Kafka权限用户），并从Kafka组件接收数据。 确保集群安装完成，包括HDFS、Yarn、Flink和Kafka。
用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用hbaseRDD方法以特定的规则扫描HBase表。 数据规划 使用操作Avro格式数据章节中创建的hbase数据表。 开发思路 设置scan的规则，例如：setCaching。 使用特定的规则扫描Hbase表。 运行前置操作 安全模式下Spark
Spark任务由于内存不够或提交作业时未添加Jar包，作业卡住 用户问题 Spark提交作业内存不足或提交作业时未添加Jar包导致任务长时间处于pending状态或者运行中内存溢出。 问题现象 使用Spark提交作业后，长期卡住不动。反复运行作业后报错，内容如下： Exception in thread "main"
// Create the table. client.createTable(tableName, schema, cto); 示例代码中，定义了一张表，包含key和value两列。其中key是int32类型的主键字段，value是string类型的非主键字段且可以为空；同时该
// Create the table. client.createTable(tableName, schema, cto); 示例代码中，定义了一张表，包含key和value两列。其中key是int32类型的主键字段，value是string类型的非主键字段且可以为空；同时该
该配置仅用于MySQL专用连接器，当数据列内容中包含默认分隔符时，需要设置自定义分隔符，否则会出现数据错乱。 string 否 , 换行分隔符 用户根据数据实际情况，填写字符串作为换行符。支持任何字符串。默认使用操作系统的换行符。 说明： 该配置仅用于MySQL专用连接器，当数据列内容中包含默认分隔符时，需
Ticket），由Kerberos服务生成，提供给应用程序与应用服务建立安全会话，该票据一次性有效。 ST的生成在FusionInsight产品中，基于hadoop-rpc通信，由rpc底层自动向Kerberos服务端提交请求，由Kerberos服务端生成。 认证代码实例讲解 package
CREATE TABLE AS 语法 CREATE [EXTERNAL]① TABLE [IF NOT EXISTS] [catalog_name.][db_name.]table_name [ ( column_alias, ... ) ] [[PARTITIONED BY ①(col_name
uper，需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 将user.keytab、krb5
至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Flink客户端的运行步骤是相同的。 基于YARN集群的Flink应用程序不支持在Windows环境下运行，只支持在Linux环境下运行。 操作步骤 在IntelliJ IDEA中，单击IDEA右边Maven窗口的“Reload
WebUI”右侧，单击链接，访问Flink的WebUI。 单击“作业管理”进入作业管理页面。 找到待调优的并处于非运行中的作业，在“操作”列单击“开发”进入作业开发界面。 在作业开发界面的“自定义参数”项中，添加如下参数并保存。 开启RocksDB监测 表1 RocksDB监测配置 参数名称 值 说明
的协议类型，在本示例中，配置为“SASL_PLAINTEXT”。 “TOKENID”和“HMAC”参考Kafka Token认证机制工具使用说明为用户生成Token时产生。 在使用Token认证机制时，需要把Kerberos认证机制注释掉，保证代码运行过程中只使用一个认证机制，如下所示：
基于某些业务要求，开发的Flink应用程序实现功能：实时输出带有前缀的消息内容。 数据规划 Flink样例工程的数据存储在Kafka组件中。向Kafka组件发送数据（需要有Kafka权限用户），并从Kafka组件接收数据。 确保集群安装完成，包括HDFS、Yarn、Flink和Kafka。
e工程。 操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src”目录下的样例工程，可根据实际业务场景选择对应的样例，相关样例介绍请参见ClickHouse样例工程介绍。 在应用开发环境中，导入样例工程到IntelliJ IDEA开发环境。 在IDEA界面选择“File
CookieProcessor使用LegacyCookieProcessor，避免cookie中的敏感数据泄漏。 加固LDAP MRS集群中针对LDAP做了如下功能增强： LDAP配置文件中管理员密码使用SHA加密，当升级openldap版本为2.4.39或更高时，主备LDAP节点服务自动采用SASL
用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用hbaseRDD方法以特定的规则扫描HBase表。 数据规划 使用操作Avro格式数据章节中创建的hbase数据表。 开发思路 设置scan的规则，例如：setCaching。 使用特定的规则扫描Hbase表。 运行前置操作 安全模式下Spark
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
