检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
多个聚合的转换，如window、keyby。 CheckPoint CheckPoint是Flink数据处理高可靠、最重要的机制。该机制可以保证应用在运行过程中出现失败时，应用的所有状态能够从某一个检查点恢复，保证数据仅被处理一次（Exactly Once）。 SavePoint Savepoint是指允
和删除文件的操作。 使用Colocation功能，用户指定了DataNode，会造成某些节点上数据量很大。数据倾斜严重，导致HDFS写任务失败。 由于数据倾斜，导致MapReduce只会在某几个节点访问，造成这些节点上负载很大，而其他节点闲置。 针对单个应用程序任务，只能使用一次
准备Spark本地应用开发环境 Spark2x可以使用Java/Scala/Python语言进行应用开发，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。
procId: 64 completed 在Linux中调测Phoenix样例 在linux环境中调测Phoenix样例，需有与集群环境网络相通的ECS，详情请参见准备本地应用开发环境。 修改样例。将样例代码TestMain中“enablePhoenix”值改为“true”，开启调用Phoenix样例程序接口。
fruit; -- 3.162277660168379 listagg(x, separator) → varchar 描述：返回由输入值连接的字符串，输入值之间由指定分隔符隔开 语法： LISTAGG( expression [, separator] [ON OVERFLOW
WebUI查看应用程序运行情况。 登录Yarn WebUI查看应用程序运行情况。 在MapReduce任务运行过程中禁止重启HDFS服务，否则可能会导致任务失败。 运行统计样例程序 确保样例工程依赖的所有jar包已正常获取。 在IntelliJ IDEA开发环境中，打开样例工程中“LocalRunner
使用Hive CBO功能优化多表查询效率 操作场景 在Hive中执行多表Join时，Hive支持开启CBO（Cost Based Optimization），系统会自动根据表的统计信息，例如数据量、文件数等，选出合适计划提高多表Join的效率。Hive需要先收集表的统计信息后才能使CBO正确的优化。
main()'”运行应用工程。 在HDFS任务运行过程中禁止重启HDFS服务，否则可能会导致任务失败。 在运行Colocation工程时，HDFS的配置项fs.defaultFS不能配置为viewfs://ClusterX。 设置系统的环境变量说明 Hadoop在安全认证的时候，
SQL中包含了HetuEngine支持的会根据参数的类型获得不同类型的返回值的函数 SQL中函数存在嵌套使用，或者是使用的函数会发生异常导致重写失败的函数 物化视图创建语句改写不支持二段式表名，支持一段式和三段式表名。 如支持改写表名为“hive.mvschema.t1”和“t1”，不支持改写表名为“mvschema
用户”界面，选择clickhouseuser用户，选择“更多 > 下载认证凭据”。 首次认证，需要先修改初始密码后再下载认证凭据文件，否则会导致安全认证失败。 解压下载认证凭据，并将“user.keytab”文件改名为“clickhouse_to_hdfs.keytab”。 登录ClickHouse集群FusionInsight
protocols”中追加“,TLSv1”。清空“ssl.server.exclude.cipher.list”配置项的值 ，否则以HTTPS访问不了HDFS。单击“保存 > 确定”，保存完成后重启HDFS服务。 TLSv1协议存在安全漏洞，请谨慎使用。 登录FusionInsight Manager页面，单击“集群
protocols”中追加“,TLSv1”。清空“ssl.server.exclude.cipher.list”配置项的值 ，否则以HTTPS访问不了HDFS。单击“保存配置”，并勾选“重新启动受影响的服务或实例。”，单击“是”，重启HDFS服务。 TLSv1协议存在安全漏洞，请谨慎使用。
protocols”中追加“,TLSv1”。清空“ssl.server.exclude.cipher.list”配置项的值 ，否则以HTTPS访问不了HDFS。单击“保存 > 确定”，保存完成后重启HDFS服务。 TLSv1协议存在安全漏洞，请谨慎使用。 登录FusionInsight Manager页面，单击“集群
使用Kafka生产消费数据 操作场景 用户可以通过MRS集群客户端完成Kafka Topic的创建、查询、删除等操作，也可以通过登录KafkaUI查看当前集群的消费信息。 前提条件 使用Kafka客户端时：已安装客户端，例如安装目录为“/opt/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。
据文件，否则在使用时会提示“Password has expired - change password to reset”，导致安全认证失败。 父主题： MRS应用开发安全认证说明
main()'”运行应用工程。 在HDFS任务运行过程中禁止重启HDFS服务，否则可能会导致任务失败。 在运行Colocation工程时，HDFS的配置项fs.defaultFS不能配置为viewfs://ClusterX。 查看调测结果 查看运行结果获取应用运行情况 HdfsExample
数中要为MRS集群绑定IAM权限委托，使得集群内组件能够对接OBS并具有对应文件系统目录的操作权限。 您可以直接选择系统默认的“MRS_ECS_DEFAULT_AGENCY”，也可以自行创建其他具有OBS文件系统操作权限的自定义委托。 图3 设置MRS集群委托 集群购买成功后，在
获取MRS应用开发样例工程 MRS样例工程构建流程 MRS样例工程构建流程包括三个主要步骤： 下载样例工程的Maven工程源码和配置文件，请参见样例工程获取地址。 配置华为镜像站中SDK的Maven镜像仓库，请参见配置华为开源镜像仓。 根据用户自身需求，构建完整的Maven工程并进行编译开发。
从零开始使用Kudu Kudu是专为Apache Hadoop平台开发的列式存储管理器。Kudu具有Hadoop生态系统应用程序的共同技术特性：可水平扩展，并支持高可用性操作。 前提条件 已安装集群客户端，例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。
从零开始使用Kudu Kudu是专为Apache Hadoop平台开发的列式存储管理器。Kudu具有Hadoop生态系统应用程序的共同技术特性：可水平扩展，并支持高可用性操作。 前提条件 已安装集群客户端，例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
