检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
录下查看并获取当前目录的所有jar文件。 将“clickhouse-examples\out\artifacts\clickhouse_examples.jar”目录下的所有jar文件和“clickhouse-examples”目录下的“conf”文件夹复制到ClickHouse
Streams完成单词统计功能，通过读取输入Topic中的消息，统计每条消息中的单词个数，从输出Topic消费数据，将统计结果以Key-Value的形式输出。 创建MRS集群 购买一个包含有Kafka组件的MRS集群，详情请参见购买自定义集群。 本文以购买的MRS 3.1.0版本的集群为例，组件包含Hadoo
录下查看并获取当前目录的所有jar文件。 将“clickhouse-examples\out\artifacts\clickhouse_examples.jar”目录下的所有jar文件和“clickhouse-examples”目录下的“conf”文件夹复制到ClickHouse
说明： 对于Cluster的Create操作鉴权主要涉及以下两个场景： 集群开启了“auto.create.topics.enable”参数后，客户端向服务的还未创建的Topic发送数据的场景，此时会判断用户是否有集群的Create权限 对于用户创建大量Topic的场景，如果授予用户Cluster
statistics语句时，由于该sql语句会启动MapReduce任务。从YARN的ResourceManager Web UI页面看到，该任务由于资源不足导致任务没有被执行，表现出任务卡住的现象。 图1 ResourceManager Web UI页面 建议用户执行analyze
管理查询语句 单击“保存的查询”。 单击一条已保存的语句，系统会自动将其填充至编辑区中。 修改在Hue使用编辑器的会话配置 在编辑器页面，单击 。 在“文件”的右侧单击 ，然后单击 选择文件。 可以单击“文件”后的 新增加一个文件资源。 在“功能” ，输入用户自定义的名称和函数的类名称。 可以单击“功能”后的
reduce输出为key：网民的信息，value：该网民上网总时间。 context.write(key, result); } /** * setup()方法只在进入map任务的map()方法之前或者reduce任务的reduce()方法之前调用一次。
reduce输出为key：网民的信息，value：该网民上网总时间。 context.write(key, result); } /** * setup()方法只在进入map任务的map()方法之前或者reduce任务的reduce()方法之前调用一次。
显示所有当前用户创建的连接，不支持显示其他用户创建的连接。 如果集群未启用Kerberos认证，则显示集群中全部的Loader连接。 在“Sqoop连接”中输入指定连接的名称，可以筛选该连接。 编辑连接 在Loader页面，单击“管理连接”。 单击指定连接的名称，进入编辑页面。 根据业务需要，修改连接配置参数。
同时为弹性云服务分配足够的磁盘空间，例如“40GB”。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 如果不同，请修改弹性云服务器安全组或配置弹性云服务器安全组的出入规则允许MRS集群所有安全组的访问。 需要允许
MetaStore的总GC时间 MetaStore的总GC时间。 12000ms HiveServer的总GC时间 HiveServer的总GC时间。 12000ms 容量 Hive已经使用的HDFS空间占可使用空间的百分比 Hive已经使用的HDFS空间占可使用空间的百分比。 85
storm-hbase-examples MRS的Storm与HBase组件实现交互的示例程序。实现提交Storm拓扑将数据存储到HBase的WordCount表中。 storm-hdfs-examples MRS的Storm与HDFS组件实现交互的示例程序。实现提交Storm拓扑数据存储到HDFS的功能。 storm-jdbc-examples
如果用户需要在统一的告警平台查看集群的告警和事件，管理员可以在FusionInsight Manager使用Syslog协议将相关数据上报到告警平台。 Syslog协议未做加密，传输数据容易被窃取，存在安全风险。 前提条件 对接服务器对应的弹性云服务器需要和MRS集群的Master节
们之间没有必然联系，都可以独立工作，并且提供的功能是一样的。 Flume客户端需要单独安装，支持将数据直接导到集群中的HDFS和Kafka等组件上。 本案例中，通过MRS自定义集群中的Flume组件，自动采集指定节点日志目录下新产生的文件并存储到HDFS文件系统中。 方案架构 F
HDFS C API接口介绍 功能简介 C语言应用开发代码样例中所涉及的文件操作主要包括创建文件、读写文件、追加文件、删除文件。完整和详细的接口请直接参考官网上的描述以了解其使用方法： http://hadoop.apache.org/docs/r3.1.1/hadoop-pro
准备一个提交Flink作业的用户。 具体请参考准备MRS应用开发用户。 使用新创建的用户登录Manager页面，选择“系统 > 权限 > 用户”，在已增加用户所在行的“操作”列，选择“更多 > 下载认证凭据”。 将下载的认证凭据压缩包解压缩，并将得到的“user.keytab”文件复制到客户端节
HDFS C API接口介绍 功能简介 C语言应用开发代码样例中所涉及的文件操作主要包括创建文件、读写文件、追加文件、删除文件。完整和详细的接口请直接参考官网上的描述以了解其使用方法：http://hadoop.apache.org/docs/r3.1.1/hadoop-proj
提交和部署拓扑的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 Flux框架是Storm提供的提高拓扑部署易用性的框架。通过Flux框架，用户可以使用yaml文件来定义和部署拓扑，并且最终通过storm jar命令来提交拓扑的一种方式，极大地方便了拓扑的部署和提交，缩短了业务开发周期。
HDFS C API接口介绍 功能简介 C语言应用开发代码样例中所涉及的文件操作主要包括创建文件、读写文件、追加文件、删除文件。完整和详细的接口请直接参考官网上的描述以了解其使用方法：http://hadoop.apache.org/docs/r3.1.1/hadoop-proj
开启Kafka高可靠功能 操作场景 如果需执行表1中的CDL数据同步任务时，需开启Kafka高可靠性功能，防止当Kafka发生故障或者Kafka重启时传输的数据丢失。 表1 使用MRS Kafka同步数据的CDL任务 数据源 目的端 描述 MySQL Hudi 该任务支持从MySQL同步数据到Hudi。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
