检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ipeline）优化。 Transformation和Action（RDD的操作） 对RDD的操作包含Transformation（返回值还是一个RDD）和Action（返回值不是一个RDD）两种。RDD的操作流程如图2所示。其中Transformation操作是Lazy的，也就
操作。 创建MRS Hadoop集群 购买一个包含有Hadoop组件的MRS集群，详情请参见购买自定义集群。 本文以购买的MRS 3.2.0-LTS.1版本的集群为例，组件包含Hadoop组件，集群开启Kerberos认证。 单击“立即购买”，等待MRS集群创建成功。 准备应用开发配置文件
步骤4：查看日志采集结果：查看日志采集结果。 步骤1：创建MRS集群 创建并购买一个包含有Flume、HDFS组件的MRS集群，详情请参见购买自定义集群。 本文以购买的MRS 3.1.0版本的集群为例，集群未开启Kerberos认证。 集群购买成功后，登录集群的FusionInsight Manager界面，下载集群客户端并解压。
Core节点是存放集群业务数据的节点，在缩容时必须保证待缩容节点上的数据被完整迁移到其他节点，即完成各个组件的退服之后，才会执行缩容的后续操作（节点退出Manager和删除ECS等）。在选择Core节点时，会优先选择存储数据量较小，且可退服实例健康状态良好的节点，避免节点退服失败。例如在分析集群上，Core节点安装
ardinality_max_dictionary_size参数控制，默认8192）。 示例 CREATE TABLE test_codecs ON CLUSTER default_cluster ( `a` String, `a_low_card` LowCardinality(String)
regionserver.replication.handler.count 6 RegionServer上的replication RPC服务器实例数。 配置主集群Bulkload批量写数据容灾参数。 是否启用Bulkload批量写数据容灾功能？ 是，执行5。 否，执行8。 选择“集群
若未同步，可在集群Manager页面观察到存在未启动角色。 处理扩容后状态异常的Core节点 场景一：添加节点任务在安装组件前失败 如果MRS集群为按需购买集群： 登录MRS服务控制台。 选择“现有集群” ，单击集群名称进入集群详情页面。 单击页面上面的按钮，在“任务名”列，单击Core节点扩容任务。
Doris集群，详细操作请参考快速购买MRS集群。其中： 集群名称：自定义，例如“mrs_doris” 版本类型：LTS版 集群版本：MRS 3.3.0-LTS 组件选择：Doris集群。 Kerberos认证：开启 其他参数根据实际需要进行配置。 集群购买完成后安装集群客户端，详细操作请参考安装客户端（3
ipeline）优化。 Transformation和Action（RDD的操作） 对RDD的操作包含Transformation（返回值还是一个RDD）和Action（返回值不是一个RDD）两种。RDD的操作流程如图2所示。其中Transformation操作是Lazy的，也就
步骤4：运行作业并查看结果：运行程序并查看数据分析结果。 步骤1：创建MRS集群 创建并购买一个包含有Spark2x、Kafka组件的MRS集群，详情请参见购买自定义集群。 本文以购买的MRS 3.1.0版本的集群为例，集群未开启Kerberos认证。 集群购买成功后，在MRS集群的任一节点内，安装集群客户端，具体操作可参考安装并使用集群客户端。
ipeline）优化。 Transformation和Action（RDD的操作） 对RDD的操作包含Transformation（返回值还是一个RDD）和Action（返回值不是一个RDD）两种。RDD的操作流程如图2所示。其中Transformation操作是Lazy的，也就
动角色。 若未同步，可在集群Manager页面观察到存在未启动角色。 处理步骤 场景一：添加节点任务在安装组件前失败 如果MRS集群为按需购买集群： 登录MRS服务控制台。 选择 “现有集群” ，单击集群名称进入集群详情页面。 单击页面上面的按钮，在“任务名”列，单击Core节点扩容任务。
标准，并对照检查标准对文件进行进一步的手动检查和修改。 执行vi 文件名命令进入编辑模式，按“Insert”键开始编辑。 修改完成后按“Esc”键退出编辑模式，并输入:wq保存退出。 例如： vi /etc/ssh/sshd_config 等待一个小时，进入下一次检查，查看告警是否恢复。
现。例如，您只允许用户组A访问某一OBS文件系统中的日志文件，您可以执行以下操作来实现： 为MRS集群配置OBS访问权限的委托，实现使用ECS自动获取的临时AK/SK访问OBS。 在IAM中创建一个只允许访问某一OBS文件系统中的日志文件的策略，并创建一个绑定该策略权限的委托。
后对现有集群的业务没有影响，扩容后引起的数据倾斜问题可参考配置HDFS DataNode数据均衡页面内容进行规避。 包周期集群扩容 当用户购买了MRS包周期集群后，在订购的周期之内，用户的业务增长超过预期时，就会出现超出包周期订单规模外的扩容诉求。MRS服务支持包周期集群扩容能力
FlinkPipelineJavaExample Flink Job Pipeline的Java/Sacla示例程序。 本样例中一个发布者Job自己每秒钟产生10000条数据，另外两个Job作为订阅者，分别订阅一份数据。订阅者收到数据之后将其转化格式，并抽样打印输出。 FlinkPipelineScalaExample
lue指定的日期之后的记录。 -last-value (value) 增量导入参数，指定自从上次导入后列的最大值（大于该指定的值），也可以自己设定某一值。 Sqoop使用样例 通过sqoop import导入MySQL数据到HDFS sqoop import --connect jdbc:mysql://10
创建MRS HBase集群 购买一个包含有HBase组件的MRS集群，详情请参见购买自定义集群。 本文以购买的MRS 3.1.0版本的集群为例，组件包含Hadoop、HBase组件，集群开启Kerberos认证。 单击“立即购买”，等待MRS集群创建成功。 图1 集群购买成功 准备应用开发配置文件
的告警信息影响到服务的使用，其告警级别达到致命时，则发送信息通知给对应租户。 在用户集群的ECS机器被删除、关机、修改规格、重启、更新OS的行为，会导致大数据集群异常，当检测到用户的虚拟机出现以上状态的时候，发送通知给对应用户。 创建主题 主题是消息发布或客户端订阅通知的特定事件
AM委托对接OBS。 存算分离功能使用流程： 配置存算分离集群。 请选择如下其中一种配置即可（推荐使用委托方式）。 通过为MRS集群绑定ECS委托方式访问OBS，避免了AK/SK直接暴露在配置文件中的风险，具体请参考配置MRS集群通过IAM委托对接OBS。 在MRS集群中配置AK
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
