检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建ClickHouse表 本章节介绍创建ClickHouse表样例代码。 以下代码片段在com.huawei.clickhouse.examples包的“Demo”类的createTable方法中。 通过on cluster语句在集群中创建表1中tableName参数值为表名的
命令：netstat -nap | grep 20051查看占用20051端口的进程。 使用kill命令强制终止使用20051端口的进程。 约2分钟后，再次执行命令：netstat -nap | grep 20051，查看是否还有进程占用该端口。 确认占用该端口进程所属的服务，并修改为其他端口。
相关业务结束，需要终止大数据集群等。 用户想要及时得知这些操作是否执行成功，以及当集群出现大数据服务不可用，或节点故障时，用户希望不用频繁登录集群查看，就可以及时地收到告警通知。MRS联合消息通知服务(SMN)，可以将以上信息主动地通知到用户的手机及邮箱，让维护更加省心省力。 客户价值
供性能指标的定制化显示功能及指标转换告警方法。Manager可监控所有组件的运行情况，并在故障时实时上报告警。通过界面的联机帮助，用户可以查看性能指标和告警恢复的详细方法，进行快速排障。 Manager关键特性：统一用户权限管理 Manager提供系统中各组件的权限集中管理功能。
Core广播变量 操作场景 Broadcast（广播）可以把数据集合分发到每一个节点上，Spark任务在执行过程中要使用这个数据集合时，就会在本地查找Broadcast过来的数据集合。如果不使用Broadcast，每次任务需要数据集合时，都会把数据序列化到任务里面，不但耗时，还使任务变得很大。
输入：需要输出的字段。 输出：ClickHouse表。 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 数据库名 配置ClickHouse表所在的数据库。 string 是 default 表名 配置数据写入ClickHouse对应的表名。 string 是 无 数据处理规则
COLUMNS (col_name, ...); 参数描述 表1 DROP COLUMNS参数描述 参数 描述 db_name 数据库名。若未指定，则选择当前数据库。 table_name 表名。 col_name 表中的列名称。支持多列。列名称包含字母，数字和下划线（_）。 注意事项
clickhouse_path 存放ClickHouse数据库数据。 clickhouse_path目录存放ClickHouse元数据信息，只在“data1”目录下存在。 iotdb/iotdbserver 存放IoTDB服务的业务数据。 doris/be 存放Doris数据库数据。 元数据分区目录最多使用
Nimbus堆内存使用率超过阈值 > 定位信息”，查看告警上报的实例的HostName。 单击“组件管理 > Storm > 实例 > Nimbus（对应上报告警实例HostName） > 定制 > Nimbus堆内存使用率”，查看堆内存使用情况。 查看Nimbus使用的堆内存是否已达到Nimbus设定的最大堆内存的80%。
提交MRS作业 MRS作业类型介绍 上传应用数据至MRS集群 运行MRS作业 查看MRS作业详情和日志
Manager在作业完成后，将此参数作为查看作业历史信息的跳转地址保存在RMStateStore中。 JobHistoryServer服务地址变更后，需要将新的服务地址及时更新到MapReduce客户端配置文件中，否则，新运行的作业在查看作业历史信息时，仍然会指向原JobHist
sh 如下所示：以clickhouse用户为例，按照提示输入clickhouse和密码，等待密码清除完成。 查看密码清除结果： 登录到ClickHouse Server节点的，查看“${BIGDATA_HOME}/FusionInsight_ClickHouse_*/*_ClickH
数”为告警连续检查多少次超过阈值，则发送告警。 等待2分钟，查看告警是否自动恢复。 是，处理完毕。 否，执行2。 对系统进行扩容。 打开MRS集群详情页面，在告警管理页签的告警列表中，单击此告警所在行，在告警详情中，查看该告警的节点地址。 登录告警节点。 执行cat /proc/stat
选中“告警ID”为“18008”的告警，查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理 > Yarn > 实例 > ResourceManager（对应上报告警实例IP地址） > 定制 > ResourceManager堆内存使用百分比统计”。查看堆内存使用情况。 查看ResourceM
步骤2：准备测试数据：准备用于进行分析的源数据及程序，并上传至OBS。 步骤3：创建并运行Flink作业：在MRS集群中创建Flink作业并运行。 步骤4：查看作业执行结果：查看数据分析结果。 图2 操作流程 步骤1：创建MRS集群 创建并购买一个包含有Flink组件的MRS集群，详情请参见购买自定义集群。
创建一个新的python3任务，使用Spark读取文件。 图4 创建Python任务 登录到集群Manager界面，在Yarn的WebUI页面上查看提交的pyspark应用。 图5 查看任务运行情况 验证pandas库调用。 图6 验证pandas 对接Jupyter常见问题 pandas本地import使用时，报错如下：
调测Storm应用 生成Storm应用Jar包 在Linux环境中调测Storm应用 查看Storm应用调测结果 父主题： Storm开发指南
已更换磁盘的节点开机。 初始化Linux数据盘。 具体步骤可参见初始化数据盘对新磁盘进行初始化操作。 执行lsblk命令，查看新增磁盘分区信息。 图2 查看新增磁盘（分区） 使用df -TH获取文件系统类型。 图3 获取文件系统类型 使用对应的文件系统类型对新磁盘（分区）进行格式化。
调测Storm应用 打包Storm样例工程应用 打包Storm业务 提交Storm拓扑 查看Storm应用调测结果 父主题： Storm开发指南（安全模式）
安装MRS集群补丁 查看MRS集群补丁信息 安装MRS集群补丁 安装MRS集群滚动补丁 修复隔离MRS集群主机补丁 父主题： MRS集群运维
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
