检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
u-limit 表示该节点上YARN可使用的物理CPU百分比。默认是90，即不进行CPU控制，YARN可以使用节点全部CPU。该参数只支持查看，可通过调整YARN的RES_CPUSET_PERCENTAGE参数来修改本参数值。注意，目前推荐将该值设为可供YARN集群使用的CPU百分数。
再将数据转移到正式表。 已创建的作业可以在“Loader WebUI”界面上进行浏览，可进行启动、停止、复制、删除、编辑和查看历史信息操作。 图2 查看Loader作业 父主题： 数据导出
u-limit 表示该节点上YARN可使用的物理CPU百分比。默认是90，即不进行CPU控制，YARN可以使用节点全部CPU。该参数只支持查看，可通过调整YARN的RES_CPUSET_PERCENTAGE参数来修改本参数值。注意，目前推荐将该值设为可供YARN集群使用的CPU百分数。
确保本地环境的时间与MRS集群的时间差要小于5分钟，若无法确定，请联系系统管理员。MRS集群的时间可通过FusionInsight Manager页面右下角查看。 已准备开发环境及MRS集群相关配置文件，详情请参考准备Spark连接集群配置文件。 操作步骤 参考获取MRS应用开发样例工程，获取样例
相关依赖jar包将自动下载，不需手动添加。 当样例代码使用其他FusionInsight组件时，例如Kafka等，请去对应FusionInsight组件的服务端安装目录查找并添加依赖包。样例工程对应的依赖包详情，请参见样例工程运行依赖包参考信息。 （可选）如果导入Scala语言开发的样例程序，还需要为工程设置语言。
ClickHouse日志详细信息 日志类型 日志文件名 描述 ClickHouse相关日志 /var/log/Bigdata/clickhouse/clickhouseServer/clickhouse-server.err.log ClickHouseServer服务运行错误日志文件路径。
IDX_F_ACCOUNT1_PKEY PRIMARY KEY (CLT_NBR,ORG_NBR) ); TOTAL 单击“保存并运行”，开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面，待“状态”显示“成功”则说明作业完成。 父主题： 创建Loader数据导出作业
cli方式运行metastore session临时文件 否 任务运行失败 /tmp/logs/ 固定目录 存放container日志文件 是 container日志不可查看 /tmp/carbon/ 固定目录 数据导入过程中，如果存在异常CarbonData数据，则将异常数据放在此目录下 是 错误数据丢失 /
修改参数值后，需重启Yarn服务使其生效。 说明： 在修改值为“false”并生效后，生效前的日志无法在WebUI中获取。 如果需要在WebUI界面上查看之前产生的日志，建议将此参数设置为“true”。 true yarn.nodemanager.log-aggregation.roll-m
keyBy尽量不要使用String。 设置并行度 并行度控制任务的数量，影响操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到最优。 查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度使任务和数据更均匀的分布在各个节点。增
量）、take（返回前几个元素）。 生成Scala集合类型，如collect（把RDD中的所有元素导入Scala集合类型）、lookup（查找对应key的所有值）。 写入存储，如与前文textFile对应的saveAsTextFile。 还有一个检查点算子checkpoint。当
导入并配置Flink SpringBoot样例工程 该章节内容适用于MRS 3.3.0及之后版本。 操作场景 为了运行FusionInsight MRS产品Flink组件的SpringBoot接口样例代码，需要完成下面的操作。当前支持GaussDB（DWS）样例工程。 该章节以在
导入并配置Flink SpringBoot样例工程 该章节内容适用于MRS 3.3.0及之后版本。 操作场景 为了运行FusionInsight MRS产品Flink组件的SpringBoot接口样例代码，需要完成下面的操作。当前支持GaussDB（DWS）样例工程。 该章节以在
使用Oozie调度Spark访问HBase以及Hive 前提条件 已经配置完成导入并配置Oozie样例工程的前提条件。 开发环境配置 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\oozie-examples”目录下的样例工程文件夹“ooziesecurity-
备份Flink元数据 操作场景 为了确保Flink集群中的元数据安全，或者系统管理员需要对Flink进行重大操作（如升级或迁移等）时，需要对Flink集群的元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight
使用Oozie调度Spark2x访问HBase以及Hive 前提条件 已经配置完成导入并配置Oozie样例工程的前提条件。 开发环境配置 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\oozie-examples”目录下的样例工程文件夹“ooziesecurit
RocksDB中作为一条记录存储，value是整个map，而使用MapState，在RocksDB中作为N条记录存储，这样做的好处是当进行查询或者修改可以只序列化一小部分数据，当将map作为整体存储时每次增删改都会产生很大的序列化开销。对于List数据，使用ListState可以无需序列化动态添加元素。
修改参数值后，需重启YARN服务使其生效。 说明： 在修改值为“false”并生效后，生效前的日志无法在WebUI中获取。 如果需要在WebUI界面上查看之前产生的日志，建议将此参数设置为“true”。 true yarn.nodemanager.log-aggregation.roll-m
schedule-tool工具使用示例 操作场景 通过Loader WebUI或客户端工具Loader-tool创建好作业后，可使用schedule-tool工具执行作业。 前提条件 完成了Loader客户端的安装与配置，具体操作请参见使用客户端运行Loader作业。 操作步骤
准备HBase应用开发和运行环境 准备开发环境 在进行二次开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
