检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对于Python开发环境，直接使用Editra编辑器（或其他编写Python应用程序的IDE）即可。 下载客户端样例配置程序到本地开发环境。 使用FTP工具，将运行调测环境的客户端包文件“MRS_Service_client”下载到本地，并解压得到目录“MRS_Services_ClientConfig”。
使用FusionInsight Manager界面中的Flume配置工具来配置Flume角色服务端参数并生成配置文件。 登录FusionInsight Manager，选择“集群 > 服务 > Flume > 配置工具”。 图2 选择配置工具 “Agent名”选择“client”，然后选择要使用
数据连接管理，配置Kafka、HDFS等服务信息。 数据表管理，定义Sql访问的数据表信息，用于生成DDL语句。 FlinkSQL作业定义，根据用户输入的Sql，校验、解析、优化、转换成Flink作业并提交运行。 Flink作业可视化管理 支持可视化定义流作业和批作业。 支持作业资源、故障恢复策略、Checkpoint策略可视化配置。
例如： 新建用户user并绑定租户同名的角色。 用户user需要使用bulkload功能还需要额外权限。 以下以用户user为例： 参见“批量导入数据”章节举例，以下是一些差异点。 将数据文件目录建在“/tmp”目录下，执行以下命令： hdfs dfs -mkdir /tmp/datadirImport
Spark同步HBase数据到CarbonData样例程序开发思路 场景说明 数据实时写入HBase，用于点查业务，数据每隔一段时间批量同步到CarbonData表中，用于分析型查询业务。 数据规划 创建HBase表，构造数据，列需要包含key，modify_time，valid
keytabpath/user.keytab查看。 如果集群有做过切换域名操作，需要保证url中使用的principal字段是新域名。 如默认为hive/hadoop.hadoop.com@HADOOP.COM，当集群有切换域名的操作时，该字段需要进行相关修改。如域名为abc.com时，则此处应填写hive/hadoop
http请求的消息解析方式，支持以下两种： “org.apache.flume.source.http.JSONHandler”：表示Json格式解析。 “org.apache.flume.sink.solr.morphline.BlobHandler”：表示二进制Blob块解析。 handler
提升HBase连续Put数据场景性能 操作场景 对大批量、连续put的场景，配置下面的两个参数为“false”时能大量提升性能。 “hbase.regionserver.wal.durable.sync” “hbase.regionserver.hfile.durable.sync”
提升HBase连续Put数据场景性能 操作场景 对大批量、连续Put的场景，配置下面的两个参数为“false”时能大量提升性能。 “hbase.regionserver.wal.durable.sync” “hbase.regionserver.hfile.durable.sync”
本章节仅适用于MRS 3.3.1-LTS及之前版本。 HoodieDeltaStreamer流式写入 Hudi自带HoodieDeltaStreamer工具支持流式写入，也可以使用SparkStreaming以微批的方式写入。HoodieDeltaStreamer提供以下功能： 支持Kafka，DFS多种数据源接入
流式写入Hudi表 HoodieDeltaStreamer流式写入 Hudi自带HoodieDeltaStreamer工具支持流式写入，也可以使用SparkStreaming以微批的方式写入。HoodieDeltaStreamer提供以下功能： 支持Kafka，DFS多种数据源接入
oldap > 修改配置”。 “Ldap服务监听端口”参数值即为oldap端口。 查询域名方法： 登录Manager，选择“系统 > 权限 > 域和互信”。 “本端域”参数即为域名。 例如当前系统域名为“9427068F-6EFA-4833-B43E-60CB641E5B6C.COM”。
'world,'anyone : cdrwa 'sasl,'userA@<系统域名> : cdrwa 使用setAcl命令修改权限。设置新权限命令如下： setAcl /test sasl:用户名@<系统域名>:权限值 例如仅保留userA用户的所有权限，删除anyone用户的rw权限。
数值为“hadoop.实际域名”，实际域名可登录FusionInsight Manager，选择“系统 > 权限 > 域和互信 > 本端域” 查看；主机名为hadoop，服务名为hive。 conf = {"krb_host":"hadoop.<系统域名>", "krb_service":"hive"}
Storm-Kafka开发指引 操作场景 本文档主要说明如何使用Storm-Kafka工具包，完成Storm和Kafka之间的交互。包含KafkaSpout和KafkaBolt两部分。KafkaSpout主要完成Storm从Kafka中读取数据的功能；KafkaBolt主要完成Storm向Kafka中写入数据的功能。
动态分区表插入数据的最后一步是读取shuffle文件的数据，再写入到表对应的分区文件中。 当大面积shuffle文件损坏后，会引起大批量task失败，然后进行job重试。重试前Spark会将写表分区文件的句柄关闭，大批量task关闭句柄时HDFS无法及时处理。在task进行下一次重试时，句柄在NameNode端未被及时释放，即会发生"Failed
例如： 新建用户user并绑定租户同名的角色。 用户user需要使用bulkload功能还需要额外权限。 以下以用户user为例： 参见“批量导入数据”章节举例，以下是一些差异点。 将数据文件目录建在“/tmp”目录下，执行以下命令： hdfs dfs -mkdir /tmp/datadirImport
'world,'anyone : cdrwa 'sasl,'userA@<系统域名> : cdrwa 使用setAcl命令修改权限。设置新权限命令如下： setAcl /test sasl:用户名@<系统域名>:权限值 例如仅保留userA用户的所有权限，删除anyone用户的rw权限。
quet文件，大幅提升读取性能。 规则 有数据持续写入的表，24小时内至少执行一次compaction。 对于MOR表，不管是流式写入还是批量写入，需要保证每天至少完成1次Compaction操作。如果长时间不做compaction，Hudi表的log将会越来越大，这必将会出现以下问题：
ster产生，详细记录了作业启动时间、运行时间，每个任务启动时间、运行时间、Counter值等信息。此日志内容被HistoryServer解析以后用于查看作业执行的详细信息。 任务日志记录了每个运行在Container中的任务输出的日志信息。默认情况下，任务日志只会存放在各Nod
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
