检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
出于安全考虑，建议用户定期更换自定义密码（例如三个月更换一次），并重新生成各项证书和信任列表。 在FusionInsight Manager管理界面，选择“系统 > 权限 > 用户”，选择“更多 > 下载认证凭据”下载用户flume_hdfs的kerberos证书文件并保存在本地。 配置F
HQL语言 Hive Query Language，类SQL语句。 HCatalog HCatalog是建立在Hive元数据之上的一个表信息管理层，吸收了Hive的DDL命令。为MapReduce提供读写接口，提供Hive命令行接口来进行数据定义和元数据查询。基于MRS的HCata
对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight Manager系统，具体请参见访问FusionInsight Manager（MRS 3.x及之后版本）。 选择“集群 > 待操作集群名称 > 服务 > Loader”。
ALTER TABLE ProductDatabase COMPACT 'CUSTOM' WHERE SEGMENT.ID IN (0, 1); 系统响应 由于为后台运行，ALTER TABLE COMPACTION命令不会显示压缩响应。 如果想要查看MINOR合并和MAJOR合并的响应结果，用户可以检查日志或运行SHOW
进入Hive服务配置页面： MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Hive > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 如果集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。
数指定并行度。例如： ./bin/flink run -p 10 ../examples/*WordCount-java*.jar 系统层次 在系统级可以通过修改Flink客户端conf目录下“flink-conf.yaml”文件中的“parallelism.default”配置选项来指定所有执行环境的默认并行度。
ALTER TABLE ProductDatabase COMPACT 'CUSTOM' WHERE SEGMENT.ID IN (0, 1); 系统响应 由于为后台运行，ALTER TABLE COMPACTION命令不会显示压缩响应。 如果想要查看MINOR合并和MAJOR合并的响应结果，用户可以检查日志或运行SHOW
度。 动态资源调度就是为了解决这种场景，根据当前应用任务的负载情况，实时的增减Executor个数，从而实现动态分配资源，使整个Spark系统更加健康。 操作步骤 需要先配置External shuffle service，具体请参考使用External Shuffle Service提升性能。
keytab”在运行样例的主机上的保存路径，使用绝对路径便于更好定位文件位置。在Windows环境和Linux环境下配置时需注意区分不同操作系统路径书写方式，即“\\”与“\”差异。 [6] Client：第三方ZooKeeper使用该配置进行访问连接，具体连接认证配置由第三方ZooKeeper版本决定。
percentage”修改百分比来控制具体的磁盘占比。 登录Manager进入服务配置页面。 MRS Manager界面操作入口：登录MRS Manager，依次选择 “服务管理 > HDFS> 配置”。 FusionInsight Manager界面操作入口：登录FusionInsight Manager，选择“集群
bytes。 解决办法 登录Manager界面，进入Kafka配置页面。 MRS 3.x之前的版本：登录MRS Manager，选择“服务管理 > Kafka > 配置 > 全部配置”。 MRS 3.x及后续版本，登录FusionInsight Manager，选择“集群 > 服务
ve和HDFS客户端的节点。 执行以下命令认证用户。 cd 客户端安装目录 source bigdata_env kinit 具有Hive管理员权限的用户（未开启Kerberos认证的集群跳过此操作） 执行以下命令在HDFS上创建Jar包存放目录。 hdfs dfs -mkdir
式数据集，这个数据集的全部或部分可以缓存在内存中，在多次计算间重用。 RDD的生成： 从HDFS输入创建，或从与Hadoop兼容的其他存储系统中输入创建。 从父RDD转换得到新RDD。 从数据集合转换而来，通过编码实现。 RDD的存储： 用户可以选择不同的存储级别缓存RDD以便重用（RDD有11种存储级别）。
bailing out 处理步骤 MRS 2.x及之前版本，操作步骤如下： 使用admin用户登录MRS Manager界面，选择“服务管理 > HBase > 服务配置”，将“参数类别”的“基础配置”切换为“全部配置”，选择“HMaster > 自定义”，给参数“hbase.hmaster
要调大“spark.history.retainedApplications”参数的值。 请登录FusionInsight Manager管理界面，单击“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”，在左侧的导航列表中，单击“JobHistory2x
长时间提交作业，manager executor进程会内存溢出 支持提交作业，manager executor可配置并发度功能 MRS manager管理面看不到Kafka新建的topic 安全集群API方式提交Spark Submit作业操作HBase表，HBase表权限控制未生效 MRS
- password 是 连接MySQL的密码，配置文件中包含认证密码信息可能存在安全风险，建议当前场景执行完毕后删除相关配置文件或加强安全管理。 - host 否 MySQL地址 localhost port 否 MySQL端口 3306 log_level 否 日志打印级别，可选值为
如下命令创建maxwell用户（其中XXXXXX是密码，请修改为实际值）。命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 如果Maxwell程序部署在非MySQL机器上，则创建的maxwell用户需要有远程登录数据库的权限，此时创建命令为
metadata 从Hudi的元数据中获取文件列表 N false --verify-metadata-file-listing 根据文件系统验证Hudi元数据中的文件列表 N false --help、-h 查看帮助 N false --support-timestamp 将原
待创建的表的名称。该表用于加载数据进行分析。 表名由字母、数字、下划线组成。 productdb 数据库名称。该数据库将与其中的表保持逻辑连接以便于识别和管理。 数据库名称由字母、数字、下划线组成。 productName storeCity storeProvince procuctCategory
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
