检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
t Manager，选择“集群 > 服务 > Kafka > 实例”，在实例列表页面中查看并记录任意一个Broker实例业务IP地址。 Kafka连接端口：集群已启用Kerberos认证（安全模式）时Broker端口为“sasl.port”参数的值。集群未启用Kerberos认证
导致ClickHouse服务异常，后台任务异常。 调整Zookeeper配置：登录FusionInsight Manager界面，选择“集群 > Zookeeper > 配置 > 全部配置 > quorumpeer > 系统”，修改参数“GC_OPTS”的值，保存配置，滚动重启Zookeeper服务，如下表所示
向管理员申请该Topic的访问权限。 如果拥有权限后还是无法访问该Topic，使用管理员用户登录FusionInsight Manager，选择“集群 > 服务 > Kafka > 配置 > 全部配置”进入Kafka服务配置页面，搜索“allow.everyone.if.no.acl.f
行结果等信息。用户可定期查看任务执行情况，帮助评估集群运行健康状况。 查看HetuEngine物化视图自动化任务步骤 使用用于访问HetuEngine WebUI界面的用户登录FusionInsight Manager，选择“集群 > 服务 > HetuEngine”，进入HetuEngine服务页面。
); 参数描述 表1 ADD COLUMNS参数描述 参数 描述 db_name 数据库名。如果未指定，则选择当前数据库。 table_name 表名。 col_name data_type 带数据类型且用逗号分隔的列的名称。列名称包含字母，数字和下划线（_）。 说明： 创建Ca
GC_OPTS参数配置如下： 图1 查看NameNode的GC_OPTS参数配置 NameNode内存配置和数据量对应关系参考表1。 表1 NameNode内存配置和数据量对应关系 文件对象数量 参考值 10,000,000 “-Xms6G -Xmx6G -XX:NewSize=512M
options.is.empty.data.bad.record 指定空数据是否被视为bad record。有关详细信息，请参阅 Bad Records处理： carbon.options.sort.scope 指定数据加载期间排序的范围。 carbon.options.bad.record
量增加，需要消耗更多的内存，使集群现有硬件可能会难以满足业务需求，且导致集群难以扩展。 规划存储大量文件的HDFS系统容量，就是规划NameNode的容量规格和DataNode的容量规格，并根据容量设置参数。 容量规格 以下相关参数可以参考修改集群服务配置参数进入HDFS服务全部配置页面，搜索对应参数查看。
manager.timeout”的默认时间为“600000ms”，集群规格为每个regionserver上有2000~3000个region，在集群正常情况下(HBase无异常，HDFS无大量的读写操作等)，建议此参数依据集群的规格进行调整，若实际规格（实际平均每个regonserve
DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别，请执行如下操作： 登录FusionInsight Manager系统。 选择“集群 > 服务 > Guardian > 配置 > 全部配置”。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。
INDEX参数 参数 描述 index_name 索引表的名称。表名称应由字母数字字符和下划线（_）特殊字符组成。 db_name 数据库的名称。如果未指定，选择当前默认数据库。 table_name 需要删除的表的名称。 注意事项 该命令中IF EXISTS和db_name为可选项。 示例 DROP
如果想使用SSH功能，需要手动开启。 操作步骤 开启SSH功能（若当前集群无“oozie.job.ssh.enable”参数，则跳过该操作）： 在FusionInsight Manager界面，选择“集群 > 服务 > Oozie > 配置 > 全部配置 > oozie（角色）
配置SparkSQL支持Hudi Schema演进 Schema演进开启后不能关闭。 本章节仅适用于MRS 3.2.0及之前版本。 使用spark-beeline时，需要登录Manager页面，选择“集群 > 服务 > Spark2x > 配置 > 全部配置”。 在搜索栏中搜索参数“spark
如果想使用SSH功能，需要手动开启。 操作步骤 开启SSH功能（如果当前集群无“oozie.job.ssh.enable”参数，则跳过该操作）： 在FusionInsight Manager界面，选择“集群 > 服务 > Oozie > 配置 > 全部配置 > oozie（角色）
下载样例工程的Maven工程源码和配置文件，请参见获取MRS应用开发样例工程。 将样例代码导入IDEA中。 获取配置文件。 从集群的客户端中获取文件。在“$SPARK_HOME/conf”中下载hive-site.xml与spark-defaults.conf文件到本地。 在HDFS中上传数据。 在Liunx中新
创建ClickHouse表 本章节介绍创建ClickHouse表样例代码。 通过on cluster语句在集群中创建表1中tableName参数值为表名的ReplicatedMerge表和Distributed表。 示例代片段参考如下： private void createTable(String
功能介绍 在Spark应用中，通过使用Streaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata
sparkContext.makeRDD(sentData)) //创建写数据的DStream。 val wStream = ssc.queueStream(sent) //使用writetokafka API把数据写入Kafka。 wStream.writeToKafka(kafkaParams
整）。 永久增加map内存mapreduce.map.memory.mb和mapreduce.map.java.opts的值： 进入Hive服务配置页面： MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Hive > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。
的Flink集群上，也可以使用单机模式运行。 提交到常驻Flink集群上的一个示例如下： bin/flink run ../examples/streaming/WindowJoin.jar 用户在用该命令提交任务前需要先用yarn-session启动Flink集群。 以yarn
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
