检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Array[String]) { val ssc = createContext(args) //启动Streaming系统。 ssc.start() ssc.awaitTermination() } def createContext(args
put_data1.txt，input_data2.txt到此目录，命令如下。 在Linux系统HDFS客户端使用命令hdfs dfs -mkdir /tmp/input 在Linux系统HDFS客户端使用命令hdfs dfs -put local_filepath /tmp/input
当前环境HBase已经是容灾集群，因为某些原因，需要将主备集群互换，即备集群变成主集群，主集群变成备集群。 本章节适用于MRS 3.x及之后版本。 对系统的影响 主备集群互换后，原先主集群将不能再写入数据，原先备集群将变成主集群，接管上层业务。 操作步骤 确保上层业务已经停止 确保上层业务已经停止，如果没有停止，先执行
创建子目录“conf”，将样例代码文件夹impala-examples-normal中的client.properties上传到linux系统上的样例代码文件夹中的/opt/impala_examples/conf文件夹，并在client.properties中填入impalad的ip地址。
这些临时文件： call clean_data(table => 'mytable', sql=>'delete cleanData') 系统响应 可在客户端中查看查询结果。 父主题： Hudi数据管理维护
性。 obs-connector 表1 obs-connector目的连接属性 参数 说明 桶名 保存最终数据的OBS文件系统。 写入目录 最终数据在文件系统保存时的具体目录。必须指定一个目录。 文件格式 Loader支持OBS中存储数据的文件格式，默认支持以下两种： CSV_F
集群Master节点、Core节点或者Task节点正在扩容，则其状态为“扩容中”。 缩容中 当对集群节点进行缩容、弹性缩容、包周期集群退订节点、变更OS和重装OS的操作时，被变更的集群节点正在删除，则其状态为“缩容中”。 异常 集群中部分组件状态异常，导致集群异常，则其状态为“异常”。 删除中
config.properties memory.heap-headroom-per-node 3GB Worker JVM * 0.3。 系统堆单节点最大可用内存。 worker.config.properties extraJavaOptions参数中的Xmx大小 4GB 单个
置项，用户可以根据Driver的内存大小设置合适的值。 配置描述 参数入口： 在执行应用之前，在Spark服务配置中修改。在Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”。在搜索框中输入参数名称。 表1 参数说明
路径”在“路径”中输入obs_bucket_name。 其中obs_bucket-name请使用实际的OBS桶名替换。若桶类型为“并行文件系统”需要再添加obs_bucket_name/tmp/路径，桶类型为“对象存储”则不需要添加obs_bucket_name/tmp/路径。 （可选）请求条件，暂不添加。
ADD COLUMNS (a1 INT, b1 STRING) TBLPROPERTIES('DEFAULT.VALUE.a1'='10'); 系统响应 通过运行DESCRIBE命令，可显示新添加的列。 父主题： CarbonData语法参考
将列a1的精度从10更改为18。 ALTER TABLE test_db.carbon CHANGE a1 a1 DECIMAL(18,2); 系统响应 通过运行DESCRIBE命令，将显示被修改列变更后的数据类型。 父主题： CarbonData语法参考
置项，用户可以根据Driver的内存大小设置合适的值。 配置描述 参数入口： 在执行应用之前，在Spark服务配置中修改。在Manager系统中，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”。在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 spark
运行在Yarn上的作业在执行完成后，NodeManager会通过LogAggregationService把产生的日志收集到HDFS上，并从本地文件系统中删除。日志收集到HDFS上以后由HistoryServer来进行统一的日志管理。LogAggregationService在收集日志时会
文件，文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。支持自定义其他目录且omm用户拥有目录的读、写与执行权限。然后执行4。 否，单击“确定”指定本地的保存位置，开始下载完整客户端，等待下载完成，然后执行4。 MRS 3.3.1及之后版本： 根据实际情况配置“选择下载位置”参数。
85.2为MapReduce的“JHS_FLOAT_IP”参数的参数值，19888为JobHistoryServer的端口号。 在部分低版本操作系统中使用curl命令访问JobHistoryServer会有兼容性问题，导致无法返回正确结果。 用户能看到历史任务的状态信息（任务ID，开始时间，结束时间，是否执行成功等信息）
度。 动态资源调度就是为了解决这种场景，根据当前应用任务的负载情况，实时的增减Executor个数，从而实现动态分配资源，使整个Spark系统更加健康。 操作步骤 需要先配置External shuffle service。 登录FusionInsight Manager，选择“集群
distinct出现次数超出2中配置规则的阈值，系统提示信息如下： WARNING: static_0001 Occurrence num of 'COUNT(DISTINCT)'(6) reaches the hint threshold(2) 若SQL防御规则中设置的动作是“拦截”，系统回显信息如下： Error
ERROR表示记录当前时间处理存在错误信息。 WARN WARN表示记录当前事件处理存在异常信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。 如果您需要修改实例的运行日志或审计日志级别，请执行如下操作： 登录FusionInsight
约束限制： 当启用弹性伸缩时，资源计划与自动伸缩规则需至少配置其中一种。不能超过5条。 取值范围： 不涉及 默认取值： 不涉及 rules Array of Rule objects 参数解释： 自动伸缩的规则列表。 约束限制： 当启用弹性伸缩时，资源计划与自动伸缩规则需至少配置其中一种。不能超过10条。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
