检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager界面,选择“集群 > 服务 > Spark > 配置 > 全部配置”。 在左侧的导航列表中选择“JDBCServer > 自定义”,参考下表增加自定义参数及值。 表4 Spark参数配置 自定义参数 参数值 custom 参数:spark.sql.warehouse
全部配置”,搜索参数“IOTDB_SERVER_RPC_PORT”获得。 普通模式下,初始安装后IoTDB有一个默认用户:root,密码请参见用户账号一览表章节获取。该用户为管理员用户,固定拥有所有权限,无法被赋予,无法被撤销权限,也无法被删除。 需在本地环境变量中设置环境变量认证用户名和认证用
每个YARN容器最大分配内存(MB) 表示当前队列内单个YARN容器可分配的最大内存,默认为-1,表示取值范围内不限制。 最多运行任务数 表示当前队列最多同时可执行任务的数目,默认为-1,表示取值范围内不限制(为空意义相同),为0表示不可执行任务。取值范围为-1~2147483647。
ALM-38011 Broker上用户连接数使用率超过设定阈值 告警解释 系统每30秒周期性检测Broker上每个用户的连接数情况,当连续5次检测到Broker上某个用户的连接数使用占比超过阈值(默认80%)时产生该告警。 平滑次数为5,当Broker上某个用户的连接数使用占比低于阈值时,告警恢复。
不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。 默认取值: 不涉及 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 job_id_list 否 Array of strings 参数解释: 作业ID列表。获取方法,请参见获取作业ID。
件安全访问策略列表页面。 分别单击“all - database”和“default database tables columns”策略所在行的按钮。 删除“public”组策略。 图1 all - database策略 图2 default database tables columns策略
命令行方式和远程方式安全和普通模式都支持 * 本地提交仅支持普通安全模式 * * 用户同时只能选择一种任务提交方式,默认命令行方式提交,如果是其他方式,请删除代码注释即可 */
本样例中Job每秒生成1条数据,将数据写入到Hudi表中,再读取并打印Hudi表中的数据。 开发思路 写Hudi: 通过一个随机生成数据类来生成数据。 将生成的数据转化为DataStream<RowData>。 将数据写入到Hudi表中。 读Hudi: 读取Hudi表中的数据。 将读取的数据拼接成json格式并打印。
该章节主要介绍创建Doris数据库或表时,数据库名或表名需遵循的规则和建议。 Doris命名规则 数据库字符集需指定UTF-8,并且只支持UTF-8。 Doris命名建议 数据库名称统一使用小写方式,中间使用下划线(_)分隔,长度为62字节以内。 Doris表名称大小写敏感,统一使用小写
使用本机访问MRS集群操作Hive,由于本机与MRS集群的网络不通,只能通过直连HiveServer的方式操作Hive。 方法一:申请一台windows的ECS访问MRS集群操作Hive。在安装开发环境后可直接运行样例代码。申请ECS访问MRS集群的步骤如下。 在“现有集群”列表中,单击已创建的集群名称。 记录集
location "obs://obs-test/test/数据库名/表名"; 视图表授权需要授予视图表权限和视图表对应的物理表路径权限。 仅支持对数据库/表进行级联授权操作,不支持对分区做级联权限,如果分区路径不在表路径下,则需要用户手动授权分区路径。 不支持对Hive Ranger策略中的“Deny
参数解释: 资源计划列表。若该参数为空表示不启用资源计划。 约束限制: 当启用弹性伸缩时,资源计划与自动伸缩规则需至少配置其中一种。不能超过5条。 取值范围: 不涉及 默认取值: 不涉及 rules 否 Array of Rule objects 参数解释: 自动伸缩的规则列表。 约束限制:
bad record 回答 在以下场景中,INSERT INTO CARBON TABLE命令会失败: 当源表和目标表的列数据类型不同时,源表中的数据将被视为Bad Records,则INSERT INTO命令会失败。 源列上的aggregartion函数的结果超过目标列的最大范围,则INSERT
创建FlinkServer作业写入数据至HBase表 本章节适用于MRS 3.1.2及之后的版本。 操作场景 FlinkServer支持对接HBase,详情如下: 支持对接维表、Sink表。 当HBase与Flink为同一集群或互信的集群,支持FlinkServer对接HBase。
可能原因 拓扑定义异常。 数据库表结果定义异常。 原因分析 通过Storm WebUI查看拓扑DAG图,发现DAG图与拓扑定义一致。 查看KeyWordFilter Bolt输出流字段定义和发送消息字段发现一致。 查看Oracle数据库中表定义,发现字段名为大写,与流定义字段名称不一致。
参数描述 表1 DELETE LOAD参数描述 参数 描述 segment_id 将要删除的Segment的ID。 db_name Database名称,如果未指定,则使用当前database。 table_name 在给定的database中的表名。 注意事项 流式表不支持删除segment。
参数描述 表1 DELETE LOAD参数描述 参数 描述 segment_id 将要删除的Segment的ID。 db_name Database名称,若未指定,则使用当前database。 table_name 在给定的database中的表名。 注意事项 流式表不支持删除segment。
@Override public JavaRDD<HoodieRecord<T>> repartitionRecords(JavaRDD<HoodieRecord<T>> records, int outputSparkPartitions) { JavaPairRDD<String
@Override public JavaRDD<HoodieRecord<T>> repartitionRecords(JavaRDD<HoodieRecord<T>> records, int outputSparkPartitions) { JavaPairRDD<String
Oozie样例程序开发思路 开发流程 工作流配置文件“workflow.xml”(“coordinator.xml”是对工作流进行调度,“bundle.xml”是对一组coordinator进行管理)与“job.properties”。 如果有实现代码,需要开发对应的jar包,例如Java