检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
策略密码有效期时,该用户密码有效期保持不变。 单击“确定”完成修改操作。 修改用户信息(MRS 2.x及之前版本) 在MRS Manager,单击“系统设置”。 在“权限配置”区域,单击“用户管理”。 在要修改用户所在的行,单击“修改”,修改用户信息。 为用户修改用户组或分配的角色权限,最长可能需要3分钟时间生效。
Beeline高可靠性 操作场景 在批处理任务运行过程中,beeline客户端由于网络异常等问题断线时,Hive能支持beeline在断线前已经提交的任务继续运行。当再次运行该批处理任务时,已经提交过的任务不再重新执行,直接从下一个任务开始执行。 在批处理任务运行过程中,HiveS
Beeline高可靠性 操作场景 在批处理任务运行过程中,beeline客户端由于网络异常等问题断线时,Hive能支持beeline在断线前已经提交的任务继续运行。当再次运行该批处理任务时,已经提交过的任务不再重新执行,直接从下一个任务开始执行。 在批处理任务运行过程中,HiveS
理一次(Exactly Once)。 SavePoint Savepoint是指允许用户在持久化存储中保存某个checkpoint,以便用户可以暂停自己的任务进行升级。升级完后将任务状态设置为savepoint存储的状态开始恢复运行,保证数据处理的延续性。 父主题: Flink应用开发概述
在Linux环境中调测Spark应用 在程序代码完成开发后,您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar,只需将样例工程复制到编译机器上即可。
显的读写时延。 规则 Hudi表必须执行Archive。 对于Hudi的MOR类型和COW类型的表,都需要开启Archive。 Hudi表在写入数据时会自动判断是否需要执行Archive,因为Archive的开关默认打开(hoodie.archive.automatic默认为true)。
准备本地应用开发环境 准备开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境: Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK
efaults.conf”配置文件中将配置项“spark.yarn.security.credentials.hbase.enabled”设置为“true”(该参数值默认为“false”,改为“true”后对已有业务没有影响。如果要卸载HBase服务,卸载前请将此参数值改回“false”)。
进入服务参数配置界面。 MRS Manager界面操作:登录MRS Manager,选择“服务管理 > Kafka > 服务配置”,“参数类别”设置为“全部配置”。 FusionInsight Manager界面操作:登录FusionInsight Manager。选择“集群 > 服务
format] 使用示例 --查看ClickHouse集群信息 select * from system.clusters; --显示当前节点设置的宏 select * from system.macros; --查看数据库容量 select sum(rows) as "总行数",
storage_path 指定目录的完整FS绝对路径 space_consumed 返回文件/目录在集群中占用的实际空间,即它考虑了为集群设置的复制因子 quota 名称配额(名称配额是对当前目录树中的文件和目录名称数量的硬性限制) space_quota 空间配额(空间配额是对
分区。当表属性“auto.purge”采用默认值“false”时,被删除的数据行将保存到文件系统的回收站,否则,当“auto.purge”设置为“true”时,数据行将被直接删除。 限制 目标表必须是管控表(表属性external=false),否则执行语句将报错。 示例 -- 删除原生/管控表
MRS联合消息通知服务(SMN),采用主题订阅模型,提供一对多的消息订阅以及通知功能,能够实现一站式集成多种推送通知方式。 首先,作为主题拥有者,可以先创建一个主题,并对主题设置访问控制权限来决定哪些发布者和订阅者可以通过该主题进行交流。MRS将集群消息发送至您有权限发布消息的主题,然后所有订阅了该主题的订阅者(可
数据由二维空间中的点的集合组成。点可以存储为一对经纬度。 区域数据:一个区域有空间范围,有位置和边界。位置可以看作是一个定点在区域内的位置,例如它的质心。在二维中,边界可以可视化为一条线(有限区域,闭环)。区域数据包含一系列区域。 目前仅限于支持点数据,存储点数据。 经纬度可以编
<path/for/output> <tablename> 注意事项 批量更新会把满足条件的行对应的字段值替换为要更新的值。 如果要更新的字段上建有索引,批量更新是不允许的。 如果不设置执行结果输出文件,默认是(/tmp/updatedata/表名)。 父主题: 增强HBase BulkLoad工具数据迁移能力
as parquet TBLPROPERTIES("parquet.compression"="zstd"); 其他格式或通用格式建表可执行设置参数指定compress,codec为“org.apache.hadoop.io.compress.ZStandardCode”: set
Collection),评估内存中RDD的大小来判断内存是否变成性能瓶颈,并根据情况优化。 监控节点进程的GC情况(在客户端的conf/spark-defaults.conf配置文件中,在spark.driver.extraJavaOptions和spark.executor.extraJa
并以UDF结尾,例如:MyFunctionUDF。 Java UDF应该指定返回值的数据类型,并且必须具有返回值,返回值默认或异常时不要设置为NULL。建议使用基本数据类型或Java类作为返回值类型。 父主题: Doris应用开发规范
数据由二维空间中的点的集合组成。点可以存储为一对经纬度。 区域数据:一个区域有空间范围,有位置和边界。位置可以看作是一个定点在区域内的位置,例如它的质心。在二维中,边界可以可视化为一条线(有限区域,闭环)。区域数据包含一系列区域。 目前仅限于支持点数据,存储点数据。 经纬度可以编
format] 使用示例 --查看ClickHouse集群信息 select * from system.clusters; --显示当前节点设置的宏 select * from system.macros; --查看数据库容量 select sum(rows) as "总行数",