检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
false spark.python.worker.memory 聚合过程中每个python worker进程所能使用的内存大小,其值格式同指定JVM内存一致,如512m,2g。如果进程在聚集期间所用的内存超过了该值,数据将会被写入磁盘。 512m spark.python.worker
时间,如左表(state.ttl.left)设置TTL为60秒,右表(state.ttl.right)设置TTL为120秒: Hint方式格式: table_path /*+ OPTIONS(key=val [, key=val]*) */ key: stringLiteral
AggregatingMergeTree引擎能够在合并分区时,按照预先定义的条件聚合数据,同时根据预先定义的聚合函数计算数据并通过二进制的格式存入表内。 建表语法: CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
eleteFileTime)、删除目录(deleteCatalogTime)所用的时间。 表分区个数 Hive所有表分区个数监控,返回值的格式为:数据库#表名,表分区个数。 HQL的Map数 Hive周期内执行的HQL与执行过程中调用的Map数统计,展示的信息包括:用户、HQL语句、Map数目。
根据业务情况,准备好客户端,登录安装客户端的节点。 请根据客户端所在位置,参考使用MRS客户端章节,登录安装客户端的节点。 执行以下命令,切换到客户端目录,例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin
gaussdb-mysql:云数据库GaussDB(for MySQL) 默认取值: 不涉及 source_info 是 String 参数解释: 数据源信息,为json格式。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 响应参数 状态码: 201 表4 响应Body参数 参数 参数类型 描述 connector_id
/home/XXXX chown XXXX /home/XXXX su - XXXX 访问OBS,无需再配置AK、SK和Endpoint。 OBS路径格式:obs://OBS并行文件系统名称/XXX hadoop fs -ls "obs://obs-example/job/hadoop-mapreduce-examples-3
根据业务情况,准备好客户端,登录安装客户端的节点。 请根据客户端所在位置,参考使用MRS客户端章节,登录安装客户端的节点。 执行以下命令,切换到客户端目录,例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin
YEAR TO MONTH、INTERVAL DAY TO SECOND、BINARY/VARBINARY、UUID。 物化视图改写支持的函数 转换函数:只支持CAST函数。 字符串函数:支持所有字符串函数,包括char_length、character_length、chr、code
String 参数解释: 资源计划的起始时间,格式为“hour:minute”,表示时间在0:00-23:59之间。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 end_time 是 String 参数解释: 资源计划的结束时间,格式与“start_time”相同。 约束限制:
“IP”地址。 记录待安装客户端的节点IP地址及主Master节点IP地址(主OMS节点)。 以root用户登录主OMS节点,执行以下命令切换至omm用户。 sudo su - omm 执行以下命令,将客户端安装包复制到指定节点。 scp -p /tmp/MRS-client/MRS_Services_Client
在集群详情页,单击“租户管理”。 单击“队列配置”页签。 在租户队列表格,指定租户队列的“操作”列,单击“修改”。 在“租户管理”页签左侧租户列表,单击目标的租户,切换到“资源”页签,单击也能打开修改队列配置页面(仅适用于MRS 3.x之前版本)。 一个队列只能绑定一个非default资源池。 默认资源标
其中“X”为随机生成的数字,请根据实际情况修改。同时文件需要以Flume客户端安装用户身份保存,例如root用户。 登录安装Flume客户端节点,切换到客户端安装目录,执行以下命令修改文件: vi conf/jaas.conf 修改参数“keyTab”定义的用户认证文件完整路径即4中保存
取值范围: 0:包月。 1:包年。 默认取值: 不涉及 scale String 参数解释: 集群节点的变更状态(扩容/缩容/变更规格)。当该参数取值为空时,表示集群节点没有进行变更操作。(默认为英文,当X-Language请求头被设置为zh-cn时,该字段会返回中文,因此请谨慎设置X-Language等语言请求头)。
String 参数解释: 资源计划的起始时间,格式为“hour:minute”,表示时间在0:00-23:59之间。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 end_time 是 String 参数解释: 资源计划的结束时间,格式与“start_time”相同。 约束限制:
”。 单击“新增访问密钥”申请新密钥,按照提示输入密码与验证码之后,浏览器自动下载一个“credentials.csv”文件,文件为csv格式,以英文逗号分隔,中间的为AK,最后一个为SK。 AK信息 SK信息 1 obs://obs-demo-analysis-hwt4/input/
gaussdb-mysql:云数据库GaussDB(for MySQL) 默认取值: 不涉及 source_info String 参数解释: 数据源信息,为json格式。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 connector_id String 参数解释: 数据连接ID。 约束限制:
hoodie.datasource.hive_sync.partition_extractor_class 用于提取Hudi分区列值,将其转换成Hive分区列。 org.apache.hudi.hive.SlashEncodedDayPartitionValueExtractor
ka等服务。 客户端已安装,例如安装路径为:/opt/client。 创建作业步骤 使用root用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Ke
String 参数解释: 资源计划的起始时间,格式为“hour:minute”,表示时间在0:00-23:59之间。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 end_time 是 String 参数解释: 资源计划的结束时间,格式与“start_time”相同。 约束限制: