检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
false spark.python.worker.memory 聚合过程中每个python worker进程所能使用的内存大小,其值格式同指定JVM内存一致,如512m,2g。如果进程在聚集期间所用的内存超过了该值,数据将会被写入磁盘。 512m spark.python.worker
false spark.python.worker.memory 聚合过程中每个python worker进程所能使用的内存大小,其值格式同指定JVM内存一致,如512m,2g。如果进程在聚集期间所用的内存超过了该值,数据将会被写入磁盘。 512m spark.python.worker
catalogs; 执行以下命令查询catalog下面的库: show databases from jdbc_mysql; 执行以下命令切换到Catalog下,再进入到数据库中: switch jdbc_mysql; use default; 查询Catalog中某个库的所有表:
根据业务情况,准备好客户端,登录安装客户端的节点。 请根据客户端所在位置,参考使用MRS客户端章节,登录安装客户端的节点。 执行以下命令,切换到客户端目录,例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin
时间,如左表(state.ttl.left)设置TTL为60秒,右表(state.ttl.right)设置TTL为120秒: Hint方式格式: table_path /*+ OPTIONS(key=val [, key=val]*) */ key: stringLiteral
sdk目录,单击“OK”。 图24 Scala SDK files 设置成功,单击“OK”保存设置。 图25 设置成功 设置IDEA的文本文件编码格式,解决乱码显示问题。 在IDEA首页,选择“File > Settings...”。 图26 选择Settings 编码配置。 在“Set
eleteFileTime)、删除目录(deleteCatalogTime)所用的时间。 表分区个数 Hive所有表分区个数监控,返回值的格式为:数据库#表名,表分区个数。 HQL的Map数 Hive周期内执行的HQL与执行过程中调用的Map数统计,展示的信息包括:用户、HQL语句、Map数目。
AggregatingMergeTree引擎能够在合并分区时,按照预先定义的条件聚合数据,同时根据预先定义的聚合函数计算数据并通过二进制的格式存入表内。 建表语法: CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
gaussdb-mysql:云数据库GaussDB(for MySQL) 默认取值: 不涉及 source_info 是 String 参数解释: 数据源信息,为json格式。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 响应参数 状态码: 201 表4 响应Body参数 参数 参数类型 描述 connector_id
“IP”地址。 记录待安装客户端的节点IP地址及主Master节点IP地址(主OMS节点)。 以root用户登录主OMS节点,执行以下命令切换至omm用户。 sudo su - omm 执行以下命令,将客户端安装包复制到指定节点。 scp -p /tmp/MRS-client/MRS_Services_Client
普通模式不涉及) 如需在集群间拷贝数据,拷贝数据的集群双方都需要启用集群间拷贝数据功能。 操作步骤 登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执
/home/XXXX chown XXXX /home/XXXX su - XXXX 访问OBS,无需再配置AK、SK和Endpoint。 OBS路径格式:obs://OBS并行文件系统名称/XXX hadoop fs -ls "obs://obs-example/job/hadoop-mapreduce-examples-3
根据业务情况,准备好客户端,登录安装客户端的节点。 请根据客户端所在位置,参考使用MRS客户端章节,登录安装客户端的节点。 执行以下命令,切换到客户端目录,例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin
普通模式不涉及) 如需在集群间拷贝数据,拷贝数据的集群双方都需要启用集群间拷贝数据功能。 操作步骤 登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执
kafka作为source时必选 String Kafka的使用者组ID format 必选 String 用于反序列化和序列化Kafka消息的值部分的格式 properties.* 可选 String 安全模式下需增加认证相关的参数 scan.topic-partition-discovery
在集群详情页,单击“租户管理”。 单击“队列配置”页签。 在租户队列表格,指定租户队列的“操作”列,单击“修改”。 在“租户管理”页签左侧租户列表,单击目标的租户,切换到“资源”页签,单击也能打开修改队列配置页面(仅适用于MRS 3.x之前版本)。 一个队列只能绑定一个非default资源池。 默认资源标
其中“X”为随机生成的数字,请根据实际情况修改。同时文件需要以Flume客户端安装用户身份保存,例如root用户。 登录安装Flume客户端节点,切换到客户端安装目录,执行以下命令修改文件: vi conf/jaas.conf 修改参数“keyTab”定义的用户认证文件完整路径即4中保存
String 参数解释: 资源计划的起始时间,格式为“hour:minute”,表示时间在0:00-23:59之间。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 end_time 是 String 参数解释: 资源计划的结束时间,格式与“start_time”相同。 约束限制:
取值范围: 0:包月。 1:包年。 默认取值: 不涉及 scale String 参数解释: 集群节点的变更状态(扩容/缩容/变更规格)。当该参数取值为空时,表示集群节点没有进行变更操作。(默认为英文,当X-Language请求头被设置为zh-cn时,该字段会返回中文,因此请谨慎设置X-Language等语言请求头)。
String 参数解释: 资源计划的起始时间,格式为“hour:minute”,表示时间在0:00-23:59之间。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 end_time 是 String 参数解释: 资源计划的结束时间,格式与“start_time”相同。 约束限制: