检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过该字段配置ORC文件的版本(当SparkSQL表文件的存储格式是ORC时)。 enum 是 0.12 输出分隔符 配置分隔符。 string 是 无 输出字段 配置输出信息: 位置:配置输出字段的位置。 字段名:配置输出字段的字段名。 类型:配置字段类型,字段类型为“DATE”或“TIME”或“TIMESTA
的分区方案 支持批量运行重新分配多个主题的分区 支持为已有主题增加分区 支持更新现有主题的配置 可以为分区级别和主题级别度量标准启用JMX查询 可以过滤掉zookeeper中没有ids / owner /&offsets /目录的使用者。 父主题: 使用KafkaManager
作业ID列表。获取方法,请参见获取作业ID。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 响应参数 无 请求示例 批量删除作业请求示例 POST https://{endpoint}/v2/{project_id}/clusters/{cluster_id}/job-executions/batch-delete
使用参数“spark.dynamicAllocation.executorIdleTimeout”并将此参数值设置为15min(或平均查询时间)。 正确配置参数“spark.dynamicAllocation.maxExecutors”,不推荐使用默认值(2048),否则Ca
使用参数“spark.dynamicAllocation.executorIdleTimeout”并将此参数值设置为15min(或平均查询时间)。 正确配置参数“spark.dynamicAllocation.maxExecutors”,不推荐使用默认值(2048),否则Ca
数据草图可以通过varbinary进行序列化和反序列化。这使得可以被方便地存储,以备后用。通过合并多个草图,可以在查询分区中所有元素的approx_distinct(),即每个元素出现的近似次数,进而通过很小的开销去完成整个查询。 例如,只要计算每日每个用户浏览了多少次网页,就可以通过累加的方式,去计算每周、每
(SELECT ...) s ON t.id = s.id WHEN ...; 其中: MERGE INTO: 目标表。 USING: 源表查询语句。 ON:源表和目标表匹配的条件。 WHEN: 数据更新条件。 insert into ... select ...;语法中不支持可空字段类型的数据插入到非空字段类型。
导入并配置IoTDB样例工程 背景信息 获取IoTDB开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src/iotdb-examples”目录下的样例工程,可根据实际业务场景选择对应的样例。
{replicationNum} --topic {Topic} 表1 参数说明 参数名 说明 {zkQuorum} ZooKeeper集群信息,格式为IP:port。 {partitionNum} topic的分区数。 {replicationNum} topic中每个partition数据的副本数。
Manager,单击“系统设置”。 在“权限配置”区域,单击“用户管理”。 在要初始化密码用户所在行,单击“更多 > 初始化密码”,按界面提示信息修改用户密码。 在弹出窗口中输入当前登录的管理员密码确认管理员身份,单击“确定”,然后在“初始化密码”单击“确定”。 集群中,默认的密码复杂度要求:
检验输入字段与值的类型匹配情况,值为“NO”,不检查;值为“YES”,检查。若不匹配则跳过该行。 enum 是 YES 输入字段 配置输入字段的相关信息: 位置:目标字段对应的位置,从1开始编号。 字段名:配置字段名。 字段所在的标签:字段的标签。 关键字:配置关键字,能够匹配标签所在的内
在新的Blacklisting DFSClient failover provider中,故障的NameNode将被记录至一个列表中。DFSClient会利用这些信息,防止客户端再次连接这些NameNode。该功能被称为NameNode blacklisting。 例如,如下集群配置: NameNode:nn1、nn2
u-limit 表示该节点上YARN可使用的物理CPU百分比。默认是90,即不进行CPU控制,YARN可以使用节点全部CPU。该参数只支持查看,可通过调整YARN的RES_CPUSET_PERCENTAGE参数来修改本参数值。注意,目前推荐将该值设为可供YARN集群使用的CPU百分数。
如果租户关联了HBase服务且当前集群启用了Ranger鉴权,用户需要通过Ranger界面配置HBase相关执行权限。 描述 配置当前用户的描述信息。 单击“确定”完成用户创建。 父主题: 配置MRS租户
在新的Blacklisting DFSClient failover provider中,故障的NameNode将被记录至一个列表中。DFSClient会利用这些信息,防止客户端再次连接这些NameNode。该功能被称为NameNode blacklisting。 例如,如下集群配置: NameNode:nn1、nn2
flatMap(_.split(" ")).groupBy("value").count() //开始运行将运行计数打印到控制台的查询。 val query = wordCounts.writeStream .outputMode("complete")
配置“Dependencies” 单击“Apply”,单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后,在IntelliJ IDEA选择“File > Settings > Build
name 服务名 Kafka集群运行,所使用的Kerberos用户名(需配置为kafka)。未开启Kerberos认证的集群无需配置。 客户端信息配置项。 表3 client.properties文件配置项 参数 描述 备注 metadata.broker.list 元数据Broker地址列表
是否检验输入字段与值的类型匹配情况,值为“NO”,不检查;值为“YES”,检查。如果不匹配则跳过该行。 enum 是 YES 输入字段 配置输入字段的相关信息: 位置:目标字段对应的位置,从1开始编号。 字段名:配置字段名。 字段所在的标签:字段的标签。 关键字:配置关键字,能够匹配标签所在的内
collect() 返回一个数组,包含DataFrame的所有列。 count() 返回DataFrame中的行数。 describe() 计算统计信息,包含计数,平均值,标准差,最小值和最大值。 first() 返回第一行。 head(n) 返回前n行。 show() 用表格形式显示DataFrame。