检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Map函数和运算符 下表操作符: [] 描述:[]运算符用于从映射中检索与给定键对应的值。 select age_map['li'] from (values (map(array['li','wang'],array[15,27]))) as table_age(age_map);--
准备本地应用开发环境 准备开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK
将“基础配置”切换为“全部配置”,搜索并配置如下参数: 表1 数据加密参数 参数 取值 说明 fs.obs.server-side-encryption-type SSE-KMS SSE-KMS:表示使用KMS密钥的加解密方式。 NONE:表示关闭加密功能。 fs.obs.server-side-encryption-key
准备ClickHouse应用开发和运行环境 准备开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。
如果在集群使用时,配置的弹性伸缩功能新增了节点,则包年/包月集群和按需计费集群新增节点的计费都是按实际使用时长计费,计费周期为一小时。 缩容会影响MRS集群性能,通常不建议您这样操作,缩容节点按实际使用时长计费,集群后续费用不再收取该节点费用。 到期后影响 图1描述了包年/包月MR
修改域名后,“admin”用户、组件运行用户和系统管理员在修改域名以前添加的“人机”用户,密码会重置为相同密码,请重新修改。重置后的密码由两部分组成:系统生成部分和用户设置部分,系统生成部分为Admin@123,用户设置部分规则参照表2中“密码后缀”参数的说明,默认值为Admin@123。例如:系统生成
准备HDFS应用开发和运行环境 准备开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Windows或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。
准备HDFS应用开发和运行环境 准备开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Windows或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。
单击“添加租户”,打开添加租户的配置页面,参见以下表格内容为租户配置属性(以MRS 3.x版本集群为例)。 表2 租户参数一览表 参数名 描述 名称 例如:tenant_spark 租户类型 选择“叶子租户”。当选中“叶子租户”时表示当前租户为叶子租户,无法再添加子租户。当选中“非叶子租户”时表示当前租户可以再添加子租户。
Hive组件可以使用Java(JDBC和HCatalog)、Python、Python3接口进行应用开发,要准备的开发和运行环境分别如下表所示。 表1 JDBC/Hcatalog开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Windows系统或Linux系统。
在一个KeyedStream上求某一列最小值所在的该行数据,minBy返回了该行数据的所有元素。 positionToMinBy代表对哪一列做minBy操作。 first表示是否按最先遇到的最小值输出还是最后遇到的最小值输出。 public SingleOutputStreamOperator<T>
准备本地应用开发环境 准备开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,推荐Windows 7以上版本。 运行环境:Windows或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。
Server(角色)> 自定义”,在“clickhouse-config-customize”配置项中添加如下OpenLDAP配置参数。 表1 OpenLDAP参数说明 参数名 参数值说明 参数取值参考 ldap_servers.ldap_server_name.host Ope
KafkaProperties kafkaProc = KafkaProperties.getInstance(); // Broker地址列表 props.put(BOOTSTRAP_SERVER, kafkaProc.getValues(BOOTSTRAP_SERVER, "localhost:21007"));
检查fsck显示结果: 显示如下信息,表示无文件丢失或损坏,执行4。 The filesystem under path '/' is HEALTHY 显示其他信息,表示有文件丢失或损坏,执行5。 登录FusionInsight Manager,选择“集群 >服务”查看HDFS的状态“运行状态”是否为“良好”。
行任务的Container。 当ApplicationMaster(从ResourceManager端)收到新分配的Container列表后,会向对应的NodeManager发送信息以启动Container。 ResourceManager分配Container给Applicat
行任务的Container。 当ApplicationMaster(从ResourceManager端)收到新分配的Container列表后,会向对应的NodeManager发送信息以启动Container。 ResourceManager分配Container给Applicat
际域名,例如props.put(KERBEROS_DOMAIN_NAME , "hadoop.hadoop1.com")。 部署运行及结果查看 导出本地jar包,请参见打包Storm样例工程应用。 获取相关配置文件,获取方式如下: 安全模式:参见4获取keytab文件。 普通模式:无。
Server(角色)> 自定义”,在“clickhouse-config-customize”配置项中添加如下OpenLDAP配置参数。 表1 OpenLDAP参数说明 参数名 参数说明 参数取值参考 ldap_servers.ldap_server_name.host OpenLDAP服务器主机名或IP,不能为空。
stream.context。 dstream.context是Streaming Context启动时从output Streams反向查找所依赖的DStream,逐个设置context。若Spark Streaming应用创建1个输入流,但该输入流无输出逻辑时,则不会给它设置