检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
clickhouse.socket-timeout 连接ClickHouse数据源超时时长 单位:毫秒 默认值:120000 120000 case-insensitive-name-matching.cache-ttl 数据源的大小写敏感的Schema/Table名称缓存超时时长 单位:分钟
array_sort(ARRAY [3, 2, null, 5, null, 1, 2], (x, y) -> CASE WHEN x IS NULL THEN -1 WHEN y IS NULL
使用逗号分隔。 在“Column Type”选择每个列的类型。 单击“Create Table”创建表,等待Hue显示Hive表的信息。 手工创建一个Hive表 访问“Metastore Manager”,在“Databases”选择一个数据库。 默认数据库为“default”。
户仅能对集群进行指定的管理操作。如不允许某用户组删除集群,仅允许操作MRS集群基本操作,如创建集群、查询集群列表等。多数细粒度策略以API接口为粒度进行权限拆分,MRS支持的API授权项请参见权限策略和授权项。 如表1所示,包括了MRS的所有默认系统策略。 表1 MRS系统策略 策略名称
功能丰富:CQL除了包含标准SQL的各类基本表达式等功能之外,还特别针对流处理场景增加了窗口、过滤、并发度设置等功能。 易于扩展:CQL提供了拓展接口,以支持日益复杂的业务场景,用户可以自定义输入、输出、序列化、反序列化等功能来满足特定的业务场景 易于调试:CQL提供了详细的异常码说明,降低了用户对各种错误的处理难度。
制。 稀疏:表中为空(null)的列不占用存储空间。 MRS服务支持HBase组件的二级索引,支持为列值添加索引,提供使用原生的HBase接口的高性能基于列过滤查询的能力。 HBase结构 HBase集群由主备Master进程和多个RegionServer进程组成。如图1所示。 图1
MRS集群名称,可以设置为系统默认名称,但为了区分和记忆,建议带上项目拼音缩写或者日期信息等。 集群创建成功后,您也可以在集群列表中手动修改集群名称。 mrs-test 集群类型 根据业务需要选择合适的MRS集群类型。 分析集群:用于离线数据分析场景,对海量数据进分析处理,形成结果数据,主要包含Hado
程序命令中设置安全认证参数。 安全认证代码(Java版) 目前样例代码统一调用LoginUtil类进行安全认证。安全登录流程请参见安全认证接口章节。 在Spark样例工程代码中,不同的样例工程,使用的认证代码不同,基本安全认证或带ZooKeeper认证。样例工程中使用的示例认证参
程序命令中设置安全认证参数。 安全认证代码(Java版) 目前样例代码统一调用LoginUtil类进行安全认证。安全登录流程请参见安全认证接口章节。 在Spark样例工程代码中,不同的样例工程,使用的认证代码不同,基本安全认证或带ZooKeeper认证。样例工程中使用的示例认证参
cluster/user/XXX.jar”。 Script文件需要以“.sql”结尾。 obs://wordcount/program/test.sql 运行程序参数 可选参数,为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。
X.jar”。 SparkSubmit作业执行程序需要以“.jar”或“.py”结尾。 obs://wordcount/program/test.jar 运行程序参数 可选参数,为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。
安全加固后是否启用:是 httpfs.http.port 14000 25018 HttpFS HTTP服务器侦听的端口。 该端口用于: 远程REST接口连接HttpFS。 说明: 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是 安全加固后是否启用:是
Integer>> dataStream = env.fromElements(Tuple2.of("hello",1), Tuple2.of("test",2), Tuple2.of("world",100)); // 定义用于分区的key值,返回即属于哪个partition的,该值加1就是对应的子任务的id号
为bigint。 select count(name) from fruit;-- 2 count_if(x) 描述:类似于count(CASE WHEN x THEN 1 END),返回输入值为true的记录数,bigint类型。 select count_if(price>7)
单击“确定”保存。 以下样例以修改“主机内存使用率”为例进行说明。 表1 监控指标规则参数 参数名 参数解释 取值样例 规则名称 规则名称 mrs_test 告警级别 告警级别: MRS 3.3.0及之后版本集群开启“分级告警开关”后,可以在“阈值设置”参数中配置告警级别。 紧急 重要 次要