检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Policy”,添加Hive权限控制策略。 根据业务需求配置相关参数。 表1 Hive权限参数 参数名称 描述 Policy Name 策略名称,可自定义,不能与本服务内其他策略名称重复。 Policy Conditions IP过滤策略,可自定义,配置当前策略适用的主机节点,可填写一个或多个IP
至少需要包含大写字母、小写字母、数字、空格、特殊字符'~!@#$%^&*()-_=+\|[{}];:'",<.>/?中的3种类型字符。 重置的密码不能是最近5次使用过的密码。 修改MRS操作系统用户密码有效期 以root用户登录待修改操作系统用户密码有效期的节点。 修改操作系统用户密码有效期。
HetuEngine支持查询下推(pushdown),它能把查询,或者部分查询,下推到连接的数据源。这意味着特殊的谓词,聚合函数或者其他一些操作,可以被传递到底层数据库或者文件系统进行处理。查询下推能带来以下好处: 提升整体的查询性能。 减少HetuEngine和数据源之间的网络流量。 减少远端数据源的负载。 H
普通模式下,初始安装后IoTDB有一个默认用户:root,密码请参见用户账号一览表章节获取。该用户为管理员用户,固定拥有所有权限,无法被赋予,无法被撤销权限,也无法被删除。 需在本地环境变量中设置环境变量认证用户名和认证用户密码,建议密文存放,使用时解密,确保安全。其中: 认证用户名为访问IoTDB的用户名。
如果缓存中被改写的SQL查询所关联的物化视图失效,或者处于REFRESHING状态,该条被改写的SQL查询将不会被使用。 当使用缓存时,被执行的SQL不能有任何改变,否则它将被当做一条新的SQL查询。 创建的物化视图中最多有500个可以用于SQL查询的改写,也就是SQL改写时使用的物化视图如
重启Flink服务。 新的浮动IP请联系网络管理员提供。 重启服务期间,FlinkServer无法对外提供服务,已提交的作业不受影响。 重启FlinkServer实例期间,当前实例无法对外提供服务,已提交的作业不受影响。 查看告警列表中,该告警是否已清除。 是,处理完毕。 否,执行12。
算实例的资源,也能通过资源组之间的权重优先级配置保障重要任务优先执行。典型资源组使用场景如表1所示。 表1 典型资源组使用场景 典型场景 解决方案 随着使用计算实例的业务团队的增加,当某个团队的任务更加重要并且不想执行查询时没有资源。 每个团队分配一个指定的资源组;重要任务分配到
监控节点进程的YARN的Container GC日志,如果频繁出现Full GC,需要优化GC。 GC的配置:在客户端的“conf/flink-conf.yaml”配置文件中,在“env.java.opts”配置项中添加参数:“-Xloggc:<LOG_DIR>/gc.log -XX:+PrintGCDetails
metastore.uris' = 'Hive客户端hive-site.xml文件中hive.metastore.uris的值', 'hive_sync.jdbc_url' = 'Hive客户端component_env文件中CLIENT_HIVE_URI的值' ); hive_sync.j
述”输入角色名字与描述。 “角色名称”由数字、字母、或下划线组成,长度为3~50位,不能与系统中已有的角色名相同。角色名称不能以Manager、System、default开头,例如角色名称不能为“Manager_test”等。 图1 添加角色 在“配置资源权限”列表,选择待增加权限的集群,为角色选择服务权限。
protection 须知: 设置后需要重启服务生效,且不支持滚动重启。 设置后需要重新下载客户端配置,否则HDFS无法提供读写服务。 设置后需要重启executor,否则将导致管控面作业管理及文件管理功能不可用。 设置Hadoop中各模块的RPC通道是否加密。通道包括: 客户端访问HDFS的RPC通道。
务级上进行部分处理,例如group-by、count、distinct count等。 某些操作无法在任务级上处理,例如Having Clause(分组后的过滤),sort等。这些无法在任务级上处理,或只能在任务级上部分处理的操作需要在集群内跨执行器来传输数据(部分结果)。这个传送操作被称为shuffle。
components_install_mode 是 Array of ComponentInstallMode objects 参数解释: 组件模型详情。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 表3 ComponentInstallMode 参数 是否必选 参数类型
如果指定,如果出现异常,会打印堆栈跟踪信息。 --config-file 配置文件的名称。 --secure 如果指定,将通过SSL安全模式连接到服务器。 --history_file 存放命令历史的文件的路径。 --param_<name> 带有参数的查询,并将值从客户端传递给服务器。
务级上进行部分处理,例如group-by、count、distinct count等。 某些操作无法在任务级上处理,例如Having Clause(分组后的过滤),sort等。这些无法在任务级上处理,或只能在任务级上部分处理的操作需要在集群内跨执行器来传输数据(部分结果)。这个传送操作被称为shuffle。
"auto.purge"='true'时,清除元数据和数据文件。 "auto.purge"='false'时,仅清除元数据,数据文件会移入HDFS回收站。默认值为“false”,且不建议用户修改此属性,避免数据删除后无法恢复。 CREATE TABLE orders ( orderkey
saveAsTextFile(path: String): Unit 把dataset写到一个text file、HDFS或者HDFS支持的文件系统中,spark把每条记录都转换为一行记录,然后写到file中。 saveAsSequenceFile(path: String, codec:
t/partitions result=failure 在ZooKeeper各个实例节点上执行id -Gn kafka命令,发现有一个节点无法查询用户组信息。 [root @bdpsit3ap03 ~]# id -Gn kafka id: kafka: No such user
创建Hive用户自定义函数 当Hive的内置函数不能满足需要时,可以通过编写用户自定义函数UDF(User-Defined Functions)插入自己的处理代码并在查询中使用它们。 按实现方式,UDF分如下分类: 普通的UDF,用于操作单个数据行,且产生一个数据行作为输出。 用
创建Hive用户自定义函数 当Hive的内置函数不能满足需要时,可以通过编写用户自定义函数UDF(User-Defined Functions)插入自己的处理代码并在查询中使用它们。 按实现方式,UDF分如下分类: 普通的UDF,用于操作单个数据行,且产生一个数据行作为输出。 用