检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
子的实现，将由原来的expand+多轮聚合，变成普通的count_distinct聚合函数。 使用约束 作业已配置足够的内存。 配置参数 在Spark客户端的“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”配置文件中进行设置，修改如下参数：
> Hive > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 若集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 MRS 3.x及后续版本，登录FusionInsight
kinit 组件业务用户 执行以下命令，切换到Kafka客户端安装目录。 cd Kafka/kafka/bin 执行以下命令，获取topic信息，在控制台可见日志打印。 kafka-topics.sh --list --zookeeper 10.5.144.2:2181/kafka [2017-02-17
NodeManager节点所在主机故障。 NodeManager和ResourceManager之间的网络断连或者繁忙。 处理步骤 收集故障信息。 在MRS Manager界面，单击“系统设置 > 日志导出”。 请联系运维人员，并发送已收集的故障日志信息。 参考信息 无。 父主题： MRS集群告警处理参考
创建集群时可同时添加磁盘。可以根据如下应用场景合理选择磁盘存储空间大小： 数据存储和计算分离，数据存储在OBS系统中，集群费用相对较低，计算性能不高，并且集群随时可以删除，建议数据计算不频繁场景下使用。 数据存储和计算不分离，数据存储在HDFS中，集群费用相对较高，计算性能高，
TB至PB级数据规模的存储系统，对数据轻松进行过滤分析，毫秒级得到响应，快速发现数据价值。 快速购买MRS集群 进入购买MRS集群页面。 在购买集群页面，选择“快速购买”页签。 参考下列参数说明配置集群基本信息。 表1 MRS集群配置参数 参数 描述 示例 计费模式 集群的计费模
第三部分是权限，如cdrwa指的是拥有所有权限。 特别的，由于普通模式启动客户端不需要认证，sasl认证类型的ACL在普通模式下将不能使用。本文所有涉及sasl方式的鉴权操作均是在安全集群中进行。 表1 Zookeeper的五种ACL 权限说明 权限简称 权限详情 创建权限 create(c)
使用flink_admin登录Manager，选择“集群 > 服务 > Flink”，在“Flink WebUI”右侧，单击链接，访问Flink的WebUI。 参考如何创建FlinkServer作业，新建Flink SQL流作业，在作业开发界面进行作业开发，配置完成后启动作业。 需勾选“基础参数”中
pred-default.xml”所在路径： find /opt/ -name 'mapred-default.xml' 查询到该配置文件在“/opt/Bigdata/*/*_WebHCat/etc/”目录下面，且该文件内容为空。 登录到Master1节点，将“/opt/Bigd
安装补丁过程中会影响弹性伸缩以及MRS Manager上正在运行的任务，升级前请确认已经关闭弹性伸缩，并且MRS Manager上没有正在运行的任务。 安装补丁过程中，不允许在作业管理页面提交作业。 安装补丁过程包括组件重启，支持滚动重启和离线重启，请选择合适的方法，重启过程不能省略。 补丁安装后操作不能省略，若没
采样百分比与运行时计算的随机值之间的比较）。系统采样中行的选择依赖于使用的connector。例如，如果使用Hive数据源，这将取决于数据在HDFS上的布局。这种采样方法不能保证独立的抽样概率。 SELECT * FROM users TABLESAMPLE SYSTEM (75);
的红色条形，后跟30个空格，以创建一个40个字符的条形。 bar(x, width, low_color, high_color) 描述：在ANSI条形图中以指定宽度绘制一条直线。参数x是0到1之间的一个双精度值。x的值超出[0，1]范围将被截断为0或1值。low_color和h
<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件，压缩文件保留个数可以在Manager界面中配置。 表1 Loader日志列表 日志类型 日志文件名 描述 运行日志 loader.log Loader运行日志，记
C_OPTS”来修改HDFS客户端的内存上限。例如，需要设置该内存上限为1GB，则设置： CLIENT_GC_OPTS="-Xmx1G" 在修改完后，使用如下命令刷新客户端配置，使之生效： source <客户端安装路径>/bigdata_env 问题二：如何设置HDFS客户端运行时的日志级别？
get_largelog_responses：查询超大请求信息。 clear_slowlog_responses：清理RegionServer缓存中的数据。 可以在hbase shell中执行如下命令查看相关命令如何使用： help 'cmdName' 例如，执行help 'clear_slowlog_
Hive文本数据的行分隔符，即在创建表的时候，指定inputformat为SpecifiedDelimiterInputFormat，然后在每次查询前，都设置如下参数来指定分隔符，就可以以指定的分隔符查询表数据。 set hive.textinput.record.delimiter='';
安装补丁过程中会影响弹性伸缩以及MRS Manager上正在运行的任务，升级前请确认已经关闭弹性伸缩，并且MRS Manager上没有正在运行的任务。 安装补丁过程中，不允许在作业管理页面提交作业。 安装补丁过程包括组件重启，支持滚动重启和离线重启，请选择合适的方法。重启过程不能省略。 补丁安装后操作不能省略，若没
Source算子Checkpoint完成时间长时，可检查该Hudi表compaction是否正常。因为当长时间不做compaction时list性能会变差。 在事实表与维度表关联场景中可以按表设置TTL降低状态后端数据量 具体使用指导参考通过表级TTL进行状态后端优化。 合理设置并行度 任务运行的速
COLUMNS命令示例： ALTER TABLE tablename SET TBLPROPERTIES('SORT_COLUMNS'='column1') 在执行该命令后，新的导入会使用新的SORT_COLUMNS配置值。 用户可以根据查询的情况来调整SORT_COLUMNS，但是不会直接影响旧的
C_OPTS”来修改HDFS客户端的内存上限。例如，需要设置该内存上限为1GB，则设置： CLIENT_GC_OPTS="-Xmx1G" 在修改完后，使用如下命令刷新客户端配置，使之生效： source <客户端安装路径>/bigdata_env 问题二：如何设置HDFS客户端运行时的日志级别？
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
