检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
WebUI界面 查看Loader作业的历史记录。 选择待查看的作业所在行。 如图所示，选择“更多>历史记录”查看作业执行的历史记录。 图2 查看历史记录 表1 参数说明 名称 说明 行/文件 读取数 从输入源中读取的行数（文件数）。 行/文件 写入数 写入到输出源的行数（文件数）。 行/文件
SQL ROLLUP和CUBE使用的注意事项 Spark SQL在不同DB都可以显示临时表 如何在Spark命令中指定参数值 SparkSQL建表时的目录权限 为什么不同服务之间互相删除UDF失败 Spark SQL无法查询到Parquet类型的Hive表的新插入数据 cache table使用指导
JDBC驱动，获取JDBC连接，执行HQL，输出查询的列名和结果到控制台，关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下，您还可以设置客户端与JDBCServer连接的超时时间，可以避免客户
配置HDFS细粒度锁 操作场景 历史版本的HDFS使用了全局锁，读-写互斥，写-写互斥，即全局一把锁。但是实际上并非所有的读-写，写-写操作都会产生资源竞争。因此在该版本汇总引入了细粒度锁特性（FGL）。FGL对全局锁按照目录以及操作类型进行拆分，只有会产生资源竞争的操作才会使用同一个锁。因此极大地提升了写性能。
-job的租户id为1中获取的tenantID。 curl -k -i --basic -u admin:{密码} -X DELETE 'https://{omsIp}:28443/web/api/v2/clusters/1/tenants/{launcher-job的租户id}'
待第一个数据块的第一个字节的时间，单位：毫秒。 250 大于等于1 dfs.client.hedged.read.threadpool.size 多路读取线程池的大小，设置参数值大于0时启用多路读功能。 200 大于等于0 由于HDFS多路读功能在磁盘IO负载高的情况下可能导致性
Python3样例工程的命令行形式运行 赋予“python3-examples”文件夹中脚本的可执行权限。在命令行终端执行以下命令： chmod +x python3-examples -R。 在python3-examples/pyCLI_sec.py中的host的值修改为安装Hiv
ReadOnlyAccess权限，拥有该权限的用户仅能查看MRS的资源。）。 默认情况下，管理员创建的IAM用户没有任何权限，需要将其加入用户组，并给用户组授予策略或角色，才能使得用户组中的用户获得对应的权限，这一过程称为授权。授权后，用户就可以基于被授予的权限对云服务进行操作。 在MRS管理控制台“现有集群”
chema的变更。 可选参数，单击显示该参数。 none WhiteList 待抓取表的白名单。 配置需要抓取的表的名单列表，多个表可以用英文逗号分隔，支持通配符。 可选参数，单击显示该参数。 testtable BlackList 表的黑名单。 配置不需要抓取的表的名单列表，多个表可以用英文逗号分隔，支持通配符。
个分组（目标分组）。 前提条件 源分组和目标分组均存在。 当前用户具备源分组和目标分组的编辑“Group Edit”权限。 当前用户具备源分组的作业编辑“Jobs Edit”权限或待迁移作业的编辑“Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight
备特定行为的分层组。在YARN中，CGroups特性对容器（container）使用的资源（例如CPU使用率）进行限制。本特性大大降低了限制容器CPU使用的难度。 当前CGroups仅用于限制CPU使用率。 配置描述 有关如何配置CPU隔离与安全的CGroups功能的详细信息，请参见Hadoop官网：
ation。即表创建成功之后，表的Location路径会被创建在当前默认warehouse目录下，不能被指定到其他目录；如果创建内部表时指定Location，则创建失败。 开启该功能后，如果数据库中已存在建表时指向非当前默认warehouse目录的表，在执行建库、表脚本迁移、重建元数据操作时需要特别注意，防止错误。
回答 由于在删除了大量文件之后，DataNode需要时间去删除对应的Block。当立刻重启NameNode时，NameNode会去检查所有DataNode上报的Block信息，发现已删除的Block时，会输出对应的INFO日志信息，如下所示： 2015-06-10 19:25:50
HBase服务数据读写示例安全认证（多集群互信场景） 场景说明 当不同的多个Manager系统下安全模式的集群需要互相访问对方的资源时，管理员可以设置互信的系统，使外部系统的用户可以在本系统中使用。每个系统用户安全使用的范围定义为“域”，不同的Manager系统需要定义唯一的域名。跨Manager访问实际上就是用
Spark同时访问两个HBase样例程序开发思路 场景说明 spark支持同时访问两个集群中的HBase，前提是两个集群配置了互信。 数据规划 将cluster2集群的所有Zookeeper节点和HBase节点的IP和主机名配置到cluster1集群的客户端节点的“/etc/hosts”文件中。 分别将cluster
除外），Manager上非系统默认角色的权限将无法生效，需要通过配置Ranger策略为用户组赋权。 HDFS与Yarn的资源请求在Ranger中的策略条件未能覆盖的情况下，组件ACL规则仍将生效。 设置组件的权限时，每次最大支持1000条权限。 单击“确定”完成。 MRS 2.x及之前版本：
支持用户将数据块的各个副本存放在指定具有不同标签的节点，如某个文件的数据块的2个副本放置在标签L1对应节点中，该数据块的其他副本放置在标签L2对应的节点中。 支持选择节点失败情况下的策略，如随机从全部节点中选一个。 如图7所示。 /HBase下的数据存储在A，B，D /Spark下的数据存储在A，B，D，E，F
表执行major compaction生成新的HFile文件。 操作步骤 登录集群的FusionInsight Manager界面，选择“集群 > 服务 > HBase > 配置”，进入HBase配置界面。 在搜索框中搜索并修改表1中的配置，开启Succinct Trie特性。 表1
CLI详细的使用方法参考官方网站的描述：http://archive.apache.org/dist/spark/docs/3.3.1/quick-start.html。 常用CLI Spark常用的CLI如下所示： spark-shell 提供了一个简单学习API的方法，类似于
appsSubmitted 已经提交的任务数。 appsCompleted 已经完成的任务数。 appsPending 正在挂起的任务数。 appsRunning 正在运行的任务数。 appsFailed 已经失败的任务数。 appsKilled 已经被kill的任务数。 totalMB Yarn资源总的内存。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
