检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用HBase BulkLoad功能提示权限不足如何处理 问题 租户使用HBase bulkload功能提示权限不足。 回答 创建租户的时候需要关联HBase服务和Yarn队列。 例如： 新建用户user并绑定租户同名的角色。 用户user需要使用bulkload功能还需要额外权限。
创建HBase表： create 'hbase_test','f1','f2'; 配置“HBase输出”算子，如下图： 作业执行成功后，查看hbase_test表中数据： 父主题： Loader输出类算子
如果当前组件使用了Ranger进行权限控制，须基于Ranger配置HDFS相关策略进行权限管理，具体操作可参考添加HDFS的Ranger访问权限策略。 操作步骤 登录FusionInsight Manager，选择“系统 > 权限 > 角色”。 单击“添加角色”，然后在“角色名称”和“描述”中输入角色名字与描述。
和事中熔断，并不强制改变用户的SQL提交方式、SQL语法，对业务零改动且易落地。 支持管理员界面化配置SQL防御策略，同时可支持防御规则的查询和修改。 每个SQL引擎在进行SQL业务响应、执行过程中，基于SQL防御策略进行主动防御行为。 管理员可将SQL防御行为在“提示”、“拦截
xml”、“hdfs-site.xml”、“hbase-site.xml”和用于安全认证的用户凭证文件放置到“src/main/resources”的目录下。 安全登录 请根据实际情况，修改“userName”为实际用户名，例如“developuser”。 在Windows环境下和Linux环境下请使用对应的路径获取方式。
为什么DataNode无法正常上报数据块 问题 DataNode正常，但无法正常上报数据块，导致存在的数据块无法使用。 回答 当某个数据目录中的数据块数量超过4倍的数据块限定值“1M”时，可能会出现该错误。DataNode会产生相应的错误日志记录，如下所示： 2015-11-05
Scala样例代码 功能介绍 在Spark应用中，通过使用Streaming调用kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例 下面代码片段仅为演示，具体代码参见：com
在“脏数据目录”填写一个脏数据的保存位置，例如“/user/sqoop/obs2hdfs-dd”。 单击“保存并运行”。 在“管理作业界面”，查看作业运行结果。可以单击“刷新列表”获取作业的最新状态。 父主题： 使用Loader
为什么DataNode无法正常上报数据块 问题 DataNode正常，但无法正常上报数据块，导致存在的数据块无法使用。 回答 当某个数据目录中的数据块数量超过4倍的数据块限定值“1M”时，可能会出现该错误。DataNode会产生相应的错误日志记录，如下所示： 2015-11-05
调整Yarn任务抢占机制 操作场景 Capacity调度器抢占原理： 抢占任务可精简队列中的job运行并提高资源利用率，由ResourceManager的capacity scheduler实现，其简易流程如下： 假设存在两个队列A和B。其中队列A的capacity为25%，队列B的capacity为75%。
ZooKeeper与HDFS的关系如图3所示。 图3 ZooKeeper和HDFS的关系 ZKFC（ZKFailoverController）作为一个ZooKeeper集群的客户端，用来监控NameNode的状态信息。ZKFC进程仅在部署了NameNode的节点中存在。HDFS NameNode的Active和Standby节点均部署有zkfc进程。
spark.Logging$class.logInfo(Logging.scala:59) Spark-client模式任务Driver运行在客户端节点上(通常是集群外的某个节点)，启动时先在集群中启动AppMaster进程，进程启动后要向Driver进程注册信息，注册成功后，任务才能
ormal-examples”文件夹中的Scala、Spark Streaming等多个样例工程。 安装IntelliJ IDEA和JDK工具后，需要在IntelliJ IDEA中配置JDK。 打开IntelliJ IDEA，选择“Configure”。 图2 Quick Start
urity-examples”文件夹中的Scala、Spark Streaming等多个样例工程。 安装IntelliJ IDEA和JDK工具后，需要在IntelliJ IDEA中配置JDK。 打开IntelliJ IDEA，选择“Configure”。 图2 Quick Start
如果当前组件使用了Ranger进行权限控制，须基于Ranger配置HDFS相关策略进行权限管理，具体操作可参考添加HDFS的Ranger访问权限策略。 添加HDFS角色 登录FusionInsight Manager，选择“系统 > 权限 > 角色”。 单击“添加角色”，然后在“角色名称”和“描述”中输入角色名字与描述。
splitLog(MasterFileSystem.java:375) 因此，不支持用户对HDFS上的HBase目录进行quota值设置。上述问题可通过下述步骤解决： 在客户端命令提示符下运行kinit 用户名命令，使HBase用户获得安全认证。 运行hdfs dfs -count -q/hbase/data/<
splitLog(MasterFileSystem.java:375) 因此，不支持用户对HDFS上的HBase目录进行quota值设置。上述问题可通过下述步骤解决： 在客户端命令提示符下运行kinit 用户名命令，使HBase用户获得安全认证。 运行hdfs dfs -count -q/hbase/data/<
计算结果。 优点：不需要有大的状态后端存储，整体计算资源压力要小于基于状态后端的方案。 缺点：需要依赖于数据格式，常见的方式通过CDC采集工具，将数据采集到Kafka，然后Flink读Kafka数据进行计算。 通过changelog数据解决 changelog与CDC格式的数据类
行进行汇总，将同一主键的行替换为包含sum后的一行记录。 如果主键的组合方式使得单个键值对应于大量的行，则可以显著地减少存储空间并加快数据查询的速度。 AggregatingMergeTree 该引擎继承自MergeTree，并改变了数据片段的合并逻辑。 ClickHouse会将
dPayload。 useCache 是否在Spark中缓存表的relation，无需用户配置。为支持SparkSQL中对COW表增量视图查询，默认将COW表中该值置为false。 示例 创建非分区表 create table if not exists hudi_table0 (
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
