检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DataNode进程关闭，导致NameNode为每一个存在DataNode上的block调度额外的副本，在没有故障的磁盘中引起不必要的块复制。 为了防止此情况，用户可以通过配置DataNodes来承受dfs.data.dir目录的故障。登录Manager，选择“集群 > 服务 > HDFS > 配置 >
点。增加任务的并行度，充分利用集群机器的计算能力，一般并行度设置为集群CPU总和的2-3倍。 操作步骤 并行度可以通过如下三种方式来设置，用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数，优先级最高。 testRDD
DataNode进程关闭，导致NameNode为每一个存在DataNode上的block调度额外的副本，在没有故障的磁盘中引起不必要的块复制。 为了防止此情况，用户可以通过配置DataNodes来承受dfs.data.dir目录的故障。登录Manager，选择“集群 > 服务 > HDFS > 配置 >
全认证。 接口说明 注册服务器接口 注册服务器用来保存NettySink的IP、端口以及并发度信息，以便NettySource连接使用。为用户提供以下接口： public interface RegisterServerHandler { /** * 启动注册服务器
topic中获取消息的角色称为Consumer。 Broker Kafka集群中的每一个节点服务器称为Broker。 keytab file 存放用户信息的密钥文件。应用程序采用此密钥文件在集群中进行API方式认证。 父主题： Kafka开发指南（普通模式）
点。增加任务的并行度，充分利用集群机器的计算能力，一般并行度设置为集群CPU总和的2-3倍。 操作步骤 并行度可以通过如下三种方式来设置，用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数，优先级最高。 testRDD
over inner join、aggregate over union all等。为应对不同应用场景的特殊需求，对所有下推模块设计开关功能，用户可以自行配置是否应用上述查询下推的增强。 表1 跨源查询增加特性对比 模块 增强前 增强后 aggregate 不支持aggregate下推
完成每天一次的定时数据分析工作，请参见coordinator.xml。 上传流程文件。 使用或切换到拥有HDFS上传权限的用户。 使用HDFS上传命令，将“dataLoad”目录上传到HDFS某个指定目录（oozie_cli用户需要对该目录有读写权限）。 该指定目录需要与之前“job.properties”中定义的“oozie
topic中获取消息的角色称为Consumer。 Broker Kafka集群中的每一个节点服务器称为Broker。 keytab file 存放用户信息的密钥文件。应用程序采用此密钥文件在集群中进行API方式认证。 父主题： Kafka开发指南（安全模式）
Topic中获取消息的角色称为Consumer。 Broker Kafka集群中的每一个节点服务器称为Broker。 keytab file 存放用户信息的密钥文件。应用程序采用此密钥文件在集群中进行API方式认证。 父主题： Kafka开发指南（安全模式）
了在更大规模存储中获得更好的性能，建议相应地调整加载元数据缓存最大超时时间和加载元数据连接池最大等待时间。 使用HetuEngine管理员用户登录FusionInsight Manager页面，选择“集群 > 服务 > HetuEngine”，进入HetuEngine服务页面。
TBLPROPERTIES('SORT_COLUMNS'='column1') 在执行该命令后，新的导入会使用新的SORT_COLUMNS配置值。 用户可以根据查询的情况来调整SORT_COLUMNS，但是不会直接影响旧的数据。所以对历史的segments的查询性能不会受到影响，因为历史的
connection = null; try { // 获取JDBC连接 // 第二个参数需要填写正确的用户名，否则会以匿名用户(anonymous)登录 connection = DriverManager.getConnection(url
以Kafka客户端安装用户，登录Kafka安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。
出现上面的问题。 为了解决上面问题，需要对参数进行调整。 增大partition数，把任务切分的更小。 增大任务执行过程中的超时时间。 在客户端的“spark-defaults.conf”配置文件中配置如下参数。 表2 参数说明 参数 描述 建议值 spark.sql.shuffle
database的语句切换数据库，重新在输入框内输入其他语句，为什么数据库没有切换过去？ 回答 在Hue上使用Hive有区别于用Hive客户端使用Hive，Hue界面上有选择数据库的按钮，当前SQL执行的数据库以界面上显示的数据库为准。与此相关的还有设置参数等session级别
出现上面的问题。 为了解决上面问题，需要对参数进行调整。 增大partition数，把任务切分的更小。 增大任务执行过程中的超时时间。 在客户端的“spark-defaults.conf”配置文件中配置如下参数。 表2 参数说明 参数 描述 建议值 spark.sql.shuffle
提供三种方式对工作流进行操作，详情请参见Oozie应用开发常见问题。 Shell命令 Java API Hue Oozie客户端提供了比较完整的examples示例供用户参考，包括各种类型的Action，以及Coordinator以及Bundle的使用。以客户端安装目录为“/opt/client”为例，ex
提供三种方式对工作流进行操作，详情请参见Oozie应用开发常见问题。 Shell命令 Java API Hue Oozie客户端提供了比较完整的examples示例供用户参考，包括各种类型的Action，以及Coordinator以及Bundle的使用。以客户端安装目录为“/opt/client”为例，ex
spark-shell执行SQL跨文件系统load数据到Hive表失败 用户问题 使用spark-shell命令执行SQL或者spark-submit提交的Spark任务里面有SQL的load命令，并且原数据和目标表存储位置不是同一套文件系统，上述两种方式MapReduce任务启动时会报错。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
