检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
REWRITE HINT 提示可以与SELECT语句一起提供，用于使用指定的物化视图重写查询，这将优化查询，并有助于更快地执行它们。必须在查询开始时给出提示。目前支持两种类型的提示，如下所示： NOREWRITE 不会进行查询重写。格式为：/*+ NOREWRITE */ REW
HetuEngine与其他组件的关系 HetuEngine安装依赖MRS集群，其中直接依赖的组件如表1所示。 表1 HetuEngine依赖的组件 名称 描述 HDFS Hadoop分布式文件系统（Hadoop Distributed File System），提供高吞吐量的数据访问，适合大规模数据集方面的应用。
e.printStackTrace() } } } } } /** * 序列化辅助类 */ class MyRegistrator extends KryoRegistrator { override def
e.printStackTrace() } } } } } /** * 序列化辅助类 */ class MyRegistrator extends KryoRegistrator { override def
e.printStackTrace() } } } } } /** * 序列化辅助类 */ class MyRegistrator extends KryoRegistrator { override def
WebUI”右侧，单击链接，访问Flink的WebUI。 单击“作业管理”进入作业管理页面。 找到待调优的并处于非运行中的作业，在“操作”列单击“开发”进入作业开发界面。 在作业开发界面的“自定义参数”项中，根据实际需求添加如下参数并保存，热数据（常用及使用中数据）可参考表1，冷
度使任务和数据更均匀的分布在各个节点。增加任务的并行度，充分利用集群机器的计算能力。 任务的并行度可以通过以下四种层次（按优先级从高到低排列）指定，用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 算子层次 一个算子、数据源和sink的并行度可以通过调用
txt Test log file 1!!! vi log2.txt Test log file 2!!! 写入日志文件后，执行ll命令查看文件列表，日志文件自动增加了后缀“.COMPLETED”，表示该文件已被采集。 -rw-------. 1 root root 75 Jun
e.printStackTrace() } } } } } /** * 序列化辅助类 */ class MyRegistrator extends KryoRegistrator { override def
配置Spark Eventlog日志回滚 配置场景 当Spark开启事件日志模式，即设置“spark.eventLog.enabled”为“true”时，就会往配置的一个日志文件中写事件，记录程序的运行过程。当程序运行很久，job很多，task很多时就会造成日志文件很大，如JDBCServer、Spark
配置Spark Eventlog日志回滚 配置场景 当Spark开启事件日志模式，即设置“spark.eventLog.enabled”为“true”时，就会往配置的一个日志文件中写事件，记录程序的运行过程。当程序运行很久，job很多，task很多时就会造成日志文件很大，如JDBCServer、Spark
CREATE VIRTUAL SCHEMA CREATE/DROP/SHOW VIRTUAL SCHEMA(S) CREATE HetuEngine中的CREATE语句用来创建SCHEMA映射，通过映射信息对外开放本域数据源。 语法如下： CREATE VIRTUAL SCHEMA
通过JDBC访问Spark SQL样例程序开发思路 场景说明 用户自定义JDBCServer的客户端，使用JDBC连接来进行表的创建、数据加载、查询和删除。 数据规划 确保以多主实例模式启动了JDBCServer服务，并至少有一个实例可连接客户端。在JDBCServer节点上分别
用程序，需要复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中，确保本地机器能与解压目录下“hosts”文件中所列出的各主机在网络上互通。 当客户端所在主机不是集群中的节点时，配置客户端网络连接，可避免执行客户端命令时出现错误。 Windows本地hos
List<DatanodeInfo> getNodesForLocator(String groupId, String locatorId) 获取该locator中所有节点列表。 表4 类DFSColocationClient常用接口说明 接口 说明 public FSDataOutputStream create(Path
List<DatanodeInfo> getNodesForLocator(String groupId, String locatorId) 获取该locator中所有节点列表。 表4 类DFSColocationClient常用接口说明 接口 说明 public FSDataOutputStream create(Path
List<DatanodeInfo> getNodesForLocator(String groupId, String locatorId) 获取该locator中所有节点列表。 表4 类DFSColocationClient常用接口说明 接口 说明 public FSDataOutputStream create(Path
场景说明 场景说明 用户自定义JDBCServer的客户端，使用JDBC连接来进行数据表的创建、数据加载、查询和删除。 数据规划 确保以HA模式启动了JDBCServer服务，并至少有一个实例对外服务。在hdfs上创建"/home/data"目录，新增包含如下内容的文件并上传到h
html 准备运行环境 在节点上安装客户端，例如安装到“/opt/client”目录。 进入客户端安装目录“/opt/client”，执行下列命令初始化环境变量。 source bigdata_env 操作步骤 获取运行在Yarn上的任务的具体信息。 命令： curl -k -i --negotiate
Spark应用开发流程介绍 Spark应用程序开发流程 Spark包含Spark Core、Spark SQL和Spark Streaming三个组件，其应用开发流程都是相同的。 开发流程中各阶段的说明如图1和表1所示。 图1 Spark应用程序开发流程 表1 Spark应用开发的流程说明
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
