检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
install编译。 在Presto示例工程根目录，执行mvn eclipse:eclipse创建Eclipse工程。 在应用开发环境中，导入样例工程到Eclipse开发环境。 选择“File > Import > General > Existing Projects into
ts域名信息。 准备Spark连接集群配置文件 准备工程 Spark提供了不同场景下的样例程序，您可以导入样例工程进行程序学习。或者您可以根据指导，新建一个Spark工程。 导入并配置Spark样例工程 新建Spark样例工程（可选） 根据场景开发工程 提供了Scala、Java
准备Spark应用Java开发环境 准备Spark应用Scala开发环境 准备Spark应用Python开发环境 准备Spark应用运行环境 导入并配置Spark样例工程 新建Spark应用开发工程（可选） 配置Spark应用安全认证 父主题： Spark开发指南
准备MapReduce应用开发环境 准备MapReduce开发环境 准备连接MapReduce集群配置文件 导入并配置MapReduce样例工程 （可选）创建MapReduce样例工程 配置MapReduce应用安全认证 父主题： MapReduce开发指南（安全模式）
ickHouseBalancer端口/default', Sink表配置合适的攒批参数 攒批写参数： Flink会将数据先放入内存，到达触发条件时再flush到数据库表中。 相关配置如下： sink.buffer-flush.max-rows：攒批写ClickHouse的行数，默认100。
准备MapReduce应用开发环境 准备MapReduce开发和运行环境 导入并配置MapReduce样例工程 （可选）创建MapReduce样例工程 父主题： MapReduce开发指南（普通模式）
MRS集群组件如何管理和使用第三方jar包 MRS集群内部分组件支持使用自定义的第三方jar包来满足组件的定制化需求，如果用户应用在使用组件时调用了第三方jar包，可放置到每个节点上指定目录中，重启组件后该目录下的jar会被相应的组件程序自动加载。 放置目录为：组件安装节点的“<
配置HetuEngine Worker节点数量 配置HetuEngine Worker节点数量说明 在HetuEngine的WebUI界面，可以对计算实例的Worker节点个数进行调整，实现计算实例在资源不够时扩充资源，资源空闲时释放资源。其中包含手动扩缩容和自动扩缩容两种方式进行Worker个数调整。
SHOW CREATE TABLE 语法 SHOW CREATE TABLE table_name 描述 显示指定数据表的SQL创建语句。 示例 显示能够创建orders表的SQL语句： CREATE TABLE orders ( orderkey bigint, orderstatus
准备Flink应用开发环境 准备本地应用开发环境 准备Flink应用开发用户 安装Flink客户端 配置并导入Flink样例工程 新建Flink样例工程（可选） 准备Flink应用安全认证 父主题： Flink开发指南
能会影响到MRS Manager页面的查看，待controller进程重启后，会恢复正常。 请在MRS Manager页面“主机管理”中查看主Master节点IP。 请在MRS Manager页面“服务管理 > Ranger > 实例”中查看主RangerAdmin节点IP。 输
示结果。（下图以HDFS组件为例） 单击“保存配置”，并在确认对话框中单击“是”。 等待界面提示“操作成功”，单击“完成”，配置已修改。 查看集群是否存在配置过期的服务，如果存在，需重启对应服务或角色实例使配置生效。也可在保存配置时直接勾选“重新启动受影响的服务或实例。”。 MRS
支持分发、聚合、选择等工作流程模式。 与Hadoop生态系统各组件紧密结合。 流程变量支持参数化。 支持流程定时触发。 自带一个Web Console，提供了流程查看、流程监控、日志查看等功能。 Oozie应用开发常见概念 流程定义文件 描述业务逻辑的XML文件，包括“workflow.xml”、“coordinator
“--transformer-class”指定SqlQueryBasedTransformer，可以通过SQL来操作数据转换，将源数据结构转换成目标表数据结构。 file:///opt/testconf/sourceCommon.properties： # source的公共属性
duce jobs直接生成符合HBase内部数据格式的文件，然后把生成的StoreFiles文件加载到正在运行的集群。使用批量加载相比直接使用HBase的API会节约更多的CPU和网络资源。 ImportTSV是一个HBase的表数据加载工具。 前提条件 在执行批量加载时需要通过“Dimporttsv
fromCollection(Collection<OUT> data) 获取用户定义的集合数据，作为输入流数据。 type为集合中元素的数据类型。 typeInfo为集合中根据元素数据类型获取的类型信息。 data为集合数据或者可迭代的数据体。 public <OUT> DataStreamSource<OUT>
态为只读，导致上层服务HBase、Spark等上报服务不可用。 原因分析 当前NodeManager和DataNode共数据盘使用，MRS默认预留15%的数据磁盘空间给非HDFS使用，可通过HDFS参数“dfs.datanode.du.reserved.percentage”修改百分比来控制具体的磁盘占比。
根据实际情况而定 Checkpoint间隔时长大于Checkpoint执行时长 checkpoint执行时长视checkpoint的数据量相关，数据量越大实行耗时越大 Checkpoint超时时长大于Checkpoint间隔时长 Checkpoint间隔时长是指多长时间触发一次C
fromCollection(Collection<OUT> data) 获取用户定义的集合数据，作为输入流数据。 type为集合中元素的数据类型。 typeInfo为集合中根据元素数据类型获取的类型信息。 data为集合数据或者可迭代的数据体。 public <OUT> DataStreamSource<OUT>
fromCollection(Collection<OUT> data) 获取用户定义的集合数据，作为输入流数据。 type为集合中元素的数据类型。 typeInfo为集合中根据元素数据类型获取的类型信息。 data为集合数据或者可迭代的数据体。 public <OUT> DataStreamSource<OUT>
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
