检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备本地应用开发环境 Kafka开发应用时,需要准备的开发和运行环境如表1所示: 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Windows系统或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。
准备本地应用开发环境 Kafka开发应用时,需要准备的开发和运行环境如表1所示: 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Windows系统或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。
ce WebUI界面,请参考登录CDLService WebUI界面。 选择“ENV管理 > 新建ENV”,在弹出的窗口中输入相关信息。 表1 新建ENV配置参数 参数名称 描述 示例 Name ENV名称。 spark-env Type ENV类型。 spark Driver Memory
过滤行转换 概述 “过滤行转换”算子,用于配置逻辑条件过滤掉含触发条件的行。 输入与输出 输入:用来做过滤条件的字段 输出:无 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 条件逻辑连接符 配置条件逻辑连接符,可配置“AND”或“OR”。 enum 是 AND
过滤行转换 概述 “过滤行转换”算子,用于配置逻辑条件过滤掉含触发条件的行。 输入与输出 输入:用来做过滤条件的字段 输出:无 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 条件逻辑连接符 配置条件逻辑连接符,可配置“AND”或“OR”。 enum 是 AND
namenode.fgl.enable”参数,配置项详细说明如下表。 参数 参数说明 备注 dfs.namenode.fgl.enable 是否开启细粒度锁特性。开启之后可以有效提升HDFS读写性能。 默认为:false 参数修改后保存配置。 在HDFS“实例”界面,勾选主备NameNode实例,选择“更多
server错误。 hadoop.rpc.protection参数表示数据可通过以下任一方式在节点间进行传输。 privacy:指数据在鉴权及加密后再传输。这种方式会降低性能。 authentication:指数据在鉴权后直接传输,不加密。这种方式能保证性能但存在安全风险。 inte
> 待操作集群的名称 > 服务 > Impala > 配置 > 全部配置 > Impalad(角色) > LDAP”。 配置如下参数的值。 表1 参数配置 参数名称 参数描述 备注 --enable_ldap_auth 是否开启LDAP认证 【取值范围】 true或false --ldap_bind_pattern
启停MRS集群节点上所有角色 当主机(节点)故障异常时,用户可能需要在MRS停止主机上的所有角色,对主机进行维护检查。故障清除后,启动主机上的所有角色恢复主机业务。 操作MRS集群前提条件 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“
> 待操作集群的名称 > 服务 > Impala > 配置 > 全部配置 > Impalad(角色) > LDAP”。 配置如下参数的值。 表1 参数配置 参数名称 参数描述 备注 --enable_ldap_auth 是否开启LDAP认证 【取值范围】 true或false --ldap_bind_pattern
安全参数,如下: //初始化Storm的Config Config conf = new Config(); //初始化安全插件列表 List<String> auto_tgts = new ArrayList<String>(); //添加AutoTGT插件 auto_tgts
准备ClickHouse应用开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK
Presto应用开发环境简介 在进行应用开发时,要准备的本地开发环境如表1所示。同时需要准备运行调测的Linux环境,用于验证应用程序运行是否正常。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,推荐Windows7以上版本。 运行环境:Linux系统。 安装JDK
辑页面,在输入字段的参数表格添加相应配置信息。 双击指定的输出算子(例如文件输出)进入编辑页面,单击“关联”,并在弹出的“关联”对话框中勾选需要的字段信息。 在输出算子的字段表格里面已存在名称的字段信息,不会在“关联”窗口显示。 用户也可在“字段名”的列表中选择需要字段,相应配置信息会在输出字段的参数表格显示。
Manager界面选择“系统设置 > 角色管理 > 添加角色”,如图 1 添加角色所示。 图1 添加角色 填写角色的名称,例如hbaserole。 编辑角色,在“权限”的表格中选择“HBase> HBase Scope”,勾选“Admin”、“Create”、“Read”、“Write”和“Execute”,单击“确定”保存,如图2所示。
检查fsck显示结果: 显示如下信息,表示无文件丢失或损坏,执行4。 The filesystem under path '/' is HEALTHY 显示其他信息,表示有文件丢失或损坏,执行5。 登录FusionInsight Manager,选择“集群 >服务”查看HDFS的状态“运行状态”是否为“良好”。
WebUI”右侧的链接,进入Hue WebUI界面。 在界面左侧导航栏单击 ,选择“Workflow”,打开Workflow编辑器。 单击“文档”后的下拉框选择“操作”, 在操作列表中选择需要创建的作业类型,将其拖到操作界面中即可。 不同类型作业提交请参考以下章节: 使用Hue提交Oozie Hive2作业
WebUI”右侧的链接,进入Hue WebUI界面。 在界面左侧导航栏单击 ,选择“Workflow”,打开Workflow编辑器。 单击“文档”后的下拉框选择“操作”, 在操作列表中选择需要创建的作业类型,将其拖到操作界面中即可。 不同类型作业提交请参考以下章节: 使用Hue提交Oozie Hive2作业
检查fsck显示结果: 显示如下信息,表示无文件丢失或损坏,执行4。 The filesystem under path '/' is HEALTHY 显示其他信息,表示有文件丢失或损坏,执行5。 登录FusionInsight Manager,选择“集群 >服务”查看HDFS的状态“运行状态”是否为“良好”。
stream.context。 dstream.context是Streaming Context启动时从output Streams反向查找所依赖的DStream,逐个设置context。如果Spark Streaming应用创建1个输入流,但该输入流无输出逻辑时,则不会给它设