检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
则不补齐。 map 否 无 数据处理规则 将字段值输出到文件。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下: aaa,product bbb,Bigdata 配置“文件输出”算子,分隔符为“,”,将A和B输出到文件中: 输出后的结果如下: aaa,product
可以直接复制样例目录中“map-reduce”文件夹内的内容到“dataLoad”文件夹,然后进行编辑。 目录中 “oozie-client-*”涉及的版本号以实际版本号为准。 编写流程任务属性文件(job.properties)。 请参见配置Oozie作业运行参数。 编写Workflow任务文件“workflow
行环境准备。 准备运行调测环境 在弹性云服务器管理控制台,申请一个新的弹性云服务器,用于应用开发运行调测。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的网卡需要与MRS集群在同一个网段中。
FTP服务器上源文件的读取权限。如果源文件在导入后文件名要增加后缀,则该用户还需具备源文件的写入权限。 检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从SFTP服务器导入数据时,确保SFTP服务器输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;
FTP服务器上源文件的读取权限。如果源文件在导入后文件名要增加后缀,则该用户还需具备源文件的写入权限。 检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从SFTP服务器导入数据时,确保SFTP服务器输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;
使用Loader从FTP服务器导入数据到HBase 操作场景 该任务指导用户使用Loader将数据从FTP服务器导入到HBase。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 获取FTP服务器使用的用户和密码,且该用户具备FTP服务器上源文件的读取权限。如果源文件在导入后
申请一台Windows的ECS访问MRS集群操作Presto。申请ECS访问MRS集群的步骤如下: 在“现有集群”列表中,单击已创建的集群名称。 记录集群的“可用分区”、“虚拟私有云”,以及Master节点的“默认安全组”。 在弹性云服务管理控制台,创建一个新的弹性云服务器。 弹性云服务器的“可用
获取SFTP服务器使用的用户和密码,且该用户具备SFTP服务器上源文件的读取权限。如果源文件在导入后文件名要增加后缀,则该用户还需具备源文件的写入权限。 检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从SFTP服务器导入数据时,确保SFTP服务器输入路
则不补齐。 map 否 无 数据处理规则 将字段值输出到文件。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下: aaa,product bbb,Bigdata 配置“文件输出”算子,分隔符为“,”,将A和B输出到文件中: 输出后的结果如下: aaa,product
“是否安全版本”选择“是”时存在此参数。 客户端配置文件 集群客户端配置文件,格式为tar。 用户凭据 FusionInsight Manager中用户的认证凭据,格式为tar。 “是否安全版本”选择“是”时存在此参数。 输入访问用户名后才可上传文件。 集群客户端配置文件获取方法: 登录FusionInsight
DFS文件进行操作,使用Hive客户端对Hive表进行操作。 访问文件浏览器(File Browser) 访问Hue WebUI。 单击,进入“File Browser”。 默认进入当前登录用户的主目录。 文件浏览器将显示目录中的子目录或文件以下信息: 表1 HDFS文件属性介绍
false 单击“导出”,将配置文件“properties.properties”保存到本地。 将“properties.properties”文件上传到Flume客户端安装目录下的“flume/conf/”下。 配置Flume角色的服务端参数,并将配置文件上传到集群。 使用FusionInsight
分析、处理。 将Mapreduce程序的分析结果移动到数据分析结果目录,并将数据文件的权限设置成660。 为了满足每天分析一次的需求,需要每天重复执行一次1.a~1.b。 业务实现。 登录客户端所在节点,新建“dataLoad”目录,作为程序运行目录,后面编写的文件均保存在该目录
Hadoop客户端相关配置参数。 复制解压目录下的“hosts”文件中的内容到本地hosts文件中。 在应用开发过程中,如需在本地Windows系统中调测应用程序,需要确保本地节点能与“hosts”文件中所列出的各主机在网络上互通。 如果当前节点与MRS集群所在网络平面不互通,可以通过绑定
准备一个应用程序运行测试的Linux环境。 准备运行调测环境 在弹性云服务器管理控制台,申请一个新的弹性云服务器,用于应用开发、运行、调测。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的网卡需要与MRS集群在同一个网段中。
ThriftServer应用开发示例工程所需的配置文件还需参考准备ThriftServer实例配置文件获取。 复制解压目录下的“hosts”文件中的内容到本地hosts文件中。 在应用开发过程中,如需在本地Windows系统中调测应用程序,需要确保本地节点能与“hosts”文件中所列出的各主机在网络上互通。 如果当
摘要:表示查看选中的文件或目录的HDFS存储信息。 上传用户文件 在“文件浏览器”界面,单击“上传”。 在弹出的上传文件窗口中单击“选择文件”或将文件拖至窗口中,完成文件上传。 创建新文件或者目录 在“文件浏览器”界面,单击“新建”。 选择一个操作。 文件:表示创建一个文件,输入文件名后单击“创建”完成。
false 单击“导出”,将配置文件“properties.properties”保存到本地。 将“properties.properties”文件上传到Flume客户端安装目录下的“flume/conf/”下。 配置Flume角色的服务端参数,并将配置文件上传到集群。 使用FusionInsight
Kafka的服务端的配置信息。 复制解压目录下的“hosts”文件中的内容到本地hosts文件中。 在应用开发过程中,如需在本地Windows系统中调测应用程序,需要确保本地节点能与“hosts”文件中所列出的各主机在网络上互通。 如果当前节点与MRS集群所在网络平面不互通,可以通过
据。 将本地数据上传OBS。 登录OBS管理控制台。 在OBS上创建userdata并行文件系统,然后在userdata文件系统下创建program、input、output和log文件夹。 单击“并行文件系统 > 创建并行文件系统”,创建一个名称为userdata的文件系统。