检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Loader从HDFS/OBS导出数据到SFTP服务器 操作场景 该任务指导用户使用Loader将数据从HDFS/OBS导出到SFTP服务器。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取SF
jar包名最多为1023字符，不能包含;|&>,<'$特殊字符，且不可为空或全空格。 执行程序可存储于HDFS或者OBS中，不同的文件系统对应的路径存在差异。 OBS存储路径：以“obs://”开头。示例：obs://wordcount/program/hadoop-mapreduce-examples-2
Spark客户端设置回收站version不生效 问题 Spark客户端设置fs.obs.hdfs.trash.version=1不生效，drop table后文件在回收站的存放路径不改变。 通常，默认情况： 当fs.obs.hdfs.trash.version=2时，回收站路径为：/user/
cala/R示例程序。 本工程应用程序实现从HDFS上读取文本数据并计算分析。 SparkRExample示例不支持未开启Kerberos认证的集群。 sparksecurity-examples/SparkPythonExample sparksecurity-examples/SparkRExample
password：节点用户密码信息。 如果执行失败，请在执行目录的work_space/log_XXX下查看node.log日志。 配置文件中包含认证密码信息可能存在安全风险，建议当前场景执行完毕后删除相关配置文件或加强安全管理。 批量升级MRS集群客户端 以待安装客户端的用户登录客户端下载节点。
/opt/client/bigdata_env source /opt/client/Spark2x/component_env 执行以下命令认证用户。 kinit Hive业务用户 执行以下命令登录客户端工具。 /opt/client/Spark2x/spark/bin/beeline
例如，Hive客户端安装目录为“/opt/hiveclient”，执行source /opt/hiveclient/bigdata_env 执行以下命令认证用户。 kinit Hive业务用户 执行以下命令登录客户端工具。 beeline 执行以下命令更新Hive用户的管理员权限。 set role
使用Loader从SFTP服务器导入数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从SFTP服务器导入到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取SFTP服务器使
Job创建后的Jobid 返回结果 参数 描述 status 包含job状态信息的json对象。 profile 包含job状态的json对象。WebHCat解析JobProfile对象中的信息，该对象因Hadoop版本不同而不同。 id Job的id。 percentComplete
配置NameNode内存参数 配置场景 在HDFS中，每个文件对象都需要在NameNode中注册相应的信息，并占用一定的存储空间。随着文件数的增加，当原有的内存空间无法存储相应的信息时，需要修改内存大小的设置。 配置描述 参数入口： 请参考修改集群服务配置参数，进入HDFS“全部配置”页面。
Job创建后的Jobid 返回结果 参数 描述 status 包含job状态信息的json对象。 profile 包含job状态的json对象。WebHCat解析JobProfile对象中的信息，该对象因Hadoop版本不同而不同。 id Job的id。 percentComplete
使用Loader从HDFS/OBS导出数据到关系型数据库 操作场景 该任务指导用户使用Loader将数据从HDFS/OBS导出到关系型数据库。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取关系型数据库使用的用户和密码。
string ] [ WITH properties ] AS query 描述 该语法是使用SELECT查询结果创建物化视图。物化视图是一个数据库对象，它包含了一个查询的结果，例如：它可以是远程数据的本地副本，单表查询或者多表join后查询的结果的行或列、行和列的子集，也可以是使用聚合函数的汇总表。
配置NameNode内存参数 配置场景 在HDFS中，每个文件对象都需要在NameNode中注册相应的信息，并占用一定的存储空间。随着文件数的增加，当原有的内存空间无法存储相应的信息时，需要修改内存大小的设置。 配置描述 参数入口： 请参考修改集群服务配置参数，进入HDFS“全部配置”页面。
/opt/client/bigdata_env source /opt/client/Spark2x/component_env 执行以下命令认证用户。 kinit Hive业务用户 执行以下命令登录客户端工具。 /opt/client/Spark2x/spark/bin/beeline
在告警列表中单击该告警，从完整的告警信息中的“定位信息”处获得“主机名”。 以omm用户进入主集群HBase客户端所在节点。 如果集群采用了安全版本，要进行安全认证，然后使用hbase用户进入hbase shell界面。 cd /opt/client source ./bigdata_env kinit
ARN队列的名称，需和集群中已存在且状态正常的队列名称相同。 “OBS”：表示将备份文件保存在OBS中（仅MRS 3.5.0及之后版本支持）。 选择此参数值，还需要配置以下参数： “源端路径”：填写备份文件在OBS中保存的完整路径。例如，“备份路径/备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间
名_数据源_任务创建时间/数据源_任务执行时间.tar.gz”。 OBS 表示从OBS中恢复数据，仅MRS 3.3.0-LTS及之后版本支持。 选择此参数值，还需要配置以下参数： “源端路径”：填写备份文件在OBS中保存的完整路径。例如：“备份路径/备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间
使用Loader从关系型数据库导入数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取关系型数据库使用的用户和密码。
确保用户已授权访问作业执行时操作的HDFS/OBS目录、HBase表和数据。 获取外部数据源（SFTP服务器或关系型数据库）使用的用户和密码。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从SFTP、FTP和HDFS/OBS导入数据时，确保外部数据源的输入
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
