检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
IDEA代码生成的jar包与工程依赖的jar包，合并导出可提交的source.jar。 打包需使用storm-jartool工具，可在Windows或Linux上进行。 前提条件 已执行打包Storm样例工程应用。 操作步骤 将从IntelliJ IDEA打包出来的jar包放入指定文件夹（例如“D:\source”）。
配置多个SFTP服务器时，多个SFTP服务器指定目录的数据导入到HDFS/OBS的同一个目录下。 设置数据源信息 单击“下一步”，进入“输入设置”界面，设置数据源信息。 表2 输入设置参数 参数名 说明 示例 输入路径 SFTP服务器中源文件的输入路径，如果连接器配置多个地址此处可
建议配置值为1000。不可与“Map数”同时配置。 - 设置数据转换 单击“下一步”，进入“转换”界面，设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考Loader算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 CSV文件输入 文件输出 HTML输入
SOCKS代理服务器，如“localhost:1080”。 httpProxy HTTP代理服务器地址，如“localhost:8888”。 applicationNamePrefix 要附加到任何指定的ApplicationName客户端信息属性的前缀，该属性用于设置HetuE
尽力避免OOM。 配置描述 提供两种不同的数据汇聚功能配置选项，两者在Spark JDBCServer服务端的tunning选项中进行设置，设置完后需要重启JDBCServer。 表1 参数说明 参数 说明 默认值 spark.sql.bigdata.thriftServer.useHdfsCollect
安全认证有两种方式： 命令行认证： 提交HDFS应用程序运行前，在HDFS客户端执行如下命令进行认证。 kinit 组件业务用户 该方式仅适用于Linux操作系统，且安装了HDFS的客户端。 代码认证： 通过获取客户端的principal和keytab文件进行认证。 注意修改代码中的PRI
错误 问题 为什么多次运行Spark应用程序会引发致命JRE错误？ 回答 多次运行Spark应用程序会引发致命的JRE错误，这个错误由Linux内核导致。 升级内核版本到4.13.9-2.ge7d7106-default来解决这个问题。 父主题： Spark2x常见问题
场景二：准备Linux环境运行程序所需配置文件。 在节点中安装MRS集群客户端。 例如客户端安装目录为“/opt/client”。 获取配置文件： 登录FusionInsight Manager，选择“集群 > 概览 > 更多 > 下载客户端”，，“选择客户端类型”设置为“仅配置文
安全认证有两种方式： 命令行认证： 提交HDFS应用程序运行前，在HDFS客户端执行如下命令进行认证。 kinit 组件业务用户 该方式仅适用于Linux操作系统，且安装了HDFS的客户端。 代码认证： 通过获取客户端的principal和keytab文件进行认证。 注意修改代码中的PRI
hadoop.rpc.protection 须知： 设置后需要重启服务生效，且不支持滚动重启。 设置后需要重新下载客户端配置，否则HDFS无法提供读写服务。 设置后需要重启executor，否则将导致管控面作业管理及文件管理功能不可用。 设置Hadoop中各模块的RPC通道是否加密。通道包括：
使用操作Avro格式数据章节中创建的HBase数据表。 开发思路 设置scan的规则，例如：setCaching。 使用特定的规则扫描Hbase表。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar
使用操作Avro格式数据章节中创建的HBase数据表。 开发思路 设置scan的规则，例如：setCaching。 使用特定的规则扫描Hbase表。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传
submitTopology(args[0], conf, builder.createTopology()); } 如果修改了集群域名，在设置Kafka消费者/生产者属性中kerberos域名时，需要将其设置为集群实际域名，例如props.put(KERBEROS_DOMAIN_NAME , "hadoop.hadoop1
amples", "test.txt"); /** * * 如果程序运行在Linux上，则需要core-site.xml、hdfs-site.xml的路径修改为在Linux下客户端文件的绝对路径 * * */ private static void
instanceBuild(); } /** * * 如果程序运行在Linux上，则需要core-site.xml、hdfs-site.xml的路径， * 修改为在Linux下客户端文件的绝对路径。 * */ private void confLoad()
d”的值设置为“false”。 设置方法：如果未启动beeline，则执行beeline --entireLineAsCommand=false命令；如果已启动beeline，则在beeline中执行!set entireLineAsCommand false命令。 设置完成后，
getDefaultRealm().toLowerCase()); return props; } 如果修改了集群域名，在设置Kafka消费者/生产者属性中kerberos域名时，需要将其设置为集群实际域名，例如props.put(KERBEROS_DOMAIN_NAME , "hadoop.hadoop1
hbase.enabled”设置为“true”（该参数值默认为“false”，改为“true”后对已有业务没有影响。如果要卸载HBase服务，卸载前请将此参数值改回“false”），将配置项“spark.inputFormat.cache.enabled”设置为“false”。 提交命令
hbase.enabled”设置为“true”（该参数值默认为“false”，改为“true”后对已有业务没有影响。如果要卸载HBase服务，卸载前请将此参数值改回“false”），将配置项“spark.inputFormat.cache.enabled”设置为“false”。 提交命令
下载客户端”，“选择客户端类型”设置为“仅配置文件”，单击“确定”，等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 MRS 3.3.0及之后版本，登录FusionInsight Manager页面，在“主页”右上方单击“下载客户端”，“选择客户端类型”设置为“仅配置文件”，单击
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
