检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何准备MRS的数据源？ MRS既可以处理OBS中的数据，也可以处理HDFS中的数据。在使用MRS分析数据前，需要先准备数据。 将本地数据上传OBS。 登录OBS管理控制台。 在OBS上创建userdata并行文件系统，然后在userdata文件系统下创建program、input、output和log文件夹。
如何迁移OBS/S3的数据到ClickHouse 问题 如何迁移OBS/S3的数据到MRS ClickHouse。 回答 查询S3中的数据： select * from s3(path [,access_key_id, secret_access_key] [,format] [
SparkStreaming作业运行几十个小时后失败，报OBS访问403如何处理？ 问：SparkStreaming作业运行几十个小时后失败，报OBS访问403如何处理？ 答：当用户提交作业需要读写OBS时，提交作业程序会默认为用户添加访问OBS的临时accesskey和secretkey，
配置Hive表不同分区分别存储至OBS和HDFS 操作场景 存算分离场景下，Hive分区表支持不同的分区分别指定不同的存储源，可以指定一个分区表中不同分区的存储源为OBS或者HDFS。 本特性仅适用于MRS 3.2.0及之后版本。此章节仅说明分区表指定存储源的能力，关于Hive如
”组成，且长度为[1-64]个字符。 默认取值： 不涉及 uri String 参数解释： 引导操作脚本的路径。设置为OBS桶的路径或虚拟机本地的路径。 OBS桶的路径：直接手动输入脚本路径。例如输入MRS提供的公共样例脚本路径。示例：s3a://bootstrap/presto/presto-install
Job创建后的Jobid 返回结果 参数 描述 status 包含job状态信息的json对象。 profile 包含job状态的json对象。WebHCat解析JobProfile对象中的信息，该对象因Hadoop版本不同而不同。 id Job的id。 percentComplete 完成百分比，比如75%
”组成，且长度为[1-64]个字符。 默认取值： 不涉及 uri String 参数解释： 引导操作脚本的路径。设置为OBS桶的路径或虚拟机本地的路径。 OBS桶的路径：直接手动输入脚本路径。例如输入MRS提供的公共样例脚本路径。示例：s3a://bootstrap/presto/presto-install
“Include”策略适用于当前输入的对象，“Exclude”表示策略适用于除去当前输入内容之外的其他对象。 table 将适用该策略的Hive表名称。 如果需要添加基于UDF的策略，可切换为UDF，然后输入UDF的名称。 “Include”策略适用于当前输入的对象，“Exclude”表示策
使用hive-table方式同步数据到obs上的hive表报错 问题 使用hive-table方式同步数据到obs上的hive表报错。 回答 修改数据同步方式，将-hive-table改成-hcatalog-table。 父主题： Sqoop常见问题
为什么在Hive自定义配置中添加OBS快删目录后不生效 问题 在配置MRS多用户访问OBS细粒度权限的场景中，在Hive自定义配置中添加OBS快删目录的配置后，删除Hive表，执行结果为成功，但是OBS目录没有删掉。 回答 由于没有给用户配置快删目录的权限，导致数据不能被删除。需
为什么在Hive自定义配置中添加OBS快删目录后不生效 问题 在配置MRS多用户访问OBS细粒度权限的场景中，在Hive自定义配置中添加OBS快删目录的配置后，删除Hive表，执行结果为成功，但是OBS目录没有删掉。 回答 由于没有给用户配置快删目录的权限，导致数据不能被删除。需
Job创建后的Jobid 返回结果 参数 描述 status 包含job状态信息的json对象。 profile 包含job状态的json对象。WebHCat解析JobProfile对象中的信息，该对象因Hadoop版本不同而不同。 id Job的id。 percentComplete
HDFS客户端无法删除超长目录 问题背景与现象 执行hadoop fs -rm -r -f obs://<obs_path>命令，删除OBS超长目录出现如下报错： 2022-02-28 17:12:45,605 INFO internal.RestStorageService: OkHttp
scala) 回答 Streaming Context启动时，若应用设置了checkpoint，则需要对应用中的DStream checkpoint对象进行序列化，序列化时会用到dstream.context。 dstream.context是Streaming Context启动时从output
createTable(String name, Schema schema, CreateTableOptions builder)方法创建表对象，其中需要指定表的schema和分区信息。 代码样例 如下是创建表的代码片段： // Set up a table name. String
createTable(String name, Schema schema, CreateTableOptions builder)方法创建表对象，其中需要指定表的schema和分区信息。 代码样例 如下是创建表的代码片段： // Set up a table name. String
代码样例 下面代码片段仅为演示，具体代码参见“com.huawei.bigdata.SessionExample”。 其中在Session对象的参数里，设置IoTDBServer所在的节点IP、端口、用户名和密码。 待连接的IoTDBServer所在的节点IP地址，可通过登录FusionInsight
进程运行异常日志 记录导致进程运行时错误的错误信息，如输入对象为空、编解码失败等错误。 进程运行环境信息日志 记录进程运行环境的信息，如资源状态、环境变量等。 脚本日志 记录脚本执行的过程信息。 资源回收日志 记录资源回收的过程信息。 服务卸载时的清理日志 记录卸载服务时执行的步骤操作信息，如清除目录数据、执行时间等
jar包名最多为1023字符，不能包含;|&>,<'$特殊字符，且不可为空或全空格。 执行程序可存储于HDFS或者OBS中，不同的文件系统对应的路径存在差异。 OBS存储路径：以“obs://”开头。示例：obs://wordcount/program/hadoop-mapreduce-examples-2
scala) 回答 Streaming Context启动时，如果应用设置了checkpoint，则需要对应用中的DStream checkpoint对象进行序列化，序列化时会用到dstream.context。 dstream.context是Streaming Context启动时从output
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
