检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
”隔开。不能配置为空。不支持正则表达式过滤。 * 编码类型 源文件的编码格式，如UTF-8。导入文本文件时才能配置。 UTF-8 后缀名 源文件导入成功后对输入文件增加的后缀值。该值为空，表示不加后缀。 .log 设置数据转换 单击“下一步”，进入“转换”界面，设置数据传输过程中的转换操作。算子的选择和参
enabled”，值为“true”，表示启用SSL通信加密，值为“false”表示关闭SSL通信加密。 添加HBase数据源步骤 获取HBase数据源的“hbase-site.xml”、“hdfs-site.xml”和“core-site.xml”配置文件。 登录HBase数据源所在集群的FusionInsight
Hive服务启动失败 安全集群执行set命令的时候报错“Cannot modify xxx at runtime” 提交Hive任务时如何指定队列？ 怎么通过客户端设置Map/Reduce内存？ 如何在导入Hive表时指定输出的文件压缩格式？ Hive表desc描述过长导致无法完整显示 Hi
志。如果需要查询拓扑在运行时数据处理的日志，提交拓扑并启用“Debug”功能后可以查看日志。仅启用Kerberos认证的流集群支持该场景，且用户需要是拓扑的提交者，或者加入“stormadmin”。 前提条件 在工作环境完成网络配置。 需要查看处理数据的拓扑，提交时已启用采样功能。
HH:mm:ss”。 string 否 无 数据处理规则 原始数据包含null值，不做转换处理。 配置输入字段列数，大于原始数据实际包含字段列数，全部数据成为脏数据。 遇到类型转换错误，当前数据保存为脏数据。 样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下图： 配置“长整型时间
HH:mm:ss”。 string 否 无 数据处理规则 原始数据包含null值，不做转换处理。 配置输入字段列数，大于原始数据实际包含字段列数，全部数据成为脏数据。 遇到类型转换错误，当前数据保存为脏数据。 样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下图： 配置“长整型时间
DistCP作业导入导出数据常见问题 问：DistCP类型作业导入导出数据时，是否会对比数据的一致性？ 答：DistCP类型作业导入导出数据时不会对比数据的一致性，只是对数据进行复制，不会修改数据。 问：DistCP类型作业在导出时，遇到OBS里已经存在的文件是如何处理的？ 答：Dist
只能由英文字母、数字以及“_”和“-”组成，且长度为[1-64]个字符。 默认取值： 不涉及 project_id 是 String 参数解释： 项目编号。获取方法，请参见获取项目ID。 约束限制： 不涉及 取值范围： 只能由英文字母和数字组成，且长度为[1-64]个字符。 默认取值： 不涉及
sumer.properties 配置文件中“group.id”指定的消费者组默认为“example-group1”。用户可根据业务需要，自定义其他消费者组。每次消费时生效。 执行命令时默认会读取当前消费者组中未被处理的消息。如果在配置文件指定了新的消费者组且命令中增加参数“--
用codegen的方式来生成Java代码，但JDK编译时要求Java代码中的每个函数的长度不能超过64KB。当执行一个很复杂的SQL语句时，例如有多层语句嵌套，且单层语句中对字段有大量的逻辑处理（如多层嵌套的case when语句），这种情况下，通过codegen生成的Java代
当选择多节点扩容至目标容量，存在部分节点挂载数据盘高于目标容量时，这些数据盘将不进行扩容，也不参与订单收费。 仅支持集群节点创建时默认挂载的数据盘完整扩容，自行挂载的数据盘仅能扩容云硬盘（EVS）容量，无法扩展磁盘分区和文件系统，需参考扩展数据盘的分区和文件系统（Linux）进行处理或联系华为云技术支持进行处理。 扩
入文件。 选择“FILE”，表示按文件分割源文件，即每个map处理一个或多个完整的源文件，同一个源文件不可分配至不同map，完成数据导入后保持源文件的目录结构。 选择“SIZE”，表示按大小分割源文件，即每个map处理一定大小的输入文件，同一个源文件可分割至多个map，数据保存至
join的表数据变化更新频率较低，这种情况，建议对多个表join查询逻辑提前进行加工处理，将处理后的数据写入到一个宽表中，宽表中包含所有要查询的数据字段，以供后续应用完全自助OLAP的高性能查询。 表命名规范 数据库表名称命名规则： 在数据库中，表名命名要求在当前数据库内唯一。
binary) 是WKT的二进制表示形式，解决了WKT表达方式冗余的问题，便于传输和在数据库中存储相同的信息。 GeoJSON一种JSON格式的Feature信息输出格式，它便于被JavaScript等脚本语言处理，OpenLayers等地理库便是采用GeoJSON格式。此外，TopoJSON等更精简的扩展格式。
该任务指导您在日常运维中，查看某个Loader作业的历史执行状态以及每次执行时长，同时提供该作业两种操作： 脏数据：查看作业执行过程中处理失败的数据、或者被清洗过滤掉的数据，针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。 日志：查看作业在MapReduce执行的日志信息。 本章节适用于MRS
为什么CDL任务执行后Hudi中没有接收到数据 现象描述 抓取数据到Hudi中的CDL任务运行后，Kafka中有相关数据，Spark的RDD处理中无记录，Hudi中没有相关数据，并且Yarn日志报错：TopicAuthorizationException: No authorized
使用Spark提交任务时，Driver默认会去HBase获取Token，访问HBase则需要配置文件“jaas.conf”进行安全认证。此时如果用户未配置“jaas.conf”文件，会导致应用运行失败。 因此，根据应用是否涉及HBase进行以下处理： 当应用不涉及HBase时，即无需获取HBase Token。此时，将“spark
获取用户定义的某路径下的文件数据，作为输入流数据。 filePath是指文件的路径。 inputFormat是指文件的格式。 watchType指的是文件的处理模式“PROCESS_ONCE”或者“PROCESS_CONTINUOUSLY”。 interval指的是多长时间判断目录或文件变化进行处理。
当需要提升Storm数据量处理性能时，可以通过拓扑调优的操作提高效率。建议在可靠性要求不高的场景下进行优化。 表1 调优参数 配置参数 默认值 调优场景 topology.acker.executors null Acker的执行器数量。当业务应用对可靠性要求较低，允许不处理部分数据，可设置
入文件。 选择“FILE”，表示按文件分割源文件，即每个map处理一个或多个完整的源文件，同一个源文件不可分配至不同map，完成数据导入后保持源文件的目录结构。 选择“SIZE”，表示按大小分割源文件，即每个map处理一定大小的输入文件，同一个源文件可分割至多个map，数据保存至
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
