检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
120 * 1024 * 1024 byte hoodie.parquet.block.size parquet页面大小，页面是parquet文件中的读取单位，在一个块内，页面被分别压缩。 120 * 1024 * 1024 byte hoodie.parquet.compression
hbase.regionserver.wal.encryption：将该参数值修改为“true”。 单击“保存”保存设置。单击“概览”，在页面右上角选择“更多 > 重启服务”，输入当前用户密码后单击“确定”，重启HBase服务使其生效。 在创建HBase表时，需要通过设置加密方式
DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别，请执行如下操作： 参考修改集群服务配置参数，进入Hive服务“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别并保存。 配置Hive日志级别后可立即生效，无需重启服务。 日志格式
DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别，请执行如下操作： 请参考修改集群服务配置参数，进入Kafka的“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 保存配置，在弹出窗口中单击“确定”使配置生效。 日志格式 Kafka的日志格式如下所示：
- 认证HDFS的Kerberos keytab，普通模式集群不配置，安全模式集群中，用户必须对jaas.cof文件中的keyTab路径有访问权限。 hdfs.fileCloseByEndEvent true 收到源文件的最后一个Event时是否关闭hdfs文件。 hdfs.batchCallTimeout
不支持删除分区列或者分桶列。 DROP COLUMN不支持rctext、rcbinary、rcfile格式存储的表。由于connector对不同文件格式的列访问模式不同，drop column后可能会出现查询失败的情况，例如： 对于orc格式存储的非分区表 ，drop column后如果查询失败，需要设置Session属性：
CommitAndPublishTimeMs 向FE请求提交并且发布事务所花费的时间，单位为：毫秒。 ErrorURL 如果有数据问题，可通过访问该URL查看具体错误行。 由于Stream Load是同步的导入方式，所以不会在Doris系统中记录导入信息，用户无法异步通过查看导入命令看到Stream
规则ID：选择“dynamic_0004”。 租户：单击“添加”选择可适用当前防御规则的租户名称，例如：default。 服务与动作：单击“添加”，在添加服务与动作页面配置以下参数并单击“确定”： 服务：选择“Hive”。 根据业务实际需求开启“提示”或“拦截”按钮。 图1 创建Hive SQL防御规则
使用IntelliJ IDEA远程提交新打包的Jar包。 查看是否可以在WebUI查看拓扑的详细信息和Worker日志内容。 在Manager页面修改Storm集群关于Worker启动超时参数（参数说明请参考参考信息），保存并重启Storm服务。 MRS Manager界面操作入口：登录MRS
集群内节点使用MRS客户端，MRS集群外客户端的安装操作可参考集群外节点使用MRS客户端。 登录FusionInsight Manager页面，下载集群客户端软件包至主管理节点并解压，然后以root用户登录主管理节点，进入集群客户端解压路径下，复制“FusionInsight_C
Yarn > ResourceManager(主)”进入Web界面后查看任务执行状态。 图2 ResourceManager Web UI页面 查看MapReduce日志获取应用运行情况 您可以查看MapReduce日志了解应用运行情况，并根据日志信息调整应用程序。 父主题： 调测MapReduce应用
据的offset无法正常提交，所以下次重新消费时还是在旧的offset消费数据，从而导致消费数据重复。 解决办法 建议用户在Manager页面调整以下服务参数： request.timeout.ms=100000 session.timeout.ms=90000 max.poll
配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。 数据类型转换失败，当前行成为脏数据。 Hive输出 如果指定了一个或多个列为分区列，则在“到”页面上，会显示“分割程序”属性，该属性表示使用多少个处理器去对分区数据进行处理。 如果没有指定任何列为分区列，则表示不需要对输入数据进行分区处理，“分割程序”属性默认隐藏。
构的小磁盘成为该节点的性能瓶颈。 本章节适用于MRS 3.x及后续版本。 配置描述 请参考修改集群服务配置参数，进入HDFS的“全部配置”页面，在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 dfs.disk.balancer.auto.enabled 是否开启自动执行HDFS
构的小磁盘成为该节点的性能瓶颈。 本章节适用于MRS 3.x及后续版本。 配置描述 请参考修改集群服务配置参数，进入HDFS的“全部配置”页面，在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 dfs.disk.balancer.auto.enabled 是否开启自动执行HDFS
系统性能下降：卡IO会导致系统I/O性能下降，从而影响系统的响应速度和吞吐量。这可能会导致客户的业务运行变慢（例如：作业提交运行变慢、页面响应迟钝、接口响应超时等），甚至出现崩溃或错误。 系统故障：卡IO可能会导致系统故障，从而导致客户的业务受到影响。如果慢盘上存储的数据包含
登录FusionInsight Manager界面，选择“集群 > 服务 > Doris > 配置 > 全部配置”，进入Doris服务的全部配置页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别并保存。 单击“概览”，选择“更多 > 重启服务”，输入当前用户密码重启Doris服务。
配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。 数据类型转换失败，当前行成为脏数据。 Hive输出 如果指定了一个或多个列为分区列，则在“到”页面上，会显示“分割程序”属性，该属性表示使用多少个处理器去对分区数据进行处理。 如果没有指定任何列为分区列，则表示不需要对输入数据进行分区处理，“分割程序”属性默认隐藏。
源”或是“定制”，选择“开源”使用开源端口，选择“定制”使用定制端口。 Kafka集群IP：登录FusionInsight Manager页面，选择“集群 > 服务 > Kafka > 实例”，查看并记录Broker角色实例其中任意一个的业务IP地址即可。 Kafka集群IP端口
Core和Spark Streaming使用上表中的API接口进行程序开发。而SparkSQL模块，支持CLI或者JDBCServer两种方式访问。其中JDBCServer的连接方式也有Beeline和JDBC客户端代码两种。详情请参见Spark JDBCServer接口介绍。 sp
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
