检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDL”，单击“CDLService UI”右侧的超链接进入CDLService WebUI界面，在数据同步任务作业列表界面选择需进行DDL变更作业所在行的“更多 > 停止”，停止CDL作业。 使用客户端安装用户登录安装了客户端的节点，并执行以下命令： cd 客户端安装目录 source
ation。即表创建成功之后，表的Location路径会被创建在当前默认warehouse目录下，不能被指定到其他目录；如果创建内部表时指定Location，则创建失败。 开启该功能后，如果数据库中已存在建表时指向非当前默认warehouse目录的表，在执行建库、表脚本迁移、重建元数据操作时需要特别注意，防止错误。
数据。 原理：每次poll的数据处理完后才提交offset，如果poll数据后的处理时长超出了session.timeout.ms的设置时长，此时发生rebalance导致本次消费失败，已经消费数据的offset无法正常提交，所以下次重新消费时还是在旧的offset消费数据，从而导致消费数据重复。
以实际安装的补丁号为准。 例如： cd /opt/Bigdata/patches/MRS_3.1.0.0.16/client/ 安全集群需要认证对HDFS有权限的用户，普通集群无需执行： kinit {用户} 执行以下命令升级HDFS上的zip包： sh update_hdfs_file
Oozie的share HDFS的“/user/oozie/share/lib/spark2x”目录 说明： 请使用Oozie用户上传文件，执行su - oozie切换到Oozie用户 上传结束后再重启oozie服务。 将待使用样例工程的项目打包成jar包 jar包 HDFS的“/u
以实际安装的补丁号为准。 例如： cd /opt/Bigdata/patches/MRS_3.2.0-LTS.1.10/client/ 安全集群需要认证对HDFS有权限的用户，普通集群无需执行： kinit {用户} 执行以下命令升级HDFS上的zip包： sh update_hdfs_file
[1]userdir获取的是编译后资源目录的路径。将初始化需要的配置文件“core-site.xml”、“hdfs-site.xml”、“hbase-site.xml”和用于安全认证的用户凭证文件放置到“src/main/resources”的目录下。 “login”方法中的参数“java
} [1]userdir获取的是编译后资源目录的路径。将初始化需要的配置文件“core-site.xml”、“hdfs-site.xml”、“hbase-site.xml”放置到"src/main/resources"的目录下。 “login”方法中的参数“java.security
） jar包 Oozie的share HDFS的“/user/oozie/share/lib/spark2x”目录 说明： 请执行su - oozie切换到oozie用户，使用oozie用户上传文件。 上传结束后再重启Oozie服务。 将待使用样例工程的项目打包成jar包 jar包
Kakfa消费者读取单条记录过长问题 问题背景与现象 和“Kafka生产者写入单条记录过长问题”相对应的，在写入数据后，用户开发一个应用，以消费者调用新接口（org.apache.kafka.clients.consumer.*）到Kafka上读取数据，但读取失败，报异常大致如下：
SparkSQL天然与Hive集成，无需考虑元数据问题。该条建议针对的是通过Spark Datasource API或者Flin写Hudi表的场景，通过这两种方式写Hudi时需要增加向Hive同步元数据的配置项；该配置的目的是将Hudi表的元数据统一托管到Hive元数据服务中，为后续的跨引擎操作数据以及数据管理提供便利。
2020-08-04 解决的问题 MRS Manager 优化补丁机制 解决executor内存溢出问题 解决executor作业状态不一致问题 优化executor日志打印 MRS大数据组件 增加Hbase region处在RIT状态的时长超过阈值的告警 解决presto日志回滚问题
3补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（即用户自行搭建的客户端）。如果集群之前安装了1.9.2.2补丁，不需要做此操作。 主备Master节点的原始客户端全量更新，请参见更新客户端配置（2.x及之前版本）。 自行搭建的客户端全量安装方法，请参见安装客户端（3
服务解析token的project_id与集群的project_id不符合。 处理步骤 在使用AK/SK认证方式调用接口前，请参见表1收集对应信息，详细的签名方法和SDK使用方法请参见API签名指南。 在构造API请求前，需要获取以下信息，包括组成请求URL的Endpoint和U
codec”，值为“org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec”的配置项。 单击“保存”，在弹出的对话框中单击“确定”，保存配置。 单击“概览”，选择“更多 > 重启服务”，输入当前用户密码，单击“确定”，重启HBase服务。
t overwrite的load partition阶段出现找不到文件问题、HIVE-22373:Container重用时文件合并任务失败的问题 MRS 2.0.1.2 修复问题列表： MRS Manager 解决RM执行refreshNodes超时导致的偶现扩容失败问题 MRS
ace、debug、information、warning、error、fatal，程序会打印高于或等于所设置级别的日志，设置的日志等级越低，打印出来的日志就越详细。 ClickHouse支持日志文件大小和文件数目的调整。 登录FusionInsight Manager界面，访问“集群
参考使用ClickHouse数据迁移工具，使用迁移工具时产生的错误日志。 /var/log/Bigdata/tomcat/clickhouse/auto_balance/数据迁移任务名/balance_manager.log 参考使用ClickHouse数据迁移工具，勾选一键均衡产生的运行日志。 clickhouse-tomcat日志
补丁基本信息 补丁号 MRS 2.0.1.2 发布时间 2019-09-30 解决的问题 MRS 2.0.1.2 修复问题列表： MRS Manager 解决RM执行refreshNodes超时导致的偶现扩容失败问题 MRS 2.0.1.1 修复问题列表： MRS Manager 解决反复扩缩容导致MRS
MRS 2.0.1.1补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.0.1.1 发布时间 2019-09-30 解决的问题 MRS Manager 解决反复扩缩容导致MRS Master节点executor内存溢出问题 MRS大数据组件 MRS Presto新增
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
