检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用已创建好的DWS集群中的数据库用户名、密码等信息，参考使用Data Studio工具连接章节连接DWS数据库。 将DWS数据库中的表数据导出到CSV格式文件。 （可选）如果DWS数据库对应的表和数据已经存在，该步骤请忽略。本文通过演示在DWS创建测试表，并插入测试数据进行演示。 使用Data
16T的文本数据转成4T Parquet数据失败 问题 使用默认配置时，16T的文本数据转成4T Parquet数据失败，报如下错误信息。 Job aborted due to stage failure: Task 2866 in stage 11.0 failed 4 times
16T的文本数据转成4T Parquet数据失败 问题 使用默认配置时，16T的文本数据转成4T Parquet数据失败，报如下错误信息。 Job aborted due to stage failure: Task 2866 in stage 11.0 failed 4 times
MRS是否支持对DLI服务的业务表进行读写操作？ 问： MRS是否支持对DLI服务的业务表进行读写操作？ 答： 如果数据存放在OBS上，则支持使用MRS服务中的Spark读取DLI表，对表数据进行灵活处理，结果存入另一张DLI表。 如果数据不存放在OBS上，则不支持。 父主题： 周边生态对接类
配置Doris支持多源数据 Doris多源数据能力概述 配置Doris对接Hive数据源 配置Doris对接Hudi数据源 配置Spark读写Doris数据 配置Flink读写Doris数据 通过JDBC Catalog对接MySQL/Doris数据源 父主题： Doris企业级能力增强
写Kudu数据 功能简介 通过KuduClient.newSession()方法生成一个KuduSession对象，然后再把插入记录动作执行到Kudu表里。 代码样例 如下是写数据的代码片段： // Create a KuduSession. KuduSession session
写Kudu数据 功能简介 通过KuduClient.newSession()方法生成一个KuduSession对象，然后再把插入记录动作执行到Kudu表里。 代码样例 如下是写数据的代码片段： // Create a KuduSession. KuduSession session
添加GAUSSDB数据源 本章节指导用户在HSConsole界面添加GaussDB类型的JDBC数据源。 添加GAUSSDB数据源前提条件 数据源所在集群与HetuEngine集群节点网络互通。 在HetuEngine所在集群的所有节点的“/etc/hosts”文件中，添加待对接数据源所在集
配置Hudi历史数据清理 本章节仅适用于MRS 3.3.0-LTS及之后版本 操作场景 随着时间的推移，Hudi表中的数据越来越多，表中的老数据价值逐渐变弱并且还会占用存储空间，对这些老数据Hudi需要支持删除操作以便节约存储成本。 delete/drop partition语句直接删除历史数据
Streaming任务打印两次相同DAG日志 问题 在使用Spark Streaming时，使用以下命令运行程序： spark-submit -master yarn-client --conf spark.logLineage=true --jars $SPARK_HOME/j
r角色管理功能在表授权、列授权和数据库授权三个场景下的操作。 操作步骤 SparkSQL表授权、列授权、数据库授权与Hive的操作相同，详情请参见Hive用户权限管理。 在权限管理中，为了方便用户使用，授予数据库下表的任意权限将自动关联该数据库目录的HDFS权限。为了避免产生性能
Doris可以使用SQL进行常见的业务操作，代码样例中所涉及的SQL操作主要包括创建数据库、创建表、插入表数据、查询表数据以及删除表操作。 本代码样例操作流程如下： 使用JDBC连接到Doris。 创建数据库。 在数据库中创建表。 向表中插入数据。 查询表数据。 删除表。 开发思路
Doris可以使用SQL进行常见的业务操作，代码样例中所涉及的SQL操作主要包括创建数据库、创建表、插入表数据、查询表数据以及删除表操作。 本代码样例操作流程如下： 使用JDBC连接到Doris。 创建数据库。 在数据库中创建表。 向表中插入数据。 查询表数据。 删除表。 开发思路
IoTDB套件由若干个组件构成，共同形成数据收集、数据写入、数据存储、数据查询、数据可视化、数据分析等一系列功能。 图2展示了使用IoTDB套件的全部组件形成的整体应用架构，IoTDB特指其中的时间序列数据库组件。 图2 IoTDB结构 用户可以通过JDBC/Session将来自设备传感器上采集的时序数据和服务器
实例”，查看任一FE实例的业务IP地址。 用户也可以使用MySQL连接软件或者在Doris WebUI界面连接数据库。 集群未启用Kerberos认证（普通模式） 登录安装了MySQL客户端的节点，使用admin用户连接Doris服务。 mysql -uadmin-PFE查询连接端口 -hDoris
如果运行任务的BE节点故障，需查看具体的故障原因再进行解决。 如果RPC源端有大量未发送的数据超过了阈值，可设置如下参数： brpc_socket_max_unwritten_bytes：用于设置未发送的数据量的阈值，默认为1GB。如果未发送数据量超过该值，则会报OVERCROWDED错，可适当调大该值。 ta
当在filter中使用更高精度的double数据类型的数值时，过滤结果没有按照所使用的filter的要求返回正确的值。 可能原因 如果filter使用更高精度的double数据类型的数值，系统将会对该值四舍五入进行比较，因此在这种情况下，即使小数部分不同，系统仍然会认为double数据类型的值是相同的。 定位思路
配置HDFS冷热数据迁移 配置场景 冷热数据迁移工具根据配置的策略移动HDFS文件。配置策略是条件或非条件规则的集合。如果规则匹配文件集，则该工具将对该文件执行一组行为操作。 冷热数据迁移工具支持以下规则和行为。 迁移规则： 根据文件的最后访问时间迁移数据 根据年龄时间迁移数据（修改时间）
备份Manager数据（MRS 3.x及之后版本） 操作场景 为了确保FusionInsight Manager系统日常数据安全，或者系统管理员需要对Manager进行重大操作（如扩容、减容等）前后，需要对Manager数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。
Group by的时候， Map端会先进行分组， 分组完后分发到Reduce端， Reduce端再进行分组。可采用Map端聚合的方式来进行Group by优化，开启Map端初步聚合，减少Map的输出数据量。 操作步骤 在Hive客户端进行如下设置： set hive.map.aggr=true;
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
