检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark作业运行大批量数据时上报作业运行超时异常错误 当Spark作业运行大批量数据时，如果出现作业运行超时异常错误，通常是由于作业的资源配置不足、数据倾斜、网络问题或任务过多导致的。 解决方案： 设置并发数：通过设置合适的并发数，可以启动多任务并行运行，从而提高作业的处理能力。
创建SQL作业的API执行超过时间限制，运行超时报错 问题现象 DLI上调用“提交SQL作业”API运行超时，报如下错误信息： There are currently no resources tracked in the state, so there is nothing to
跨源访问MRS HBase，连接超时，日志未打印错误怎么办？ 用户在跨源连接中没有添加集群主机信息，导致KRB认证失败，故连接超时，日志也未打印错误。 建议您重新配置主机信息后再重试访问MRS HBase。 在“增强型跨源”页面，单击该连接“操作”列中的“修改主机信息”，在弹出的对话框中，填写主机信息。
Jobmanager与Taskmanager心跳超时，导致Flink作业异常怎么办？ 问题现象 Jobmanager与Taskmanager心跳超时，导致Flink作业异常。 图1 异常信息 根因分析 检查网络是否发生闪断，分析集群负载是否很高。 如果频繁出现Full GC, 建议排查代码，确认是否有内存泄漏。
在default队列执行DLI SQL失败，提示超时异常怎么办？ 问题现象 使用default队列提交SQL作业，作业运行异常，排查作业日志显示Execution Timeout异常。异常日志参考如下： [ERROR] Execute DLI SQL failed. Please
不配置表示动态导入整表数据，导入的数据需要包含分区列的数据； 如果导入时，配置所有分区信息，则表示导入数据到指定分区，导入的数据不能包含分区列的数据； 如果导入时，配置了部分分区信息，而导入的数据必须包含非指定的分区数据，不能包含指定的分区数据，否则数据导入后，非指定的数据分区字段列会存在null值等异常值。
关联出来数据库服务器地址。 端口 RDS实例的端口。选择数据库服务器后自动自动关联。 数据库名称 当前需要迁移的RDS MySQL数据库名称。当前示例为3中创建的数据库“testrdsdb”。 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限，以及对元数据的读取权限。
数据保护技术 数据存储安全 为了确保您的个人敏感数据（例如用户名、密码、手机号码等）不被未经过认证、授权的实体或者个人获取，DLI对用户数据的存储和传输进行加密保护，以防止个人数据泄露，保证您的个人数据安全。 数据销毁机制 用户删除DLI队列后，存储在集群上的用户个人敏感数据会随之删除。
当前需要迁移的DWS数据库名称。当前示例为DWS集群上创建数据库和表中创建的数据库“testdwsdb”。 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限，以及对元数据的读取权限。 本示例使用创建DWS数据库实例的默认管理员用户“dbadmin”。 密码 对应的DWS数据库用户的密码。
参考《数据湖探索开发指南》。 数据治理中心DataArts Studio 数据治理中心DataArts Studio具有数据全生命周期管理、智能数据管理能力的一站式治理运营平台，支持行业知识库智能化建设，支持大数据存储、大数据计算分析引擎等数据底座，帮助企业快速构建从数据接入到数
CSV格式数据转换为Parquet格式数据。 方案架构 将CSV格式的数据上传到对象存储服务OBS，使用DLI将CSV数据转换为Parquet数据，并将转换后的Parquet数据存储到OBS中。 图1 方案简介 流程指导 使用DLI将CSV数据转换为Parquet数据主要包括以下步骤：
导出数据的类型，目前API支持csv和json格式数据。 database_name 是 String 被导出数据的表所在的数据库名称。 table_name 是 String 被导出数据的表名称。 compress 是 String 导出数据的压缩方法。目前支持gzip、bzip2、deflate压缩方式；若不希望压缩，则输入none。
删除数据库（废弃） 功能介绍 该API用于删除空数据库，默认方式下，若待删除的数据库中存在表，则需先删除其中的所有表。删除表API请参见删除表（废弃）。 当前接口已废弃，不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式： DELETE /v1
db_comment 数据库描述。 property_name 数据库属性名。 property_value 数据库属性值。 注意事项 DATABASE与SCHEMA两者没有区别，可替换使用，建议使用DATABASE。 “default”为内置数据库，不能创建名为“default”的数据库。 示例
特定类型的数据，使得数据可以被有效地查询和分析。数据库是一个框架，表是其实质内容。一个数据库包含一个或者多个表。 · 元数据：元数据（Metadata）是用来定义数据类型的数据。主要是描述数据自身信息，包含源、大小、格式或其它数据特征。数据库字段中，元数据用于诠释数据仓库的内容。
已提交：拉取已提交的数据。 时间范围：拉取时间范围内的数据。 是否持久运行 用户自定义是否永久运行。当前示例选择为：否。 拉取数据超时时间 持续拉取数据多长时间超时，单位分钟。当前示例配置为：15。 等待时间 可选参数，超出等待时间还是无法读取到数据，则不再读取数据，单位秒。当前示例不配置该参数。
Failed 未满足前提条件，服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大，服务器无法处理，因此拒绝请求。为防止客户端的连续请求，服务器可能会关闭连接。如果只是服务器暂时无法处理，则会包含一个Retry-After的响应信息。
上述示例是通过创建表和插入表数据构造迁移示例数据。如果是迁移已有的Hive数据库和表数据，则可以通过以下命令获取Hive的数据库和表信息。 在Hive客户端执行如下命令获取数据库信息 show databases 切换到需要迁移的Hive数据库 use Hive数据库名 显示当前数据库下所有的表信息
偏移量，取值需要大于等于0，默认值为0。 limit 否 Integer 返回的数据条数，取值需要大于等于0，默认返回所有数据。 keyword 否 String 数据库名过滤关键字，模糊匹配，获取数据库名含有该关键字的所有数据库。 tags 否 String 数据库标签。格式为“key=value”，例如： 单标签场景：
是 String 新增数据库名称。 数据库名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。 数据库名称大小写不敏感且不能为空。 输入长度不能超过128个字符。 说明： “default”为内置数据库，不能创建名为“default”的数据库。 description
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
