检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在数据库属性标签中可以获取到端口信息。 例如8000，默认值为空。 userName 是 String 数据库的用户名，创建DWS集群的时输入的用户名。 password 是 String 数据库的访问密码，创建DWS集群的时候输入的密码。 sslEnable 是 boolean 是否使用ssl连接。 kmsKey
您可以在字段映射界面使用DateUtils.format(${timestamp()},"yyyy-MM-dd HH:mm:ss")表达式获取当前时间，更多表达式设置方式可以参考表达式转换。 父主题： 数据集成（CDM作业）
配置不生效。 如果设置为保持不变，则当前作业保持原来的失败策略。 责任人 设置所选作业的责任人，只能从当前工作空间中的用户选择。 如果设置为保持不变，则各作业保持原来的责任人。 周期作业实例并发数 设置所选作业并行处理的数量。 如果设置为保持不变，则保持原来的周期作业实例并发数。
工作空间内的API配额已满，无法新建API怎么解决？ DataArts Studio实例下数据服务专享版的API总分配配额默认为5000，如果工作空间内的API配额未达此配额，则您可以为当前工作空间分配更多已分配配额。 登录DataArts Studio管理控制台。 在旧版首页的“空间
问题描述 Hive迁移作业长时间卡顿怎么办？ 解决方案 为避免Hive迁移作业长时间卡顿，可手动停止迁移作业后，通过编辑Hive连接增加如下属性设置： 属性名称：hive.server2.idle.operation.timeout 值：10m 如图所示： 父主题： 数据集成（CDM作业）
Manager的用户名和密码。从HDFS导出目录时，如果需要创建快照，这里配置的用户需要HDFS系统的管理员权限。 如果要创建MRS安全集群的数据连接，不能使用admin用户。因为admin用户是默认的管理页面用户，这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户
只有数据开发作业配置了周期调度，才支持使用补数据功能。 使用案例 案例场景 在某企业的产品数据表中，有一个记录产品销售额的源数据表A，现在需要把产品销售额的历史数据导入的目的表B里面，需要您配置补数据作业的相关操作。 需要导入的列表情况如表1所示。 表1 需要导入的列表情况 源数据表名 目的表名 A B 配置方法
只有数据开发作业配置了周期调度，才支持使用补数据功能。 使用案例 案例场景 在某企业的产品数据表中，有一个记录产品销售额的源数据表A，现在需要把产品销售额的历史数据导入的目的表B里面，需要您配置补数据作业的相关操作。 需要导入的列表情况如表1所示。 表1 需要导入的列表情况 源数据表名 目的表名 A B 配置方法
BUCKET表时需要设置Bucket桶数，桶数设置关系到表的性能，需要格外引起注意。 非分区表桶数 = MAX（单表数据量大小（G）/2G*2，再向上取整，4）。 分区表桶数 = MAX（单分区数据量大小（G）/2G*2，再后向上取整，1）。 其中，要注意的是： 需要使用的是表的总数据大小，而不是压缩以后的文件大小。
端所使用的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考下表进行赋权。 表2 数据库账号权限 类型名称 权限要求 源数据库连接账号 数据库的CONNECT权限，模式的USAGE权限，表的SELECT权限，序列的SELEC
SQL和DLI Spark三个作业算子。 只有运行在弹性资源池上的作业支持设置作业优先级。 弹性资源池上的SQL作业支持作业优先级。 Spark 2.4.5及以上版本的作业支持设置作业优先级。 Flink 1.12及以上版本的作业支持设置作业优先级。 父主题： 基线运维
数据在json中的位置，默认为根路径，不填则取默认。 student 数据总数 数据总数，支持填写固定值，也支持从接口中获取。 固定值，例如：100000。 支持从返回的结果中，获取数据总量。例如：page.pageCount。 说明： 如果接口不是分页接口，将数据总数的值设置为小于或者
对于集群化的数据源（例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS等），DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务，在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务，且两套数据湖服务的版本、规
特定分页数据，您可以修改如下参数设置分页，其中pageSize表示分页后的页面大小，pageNum表示页码。 图4 分页参数设置 自定义分页的脚本/MyBatis方式API是在创建API时将分页逻辑写到取数SQL中，因此不支持在调用时修改分页设置。 （可选）排序配置：默认情况下，
连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 sql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”，可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同，请根据具体情况配置。例如：
企业数字化转型面临的挑战 企业在进行数据管理时，通常会遇到下列挑战。 数据治理的挑战 缺乏企业数据体系标准和数据规范定义的方法论，数据语言不统一。 缺乏面向普通业务人员的高效、准确的数据搜索工具，数据找不到。 缺乏技术元数据与业务元数据的关联，数据读不懂。 缺乏数据的质量管控和评估手段，数据不可信。
示。 表1 DLI作为源端时的作业参数 参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用，您需要在DLI中新建SQL队列。 cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。 car_detail
请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数，默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据，需要带上该消息头。 响应参数 无 请求示例 POST /v1/b384b9e9ab9b4ee8
镜像中，从而增强作业的功能、性能。关于自定义镜像的更多详情，请参见自定义镜像。 CUs 是 CUs为DLI计费单位，一个CU是1核4G的资源配置。 管理节点CU数量 是 设置管理单元的CU数，支持设置1~4个CU数，默认值为1个CU。 并发数 是 并发数是指同时运行Flink SQL作业的任务数。
创建CDM迁移作业时，支持设置该作业的抽取并发数。 该参数设置为适当的值可以有效提升迁移速度，过小则会限制迁移速度，过大则会导致任务过载、迁移失败。 迁移的目的端为文件时，CDM不支持多并发，此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取，超过1MB的建议单线程抽取数据。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
