检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
中删除了表字段，则无法在数据库中相应的删除表字段。 如果线下数据库支持更新表结构语法，可以在DDL模板配置对应语法，之后更新操作就可以通过DataArts Studio管控；如果线下数据库不支持更新，那只有通过重建这种方式更新。 重建数据表：先删除数据库中已有的表，再重新创建表。
Cause : 将截断字符串或二进制数据。 原因分析 用户OBS中的数据超出了SQL Server数据库的字段长度限制。 解决方案 在SQL Server数据库中建表时，将数据库字段改大，长度不能小于源端OBS中的数据长度。 父主题： 数据集成（CDM作业）
ClickHouse SQL、MRS Hive SQL、MRS Impala SQL、MRS Presto SQL、MRS Spark SQL、RDS SQL、DORIS SQL的算子脚本参数支持参数预览。 表4 作业参数预览 功能 说明 当前时间 仅单次调度才显示。系统默认为当前时间。
名称同步，请参考禁用作业节点名称同步变化禁用该功能。 SQL脚本 是 选择需要执行的脚本。如果脚本未创建，请参考新建脚本和开发SQL脚本先创建和开发脚本。 数据连接 是 默认选择SQL脚本中设置的数据连接，支持修改。 数据库 是 默认选择SQL脚本中设置的数据库，支持修改。 资源队列
#每一行数据按照空格拆分 得到一个个单词 words = lines.flatMap(lambda line:line.split(" "),True) #将每个单词 组装成一个tuple 计数1 pairWords = words.map(lambda word:(word
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
username/password,login denied”怎么办？ 启用细粒度认证后，在数据开发组件选择数据库时报错“Failed to obtain the database”怎么办？ 为什么权限同步到DLI中，会提示权限不够？
通用操作 逆向数据库（关系建模） 逆向数据库（维度建模） 导入导出 关联质量规则 查看表 批量修改主题/目录/流程 管理配置中心 审核中心 父主题： 数据架构
单击“保存”，对设置的配置项进行保存。 禁用作业节点名称同步变化 在作业开发界面，系统默认选择脚本或关联其他云服务的功能时会同步更新节点名称，使之与脚本或功能名称一致。当前支持配置作业节点名称是否同步变更。 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。 单击“默认项设置”，可勾选“禁用作业节点名称同步”的节点。
任务模式。 单任务：单任务作业可以认为是有且只有一个节点的批处理作业，整个作业即为一个脚本节点。当前支持DLI SQL、DWS SQL、RDS SQL、MRS Hive SQL、MRS Spark SQL、DLI Spark、Flink SQL和Flink JAR类型的单任务作业
字段类型映射关系 MySQL与MRS Hudi字段类型映射 PostgreSQL与DWS字段类型映射 父主题： 数据集成（实时作业）
行程记录 > 原始记录”，单击“逆向数据库”，通过逆向数据库，导入原始表。 逆向数据库依赖于数据资产采集，请您确保已对所需逆向的数据库完成数据资产采集。 图25 模型目录 在“逆向数据库”窗口中，配置如下所示参数，然后单击“确定”。在本示例中选择贴源层数据库demo_sdi_db中的原始数据表。
选择需要执行的脚本。如果脚本未创建，请参考新建脚本和开发SQL脚本先创建和开发脚本。 数据连接 是 默认选择SQL脚本中设置的数据连接，支持修改。 数据库 是 默认选择SQL脚本中设置的数据库，支持修改。 MRS资源队列 否 选择已创建好的MRS资源队列。 说明： 需要先在数据安全服务队列权限功能中，配置对应
本例中为了方便演示，我们需要通过数据集成将CSV格式的样例数据导入到MySQL数据库中，之后MySQL数据库即作为案例场景中的原始数据源端。因此在数据导入中，需要在MySQL数据库中预先创建原始数据表。 正式业务流程中，MySQL数据库源端数据需要导入OBS数据库作为点数据集和边数据集，这种到OBS的数据
L、ImpalaSQL、HetuEngineSQL、RDSSQL其中之一时，才支持此参数。 type为DLISQL时，可以通过查看所有数据库接口获取数据库信息。 type为其他类型的时候，需要通过JDBC方式连上集群，查询数据库信息。默认值为空。 queueName 否 String
PostgreSQL到DWS参数调优 源端优化 PostgreSQL抽取优化 暂无优化配置项。 目的端优化 DWS写入优化 可通过在DWS的目的端配置中修改写入相关配置，且可以通过单击高级配置的“查看编辑”按钮，添加高级属性。 图1 添加高级属性 表1 DWS写入优化参数 参数名
若选择SQL语句方式，数据开发模块将无法解析您输入SQL语句中携带的参数。 数据连接 是 默认选择SQL脚本中设置的数据连接，支持修改。 模式 是 默认选择SQL脚本中设置的数据库，支持修改。 脚本参数 否 关联的SQL脚本如果使用了参数，此处显示参数名称，请在参数名称后的输入框配置参数值。参数值支持使用EL表达式。
数据质量操作列表 云审计服务（Cloud Trace Service，简称CTS）为用户提供了云账户下资源的操作记录，可以帮您记录相关的操作事件，便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建目录 Category createCategory
表等），分别在开发和生产环境的数据湖服务中，新建数据库、数据库模式（仅DWS需要）、数据表等。 对于集群化的数据源（例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS），使用两套集群资源，两套环境中的数据库、数据库模式（仅DWS需要）和数据表必须保持同名。 对于
使用包围符 在目的端作业参数中开启“使用包围符”，这样数据库中如果字段包含了字段分隔符，在导出到CSV文件的时候，CDM会使用包围符将该字段括起来，使之作为一个字段的值写入CSV文件。 数据库的数据包含换行符 场景：使用CDM先将MySQL中的某张表（表的某个字段值中包含了换行符\n）导
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
