检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLMRequestRecord getApisError 查询支持的数据源类型 DLMDataSourceType getDatasources 查询数据连接 DLMDataSourceConnection getDatasourceConnections 查询数据库 DLMDataSourceDatabase
的数据库与运行实时同步任务的实时计算资源组之间网络连通，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。 数据库部署在本地IDC 数据库部署在其他云 数据库部署在华为云 父主题： 数据集成（实时作业）
配置MRS ClickHouse目的端参数 作业中目的连接为MRS ClickHouse连接时，目的端作业参数如表1所示。 当作业源端为MRS ClickHouse、DWS及Hive时： 若int及float类型字段为null时，创建MRS ClickHouse表格时字段类型需设
续开发作业。新建或导入作业后默认被当前用户锁定，详情参见编辑锁定功能。 开发SQL脚本 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。
作，形成数据质量精细化管控文化。根据数据治理领导组的愿景和长期目标，建立和管理数据治理流程、阶段目标和计划，设计和维护数据治理方法、总则、工具和平台，协助各数据领域工作组实施数据治理工作，对整体数据治理工作进行度量和汇报，并对跨领域的数据治理问题和争议进行解决和决策。 各领域数据
值，培育数据要素市场。 DSMM标准以组织的数据为中心，围绕数据的采集、传输、存储、处理、交换、销毁全生命周期，从组织建设、制度流程、技术工具、人员能力4个能力维度，按照1-5级成熟度，评价组织的数据安全能力。 图1 数据安全能力成熟度模型 父主题： 数据安全能力成熟度模型DSMM
要求。 随着业务的不断发展，您可能进行了更细致的工作空间划分。这种情况下，您可以参考本文档，将原有工作空间的数据（包含管理中心数据连接、数据集成连接和作业、数据架构表、数据开发脚本、数据开发作业、数据质量作业等），搬迁到新建的工作空间中。 如何授权其他用户使用DataArts Studio
Shell节点运行的输出结果不能大于30M，大于30M会报错。 主机连接 是 选择执行Shell脚本的主机。 须知： Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请
我们需要通过SQL脚本在DLI中新建OBS表来存放数据表，然后再构建一个SQL脚本来统计告警信息。 在DataArts Studio管理中心模块创建一个到DLI的连接，数据连接名称为“dli”。 进入数据开发模块，在DLI中创建一个数据库，用于存放数据表，数据库名称为“dlitest”。 创建一个DLI SQ
split(StringUtil.split(Job.getNodeOutput("count95"),"]")[0],"[")[0],"\\"")[0]} 配置方法 登录DataArts Studio控制台，找到所需要的DataArts Studio实例，单击实例卡片上的“进入控制台”，进入概览页面。 选择
创建DLI连接 单击CDM集群后的“作业管理”，进入作业管理界面，再选择“连接管理 > 新建连接”，进入选择连接器类型的界面，如图1所示。 图1 选择连接器类型 连接器类型选择“数据湖探索（DLI）”后单击“下一步”，配置DLI连接参数，如图2所示。 名称：用户自定义连接名称，例如“dlilink”。
解析响应消息体中的流 导出作业和导出连接的接口响应消息是一个流，需要转化为一个文件。 您可以参考下面的样例代码： String EXPORT_JOB_URL = "https://{endpoint}/v1/{project_id}/jobs/{job_name}/export";
配置Hive目的端参数 作业中目的连接为Hive连接时，目的端作业参数如表1所示。 表1 Hive作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择写入数据的目标
从数据运营方案（数据中台）的数据集成、数据治理以及数据开放三层结构来看，DataArts Studio和ROMA主要差别在于数据治理方面： ROMA作为连接各个系统的管道，对接入数据没有治理和规划的功能。 DataArts Studio支持对接入数据进行结构分析，重新建模，最终打破数据孤岛，帮助企业建立统一数据模型。
使用基线运维特性时，为了保证任务的优先级生效，需要注意以下要求： MRS约束限制： 在MRS集群场景中，优先级配置只支持使用MRS API模式的数据连接类型，不支持代理模式的数据连接。 DataArts Studio的MRS节点支持优先级功能，如果MRS集群如果是安全模式（Kerberos认证为开启状态），需要增加MRS
已开通相应的云服务。比如，MRS服务。 已新建数据连接，请参见新建数据连接。 MRS API方式连接不支持通过可视化模式管理数据库，建议通过SQL脚本方式进行创建。 删除数据库时，请确保该数据库未被使用，且没有关联数据表。 新建数据库（可视化模式） 参考访问DataArts Studio实例控制台，登录DataArts
like_count desc LIMIT 10 图2 脚本（分析10大用户关注最多的产品） 关键参数说明： 数据连接：步骤4中创建的DLI数据连接。 数据库：步骤6中创建的数据库。 资源队列：可使用提供的默认资源队列“default”。 当前由于DLI的“default
为什么执行完HIVE任务什么结果都不显示？ 可能原因 执行完HIVE任务结果不显示，可能是由于连接方式引起的。 解决方案 清理缓存数据，采用直连方式，数据就可以显示出来了。 父主题： 数据开发
当同一Agent连接多个MRS集群时，如果其中一个MRS集群被删除或状态异常，会影响另外一个正常的MRS集群数据连接。因此建议一个Agent对应一个MRS集群数据连接。 在管理中心创建数据连接 准备好数据湖之后，在DataArts Studio管理中心模块中创建数据连接，以便连接作为数据湖的云服务。
系统建设是数据资产入表的前置条件。企业需要完成基础信息化建设，并对企业数据治理程度和数据管理能力做必要评估。此外还需进行数据资产入表前改造工作，主要涉及数据分类分级工具准备、数据成本计量工具准备、财务系统准备等。 企业在梳理确认好数据资产类型、类别和安全等级后，就可以进入到实施阶段：梳理数据资产构成成本，并对数据资源进行初始计量、后续计量等相关会计处理。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
