检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
您按照业务情况规划多个Agent与MRS安全集群一一映射。 CDM集群作为管理中心数据连接Agent时，单集群的并发活动线程最大为200。即当多个数据连接共用同一Agent时，通过这些数据连接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200，超出的任务
1000002 1.0 示例四 在解析JSON文件的时候搭配转换器。在示例二前提下，想要把hits.max_score字段附加到所有记录中，即以如下格式写入到数据库中： 表5 示例 ID SourceName SourceBooks MaxScore 650612 tom ["book1"
名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 obs_link OBS终端节点 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同。您可以通过以下方式获取OBS桶的Endpoint信息： OBS桶的Endpoint，可
1000002 1.0 示例四 在解析JSON文件的时候搭配转换器。在示例二前提下，想要把hits.max_score字段附加到所有记录中，即以如下格式写入到数据库中： 表5 示例 ID SourceName SourceBooks MaxScore 650612 tom ["book1"
搜索：Elasticsearch，云搜索服务（CSS） MongoDB建议使用的版本：4.2。 用户需要具备DLI数据源所有字段的“查询表”权限，即SELECT权限。 MRS ClickHouse 数据仓库：MRS ClickHouse，数据湖探索（DLI） MRS ClickHouse建议使用的版本：21
达式的结果为真则触发质量告警，结果为假则不触发质量告警。 在告警条件表达式中，告警参数以${1}、${2}、${3}等变量名称表示，变量名即代表所指定的质量规则的告警参数，变量$1代表第一个告警参数，$2代表第二个告警参数，以此类推。在DataArts Studio控制台左上角的
Boolean 是否为当前版本，只读。 create_time String 创建时间，只读，格式遵循RFC3339，精确到秒，UTC时区，即yyyy-mm-ddTHH:MM:SSZ，如1970-01-01T00:00:00Z。 create_by String 创建人，只读。 状态码：400
公测中：云搜索服务（CSS），表格存储服务（CloudTable） MongoDB建议使用的版本：4.2。 用户需要具备DLI数据源所有字段的“查询表”权限，即SELECT权限。 MRS ClickHouse 数据仓库：MRS ClickHouse，数据湖探索（DLI） MRS ClickHouse建议使用的版本：21
创建时间，只读，格式遵循RFC3339，精确到秒，UTC时区，即yyyy-mm-ddTHH:MM:SSZ，如1970-01-01T00:00:00Z。 update_time String 更新时间，只读，格式遵循RFC3339，精确到秒，UTC时区，即yyyy-mm-ddTHH:MM:SSZ，如
本示例选择MapReduce服务（MRS）的Hive组件作为DataArts Studio平台的数据底座。您需要先创建一个MRS安全集群（即开启“Kerberos认证”的MRS集群，安全性更强），具体操作请参见创建集群。 为确保MRS集群与DataArts Studio实例网络互通，MRS集群需满足如下要求：
主题首次同步名称冲突时，会将普通目录修改为主题目录属性，带上主题层级如、等进行展示。 主题修改后再次同步名称冲突时，会出现同步失败的情况。 不支持变更自动同步。即数据架构处的主题或主题层级变更并发布后，需要手动再次单击才能同步到主题目录。 特殊的，数据架构处的主题或主题层级删除后，手动同步后目录不会删
名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 obs_link OBS终端节点 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同。您可以通过以下方式获取OBS桶的Endpoint信息： OBS桶的Endpoint，可
algorithm_parameters 否 String 参数。 failure_policy 否 String 失败策略。 枚举值： SKIP：跳过, 即不做处理 INTERRUPT_AND_EXCEPTION：中断并抛出异常 SET_NULL：置空 DEFAULT_VALUE：默认值 表5 DatasourceConfig
产品上线后不推荐使用该选项。 数据表不区分大小写：对于选中的连接类型，在发布相应类型的表时，同步技术资产时名称将不区分大小写，找到相同的即认为已存在。 物理表同步业务资产：在开启了“同步业务资产”且没有创建逻辑实体的前提下，为了避免物理表发布会覆盖同名逻辑表的情况发生，可主动关
在“主题设计”模块生效。 图4 配置主题层级 在数据架构控制台，单击左侧菜单栏的“主题设计”，进入相应页面后，单击“新建”创建L1层主题，即主题域分组。 图5 新建L1层主题 在弹出窗口中，按图5所示填写参数，然后单击“确定”完成主题域分组的创建。 主题域分组创建完成后，您需要勾
单击“数据标准稽核”，进行数据标准稽核。 操作 相关操作按钮。 （可选）在“关系”页面，单击“新建”新建关系。 关系用于两个父、子表（有时也称为主、从表）之间的主外键关联关系，即描述表与表是以何种形态关联在一起，或者描述一个表本身的行为会对另外一个表产生何种影响。数据模型内表之间的关系尤为重要，必须要对其准确定义。否
Studio。 数据源准备 本示例演示数据来自：https://grouplens.org/datasets/movielens/100k/，即1000名用户对1700部电影的100,000个评分数据。获取链接中的zip数据包并解压，其中的“u.item”和“u.data”文件分别为电影信息和评分信息。
Boolean 是否为当前版本，只读。 create_time String 创建时间，只读，格式遵循RFC3339，精确到秒，UTC时区，即yyyy-mm-ddTHH:MM:SSZ，如1970-01-01T00:00:00Z。 create_by String 创建人，只读。 状态码：400
枚举值： HASH: 对指定的列进行Hash，通过映射，把数据分布到指定DN REPLICATION: 表的每一行存在所有数据节点（DN）中，即每个数据节点都有完整的表数据 distribute_column 否 String DISTRIBUTE BY HASH column. compression
Hive数据连接 创建数据表 本例中为了方便演示，我们需要通过数据集成将CSV格式的样例数据导入到MySQL数据库中，之后MySQL数据库即作为案例场景中的原始数据源端。因此在数据导入中，需要在MySQL数据库中预先创建原始数据表。 正式业务流程中，MySQL数据库源端数据需要导
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
