检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive迁移作业长时间卡顿怎么办？ 问题描述 Hive迁移作业长时间卡顿怎么办？ 解决方案 为避免Hive迁移作业长时间卡顿，可手动停止迁移作业后，通过编辑Hive连接增加如下属性设置： 属性名称：hive.server2.idle.operation.timeout 值：10m 如图所示： 父主题： 数据集成（CDM作业）
Apache Kafka到MRS Kafka参数调优 源端优化 Kafka抽取优化 可通过在源端配置中单击“Kafka源端属性配置”来添加Kafka优化配置。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 properties
配置Redis源端参数 第三方云的Redis服务无法支持作为源端。如果是用户在本地数据中心或ECS上自行搭建的Redis支持作为源端或目的端。 作业中源连接为从本地Redis导出的数据时，源端作业参数如表1所示。 表1 Redis作为源端时的作业参数 参数类型 参数名 说明 取值样例
Studio控制台购买的对应实例规格的CDM集群使用。 数据集成CDM集群可用于如下场景： 用于创建并运行数据迁移作业，提供数据上云和数据入湖的集成能力。 作为在管理中心创建连接时的Agent代理，为DataArts Studio实例和数据源直接提供网络通道。 DataArts Studio实例中已经
username/password,login denied”怎么办？ 可能原因 当前用户未同步至DWS数据源，或者不具备DWS Database Access权限。 解决方案 您可以通过同步用户重新将当前登录用户同步到DWS数据源，然后为其授予DWS Database Access权限，再次进行联通性测试。
前提条件 无。 进入数据密级管理页面 在DataArts Studio控制台首页，选择实例，单击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。 选择“数据安全 > 数据密级”，用户可以在该页面新建、管理和删除分级，也可以调整分级的优先级。 创建分级：单击“数据密
数据库部署在华为云 同Region同租户直接连通网络 同Region不同租户通过对等连接连通网络 同Region不同租户通过企业路由器连通网络 跨Region通过云连接连通网络 父主题： 网络打通
DMS Kafka到OBS参数调优 源端优化 Kafka抽取优化 可通过在源端配置中单击“Kafka源端属性配置”来添加Kafka优化配置。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 properties.fetch.max
数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 在创建CDM表/文件迁移的作业，源连接选择为HBase连接或CloudTable连接时，高级属性的可选参数中可以配置时间区间。 图1 HBase时间区间 起始时间（包含该值），格式为“yyyy-MM-dd
询。 前提条件 数据分类规则已创建，数据分类规则的创建请参见新建数据分类。 数据连接，数据表已创建成功，敏感数据已被数据目录采集。 创建脱敏策略 在DataArts Studio控制台首页，选择实例，单击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。 选择“数据安全
Migration实时集成任务拥有断点续传能力，支持用户通过“暂停 > 恢复”的方式动态加减表、修改任务配置、资源参数等，便于用户根据自身需求调整作业。 前提条件 实时集成作业正在运行中。 操作步骤 暂停运行中的实时集成作业。 方式一： 登录DataArts Studio控制台实例，进行所用空间的数据开发界
为运维人员预留一定的时间处理异常，用户可以为基线设置预警余量，则系统会将承诺时间-预警余量作为触发报警的预警时间，判断任务能否在预警时间前运行成功。 设置基线承诺时间和预警余量的详细信息请参见基线管理。 如何合理的配置基线承诺时间和预警余量 用户需要根据基线上任务历史一段时间内的
汇总表名称为地区坪效比汇总表。 创建主题详细信息请参见数据架构的主题设计。 创建汇总表 在DataArts Studio控制台首页，选择实例，单击“进入控制台”，选择对应工作空间的“数据架构”模块，进入数据架构页面。 在数据架构控制台，单击左侧导航树中的“维度建模”，然后选择“汇总表”页签。
Administrator、Tenant Administrator用户或者数据安全管理员有权限将敏感同步到数据地图组件。 敏感数据同步前，需要在数据目录组件对数据连接成功进行过元数据采集，详见元数据采集任务。否则会导致同步失败，报错“数据连接不存在”。 约束与限制 当前敏感数据同步仅支持同步到
Studio对接数据源，即为通过管理中心创建数据源的数据连接。DataArts Studio管理中心数据连接与数据集成数据连接相互独立，使用场景各有不同。 管理中心的数据连接用于对接数据湖底座，DataArts Studio基于数据湖底座，提供一站式数据开发、治理和服务等能力。 数据集成的数据连接仅限于在数据集成中使
任务。 约束条件 已完成新建数据连接的操作。 已完成新建数据库的操作。 使用案例 创建SQL脚本 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 创建一个SQL脚本。本案例以MRS SPARK SQL为例。 选择已创建好的数据连接和数据库。 编写SQL脚本，从源表
空间角色列表，从获取工作空间用户信息列表中获取。 表4 ApigIamUserDto 参数 是否必选 参数类型 描述 user_id 否 String 用户id，从获取工作空间用户信息列表中获取。 user_name 否 String 用户名，从获取工作空间用户信息列表中获取。 domain_id
Service，简称CTS）为用户提供了云账户下资源的操作记录，可以帮您记录相关的操作事件，便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建数据连接 dataWarehouse createDataWarehouse 编辑数据连接 dataWarehouse
文件。 图4 选择JSON文件 JSON文件上传成功后，单击“设置密码”，配置数据连接的密码或SK。 图5 进入设置密码 在设置密码弹窗中，依次输入各数据连接的密码或SK，完成后单击确认，回到导入作业界面。 图6 设置密码 在导入作业界面，单击确认，开始导入。 图7 开始导入 导
到MRS集群。 数据连接 无需选择，自动根据选择的集群匹配数据连接。 *kafka数据连接 选择在前提条件中已创建的MRS Kafka类型数据连接。注意，Kafka应为第三方平台发布消息所在的Kafka，Kafka数据连接中的账户要具备kafkaadmin用户组的权限。 *topic主题
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
