检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果需要，可以通过设置 source.monitor-interval 属性来开启目录监控，以便在新文件出现时继续扫描。 键 默认值 类型 描述 source.monitor-interval 无 Duration 设置新文件的监控时间间隔，并且必须设置 > 0 的值。 每个
度。 注意事项 由于Optimize是一项耗时的活动，因此需要根据更好的最终用户查询性能与优化计算时间之间的权衡来确定运行Optimized的频率。 分区表优化需要设置参数spark.sql.forcePartitionPredicatesOnPartitionedTable.enabled为false。
一个业务IP。 参考修改主机信息修改主机信息。 如果MapReduce服务集群存在多个IP，创建跨源连接时填写其中任意一个业务IP即可。 方法二：通过MRS节点的“/etc/hosts”信息获取MRS主机信息 以root用户登录MRS的任意一个主机节点。 执行以下命令获取MRS对应主机节点的hosts信息，复制保存。
Zone）：一个AZ是一个或多个物理数据中心的集合，有独立的风火水电，AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连，以满足用户跨AZ构建高可用性系统的需求。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前，华为云已在全球多个地域开放
如果不指定类型，则默认为“sql”。 description 否 String 队列的描述信息。 cu_count 是 Integer 与队列绑定的最小计算单元个数。设置值当前只支持16，64，256。 charging_mode 否 Integer 队列的收费模式。只能设置为“1”，表示按照CU时收费。
安装dbt-core 使用pip安装建议版本的dbt-core： pip install dbt-core==1.7.9 pip是Python的包管理工具，通常与Python一起安装。 如果尚未安装pip，可以通过Python内置的ensurepip模块安装： python -m
窗口去重 功能描述 窗口去重是一种特殊的去重，它根据指定的多个列来删除重复的行，保留每个窗口和分区键的第一个或最后一个数据。 对于流式查询，与普通去重不同，窗口去重只在窗口的最后返回结果数据，不会产生中间结果。它会清除不需要的中间状态。 因此，窗口去重查询在用户不需要更新结果时，
如果SQL语句中指定了表所在的数据库，则此处选择的数据库无效。 设置 包括设置“参数设置”和“标签”。 参数设置：以“key/value”的形式设置提交SQL作业的配置项。详细内容请参见《数据湖探索SQL语法参考》。 标签：以“key/value”的形式设置SQL作业的标签。 创建数据库和表。 您可以
Parquet：DLI支持读取不压缩、snappy压缩、gzip压缩的parquet数据。 CSV：DLI支持读取不压缩、gzip压缩的csv数据。 ORC：DLI支持读取不压缩、snappy压缩的orc数据。 JSON：DLI支持读取不压缩、gzip压缩的json数据。 Avro：DLI支持读取不压缩的avro数据。
游戏公司不同部门日常通过游戏数据分析平台，分析每日新增日志获取所需指标，通过数据来辅助决策。例如：运营部门通过平台获取新增玩家、活跃玩家、留存率、流失率、付费率等，了解游戏当前状态及后续响应活动措施；投放部门通过平台获取新增玩家、活跃玩家的渠道来源，来决定下一周期重点投放哪些平台。 优势 高效的Spark
该路径下的文件夹须不存在，如请求样例中的“path”文件夹。 compress 否 String 导出数据的压缩格式，目前支持gzip，bzip2和deflate压缩方式； 默认值为none，表示不压缩。 data_type 是 String 导出数据的存储格式，目前API支持csv和json格式。
CREATE TABLE 命令功能 CREATE TABLE命令通过指定带有表属性的字段列表来创建Hudi Table。在使用由DLI提供的元数据服务时仅可创建外表，即需要通过LOCATION指定表路径。 命令格式 CREATE TABLE [ IF NOT EXISTS] [database_name
效的UTF-8数据，函数可能会返回错误的结果。可以使用from_utf8来更正无效的UTF-8数据。 此外，这些函数对Unicode代码点进行运算，而不是对用户可见的字符（或字形群集）进行运算。某些语言将多个代码点组合成单个用户感观字符（这是语言书写系统的基本单位），但是函数会将每个代码点视为单独的单位。
提交DLI Spark SQL作业时，在SQL编辑器界面右上角的”设置”->”参数设置”中可以配置Hudi参数。 提交DLI Spark jar作业时，Hudi参数可以通过Spark datasource API的option来配置。 或者，在提交作业时配置到"Spark参数(--conf)"
tsdb-link-address”参数值格式为https://ip:port。若“tsd.https.enabled”为false，则“connector.tsdb-link-address”参数值格式可以为http://ip:port或者ip:port。 在建立增强型跨源连接时，需要将MRS
被导出数据的表所在的数据库名称。 table_name 是 String 被导出数据的表名称。 compress 是 String 导出数据的压缩方法。目前支持gzip、bzip2、deflate压缩方式；若不希望压缩，则输入none。 queue_name 否 String 指定执行该任务的队列。若不指定队列，将采用default队列执行操作。
用户的PySpark程序依赖了内置算法库未提供的程序库该如何呢？其实PySpark本身就已经考虑到这一点了，那就是基于PyFiles来指定依赖，在DLI Spark作业页面中可以直接选取存放在OBS上的Python第三方程序库（支持zip、egg等）。 图1 Spark作业编辑页面
大CU。 同一队列不同扩缩容策略的时间段区间不能有交集。 弹性资源池队列中的扩缩容策略时间段仅支持整点的时间段设置，并且包含设置的开启时间，不包含设置的结束时间，例如设置时间段00-09，则时间段范围为：[00:00，09:00)。默认的扩缩容策略不支持时间段配置修改。 弹性资源
根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 Flink跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证。
Integer flush前缓存记录的最大值，可以设置为 '0' 来禁用它。 sink.buffer-flush.interval 否 1s Duration flush间隔时间，超过该时间后异步线程将flush数据。可以设置为 '0' 来禁用它。如果想完全异步地处理缓存的flush事件，可以将
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
