检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在左侧导航栏选择“supervisor > 自定义”，添加一个变量supervisor.run.worker.as.user=false。 保存配置，勾选“重新启动受影响的服务或实例。”并单击“确定”重启服务。 重新提交拓扑。 后台节点切为omm用户执行jps命令即可查看worker的pid。 执行jstack pid，即可查看jstack信息。
为源集群与目标集群之间建立云专线，打通线下集群出口网关与线上VPC之间的网络，然后参考同Region执行Distcp进行复制。 数据快递服务（DES） 对于TB或PB级数据上云的场景，华为云提供数据快递服务 DES。将线下集群数据及已导出的元数据复制到DES盒子，快递服务将数据递送到华为云机房，然后通过云数据迁移
如果当前租户是一个子租户，新路径将在指定的目录下创建。 完整的HDFS存储目录最多包含1023个字符。HDFS目录名称包含数字、大小写字母、空格和下划线。空格只能在HDFS目录名称的中间使用。 文件\目录数上限：填写文件和目录数量配额。该参数为可选参数。 文件数阈值配置 （%）：只有设置
String, stayTime: Int) def main(args: Array[String]) { //配置Spark应用名称 val spark = SparkSession .builder() .appName("FemaleInfo")
String, stayTime: Int) def main(args: Array[String]) { //配置Spark应用名称 val spark = SparkSession .builder() .appName("FemaleInfo")
级配置。 可针对不同Topic可靠性要求对Topic进行单独配置。以root用户登录Kafka客户端节点，在客户端安装目录下配置Topic名称为test的可靠性参数命令： cd Kafka/kafka/bin kafka-configs.sh --bootstrap-server
入新的文件组，或设置为更高的值以确保新数据被“填充”到现有小的文件组中，直到达到指定大小为止，但其会增加摄取延迟。 为能够支持快速摄取的同时不影响查询性能，引入了Clustering服务来重写数据以优化Hudi数据湖文件的布局。 Clustering服务可以异步或同步运行，Clu
日志级别 Guardian提供了如下表2所示的日志级别。 日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG，程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。 表2 日志级别 级别 描述 ERROR ERROR表示系统运行的错误信息。
MemArtsCC提供了如下表2所示的日志级别。 日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG，程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。 表2 日志级别 级别 描述 ERROR ERROR表示系统运行的错误信息。
将各服务端节点的“spark-examples_2.10-1.5.1.jar”包删除。 在客户端“spark-defaults.conf”配置文件中，修改或增加配置选项“spark.driver.userClassPathFirst = true”。 父主题： Spark应用开发常见问题
%-5p [%t] %c{2}: %m%n HBase双读操作相关配置项说明 表1 “hbase-dual.xml”文件配置项介绍 配置项名称 配置项说明 默认值 级别 hbase.dualclient.active.cluster.configuration.path 主集群HBase客户端配置目录
bytes，使得不同Broker上的Partition的Replica可以同步到全部消息。 保存配置，查看集群是否存在配置过期的服务，如果存在，需重启对应服务或角色实例使配置生效。 修改消费者业务应用中fetch.message.max.bytes，使得fetch.message.max.bytes的值大于等于message
@volatile private var endTime: Long = 0L @volatile private var numRecs: Long = 0L override def onQueryStarted(event: StreamingQueryListener
@volatile private var endTime: Long = 0L @volatile private var numRecs: Long = 0L override def onQueryStarted(event: StreamingQueryListener
您可以在集群详情页选择“引导操作” 页签查看引导操作的执行结果。 查看执行结果 登录MRS管理控制台。 选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 在集群详情页面选择“引导操作”页签。系统显示创建集群时所添加的引导操作信息。 图1 引导操作信息 可以通过选择右上角
例如HDFS/OBS目录不支持特殊符号等。 Loader宏定义 目前Loader默认支持以下时间宏定义： 表1 Loader常用宏定义 名称 替换后效果 说明 @{dateformat("yyyy-MM-dd")}@ 2016-05-17 当前日期。 @{dateformat("yyyy-MM-dd
例如HDFS/OBS目录不支持特殊符号等。 Loader宏定义 目前Loader默认支持以下时间宏定义： 表1 Loader常用宏定义 名称 替换后效果 说明 @{dateformat("yyyy-MM-dd")}@ 2016-05-17 当前日期。 @{dateformat("yyyy-MM-dd
filestream.coprocessor.FileStreamMasterObserver”。 单击“保存配置”，在弹出窗口中勾选“重新启动受影响的服务或实例。”选项，然后单击“是”，重启HBase服务。 父主题： HBase应用开发常见问题
入SparkUI页面。 History Server页面，用于展示已经完成的和未完成的Spark应用的运行情况。 页面包括了应用ID、应用名称、开始时间、结束时间、执行时间、所属用户等信息。单击应用ID，页面将跳转到该应用的SparkUI页面。 查看Spark日志获取应用运行情况。
Flink流式读Hudi表规则 Flink流式读Hudi表参数规范如下所示： 表1 Flink流式读Hudi表参数规范 参数名称 是否必填 参数描述 示例 Connector 必填 读取表类型。 hudi Path 必填 表存储的路径。 根据实际情况填写 table.type 必填
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
