|
Post by account_disabled on Dec 24, 2023 6:02:04 GMT -5
而从第二个时代使用数据湖带来的种种困难来看,这就是向云数据湖或云上数据湖发展的根源。可以支持使用 以及数据仓库和数据湖之间的实时数据存储和集成。 我们需要实时或者近实时的处理数据,因为目前传入的数据都是流数据,传统的数据结构格式无法处理,这就是架构的由来。Kappa来看看所有类型的数据 它以流的形式输入,不会阻止批处理,从而可以使用数据湖中的原始数据进行实时处理并进行分析。 Kappa分为2层: 1>>速度层:流入的数据层。在这一层我们可以编写各种程序(与Lambda等Architect不同,,,,朋友 让我们尝试阅读更多内容。尼克没有写这篇文章。会太长了2>> Serving 层是用来存储Speed 层处理数据和程序得到的结果的层。 数据架构:从过去到现在的数据结构。 以及应该知道使用的未来 来源: 在云 数 电话号码清单 据湖中收集数据仍然很困难。导致开发下一类数据结构的难度如下:云数据湖的结构仍然非常复杂。因为有很多层,每一层都必须有可以一起使用的工具。 由于工具丰富,很难找到专家来控制系统稳定。那就更难了。而且照顾起来相当困难。 尽管 CI/CD 可以做到,但由于其复杂性,也很难做到。而从第二个时代使用数据湖带来的种种困难来看,这就是向云数据湖或云上数据湖发展的根源。可以支持使用 以及数据仓库和数据湖之间的实时数据存储和集成。 我们需要实时或者近实时的处理数据,因为目前传入的数据都是流数据,传统的数据结构格式无法处理,这就是架构的由来。 Kappa来看看所有类型的数据 它以流的形式输入,不会阻止批处理,从而可以使用数据湖中的原始数据进行实时处理并进行分析。 Kappa分为2层: 1>>速度层:流入的数据层。在这一层我们可以编写各种程序(与Lambda等Architect不同,,,,朋友 让我们尝试阅读更多内容。尼克没有写这篇文章。会太长了 Serving 层是用来存储Speed 层处理数据和程序得到的结果的层。 数据架构:从过去到现在的数据结构。 以及应该知道使用的未来 来源: 在云 数据湖中收集数据仍然很困难。导致开发下一类数据结构的难度如下: 云数据湖的结构仍然非常复杂。因为有很多层,每一层都必须有可以一起使用的工具。 由于工具丰富,很难找到专家来控制系统稳定。那就更难了。而且照顾起来相当困难。 尽管 CI/CD 可以做到,但由于其复杂性,也很难做到。
|
|