在Vertica 8.1中，Vertica推出了一套受欢迎的机器学习算法，包括线性回归，逻辑回归，Kmeans，朴素贝叶斯和SVM。 基于我们最近的基准测试，它们比Apache Spark上的MLlib运行速度更快。 下图显示了Vertica 8.1.0和Spark 2.1.0之间的性能差异（轴上标记的数字为对数刻度）。

Vertica机器学习可以沿着样本大小，特征数量和群集大小进行扩展。 最重要的是，不需要下采样。 Vertica机器学习可以处理的数据的大小仅限于Vertica可以存储的数据的大小。 这样的成就并不巧合。 我们经历了许多迭代，以设计一个平衡的架构来利用Vertica强大的SQL引擎及其最先进的分布式计算框架。

将机器学习能力整合到RDBMS中的价值早已得到认可。在数据库中运行机器学习算法，数据生命周期，最大限度地减少数据移动，大大简化了机器学习工作流程。大多数RDBMS供应商都尝试了不同的方法来整合机器学习。传统的数据库供应商在其集中式系统中开发了机器学习功能MADlib尝试在SQL引擎之上运行机器学习。然而，这些努力在可扩展性方面遇到了类似的挑战。最近，内存分布式系统已成为大数据分析的流行平台，包括机器学习。这些平台（如Apache Spark）仅用作计算引擎，而通过与其他系统（如Hadoop）集成提供持久数据存储。

Vertica的目标是提供两个：可扩展的数据库，也支持可扩展的机器学习。 Vertica机器学习的设计利用Vertica的分布式平台，采用内存处理，并且与SQL引擎优雅地共存。以下文章介绍了设计的关键技术。

Master/Worker 架构

如下图所示，Vertica机器学习利用Vertica的分布式基础架构，并采用Master/Worker架构。 Master能够在任何节点上运行，它控制算法的高级工作流程。 它设置问题，并指示每个Worker使用Vertica的用户定义函数（UDxs）基于本地数据进行迭代学习。 当Master确定算法已经收敛时，它会整合来自每个节点的所有学习并输出模型。

Vertica中的数据是分布式的，机器学习算法利用分布并对节点本地数据进行大量计算，以最小化跨节点数据移动。

In-Memory处理

Vertica采用MPP架构构建。 其执行引擎对于像SQL查询这样的一次通过算法具有高度可扩展性。 然而，机器学习算法往往是迭代的，这意味着我们先前知道我们可以利用缓存来防止从磁盘重复读取。 因此，Vertica已经引入了内存块，以最适合于算法的格式来缓存训练数据。 内存块也用于存储需要从迭代传递到迭代的中间数据。 用户可以控制通过资源管理器为内存块保留多少内存，而不能适应内存或超过其资源预算的数据会自动溢出到磁盘。 即使在资源有限的系统上，这也允许机器学习查询运行。

优化并行性

机器学习算法大部分时间都是CPU限制的。 为了提高算法的速度，重要的是并行化计算。 机器学习算法依靠Vertica的内置机制来确定查询并行性，以确保我们的查询是有效的，而不会过度侵犯系统中其他查询的资源。 这样，Vertica可以在多用户环境中，在并发查询（包括机器学习查询）之间智能平衡资源。

分布式模型存储

机器学习模型以文件形式存储在Vertica自己的分布式文件系统（DFS）中。 模型以Vertica的原生格式表示，用于快速访问。 随着时间的推移，可能会积累大量的模型。 为了方便管理模型，模型将创建为原生Vertica对象，它们支持与表相同级别的访问控制以及所熟悉的SQL语法来列出，更改和删除它们。

最先进的分布式机器学习算法

研究人员和开发人员不断改进现有的分布式机器学习算法并开发新的算法。对于我们引入的每个算法，我们研究了行业的最新进展，并将其实施量化到Vertica的基础设施。由于Vertica的列存储，Projection和数据压缩，分析功能（如COUNT，AVG，MIN / MAX）非常高效。它们已经成为许多数据准备功能的基石，如归一化和缺失值插补。对于某些功能，如百分位数和计数不同，在计算上本质上是昂贵的，approximate版本被开发以加速它们。

上述设计方法使Vertica机器学习具有可扩展性和快速性。如果您还没有尝试过Vertica机器学习，那么很容易开始。默认情况下，机器学习内置于Vertica。不需要安装或配置。您可以在Vertica在线文档中阅读有关Vertica机器学习的更多信息。

号外：喜欢这篇文档，请关注，会有更多更精彩内容奉献！