机器学习中的 C++：逃离 Python 和 GIL

百变鹏仔 4天前 #Python

文章标签机器

介绍

当 c++olor:#f60; text-decoration:underline;' href="https://www.php.cn/zt/15730.html" target="_blank">python 的全局解释器锁 (gil) 成为需要高并发或原始性能的机器学习应用程序的瓶颈时，c++ 提供了一个引人注目的替代方案。这篇博文探讨了如何利用 c++ 进行机器学习，重点关注性能、并发性以及与 python 的集成。

阅读完整的博客！

了解 gil 瓶颈

在深入研究 c++ 之前，让我们先澄清一下 gil 的影响：

为什么选择 c++ 进行机器学习？

代码示例和实现

设置环境

在我们编码之前，请确保您拥有：

c++ 中的基本线性回归

#include <vector>#include <iostream>#include <cmath>class linearregression {public:    double slope = 0.0, intercept = 0.0;    void fit(const std::vector<double>& x, const std::vector<double>& y) {        if (x.size() != y.size()) throw std::invalid_argument("data mismatch");        double sum_x = 0, sum_y = 0, sum_xy = 0, sum_xx = 0;        for (size_t i = 0; i < x.size(); ++i) {            sum_x += x[i];            sum_y += y[i];            sum_xy += x[i] * y[i];            sum_xx += x[i] * x[i];        }        double denom = (x.size() * sum_xx - sum_x * sum_x);        if (denom == 0) throw std::runtime_error("perfect multicollinearity detected");        slope = (x.size() * sum_xy - sum_x * sum_y) / denom;        intercept = (sum_y - slope * sum_x) / x.size();    }    double predict(double x) const {        return slope * x + intercept;    }};int main() {    linearregression lr;    std::vector<double> x = {1, 2, 3, 4, 5};    std::vector<double> y = {2, 4, 5, 4, 5};    lr.fit(x, y);    std::cout << "slope: " << lr.slope << ", intercept: " << lr.intercept << std::endl;    std::cout << "prediction for x=6: " << lr.predict(6) << std::endl;    return 0;}

使用 openmp 进行并行训练

展示并发性：

#include <omp.h>#include <vector>void parallelfit(const std::vector<double>& x, const std::vector<double>& y,                  double& slope, double& intercept) {    #pragma omp parallel    {        double local_sum_x = 0, local_sum_y = 0, local_sum_xy = 0, local_sum_xx = 0;        #pragma omp for nowait        for (int i = 0; i < x.size(); ++i) {            local_sum_x += x[i];            local_sum_y += y[i];            local_sum_xy += x[i] * y[i];            local_sum_xx += x[i] * x[i];        }        #pragma omp critical        {            slope += local_sum_xy - (local_sum_x * local_sum_y) / x.size();            intercept += local_sum_y - slope * local_sum_x;        }    }    // final calculation for slope and intercept would go here after the parallel region}

使用特征值进行矩阵运算

对于逻辑回归等更复杂的操作：

#include <eigen/dense>#include <iostream>eigen::vectorxd sigmoid(const eigen::vectorxd& z) {    return 1.0 / (1.0 + (-z.array()).exp());}eigen::vectorxd logisticregressionfit(const eigen::matrixxd& x, const eigen::vectorxd& y, int iterations) {    eigen::vectorxd theta = eigen::vectorxd::zero(x.cols());    for (int i = 0; i < iterations; ++i) {        eigen::vectorxd h = sigmoid(x * theta);        eigen::vectorxd gradient = x.transpose() * (h - y);        theta -= gradient;    }    return theta;}int main() {    // example usage with dummy data    eigen::matrixxd x(4, 2);    x << 1, 1,         1, 2,         1, 3,         1, 4;    eigen::vectorxd y(4);    y << 0, 0, 1, 1;    auto theta = logisticregressionfit(x, y, 1000);    std::cout << "theta: " << theta.transpose() << std::endl;    return 0;}

与python集成

对于 python 集成，请考虑使用 pybind11：

#include <pybind11/pybind11.h>#include <pybind11/stl.h>#include "your_ml_class.h"namespace py = pybind11;pybind11_module(ml_module, m) {    py::class_<yourmlclass>(m, "yourmlclass")        .def(py::init<>())        .def("fit", &yourmlclass::fit)        .def("predict", &yourmlclass::predict);}

这允许您从 python 调用 c++ 代码，如下所示：

import ml_modulemodel = ml_module.YourMLClass()model.fit(X_train, y_train)predictions = model.predict(X_test)

挑战与解决方案

结论

c++ 提供了一种绕过 python 的 gil 限制的途径，为性能关键的 ml 应用程序提供了可扩展性。虽然由于其较低级别的性质，它需要更仔细的编码，但速度、控制和并发性方面的好处可能是巨大的。随着 ml 应用程序不断突破界限，c++ 仍然是 ml 工程师工具包中的重要工具，尤其是与 python 结合使用以方便使用时。

进一步探索

感谢您与我一起深入研究！

感谢您花时间与我们一起探索 c++ 在机器学习方面的巨大潜力。我希望这次旅程不仅能够启发您克服 python 的 gil 限制，还能激励您在下一个 ml 项目中尝试使用 c++。您对学习和突破技术极限的奉献精神是推动创新前进的动力。不断尝试，不断学习，最重要的是，不断与社区分享您的见解。在我们下一次深入研究之前，祝您编码愉快！

文章推荐