日本中文字幕第一页,2023天天操,欧美a在线视频

有時很難相信ML之前的世界已經存在。如此多的現代數據分析都建立在ML技術的基礎之上，并且在可預見的將來將繼續這樣做。但是，并非所有人都能從這些巨大的進步中受益，因為使用ML技術主要涉及使用Python，開發代碼和理解許多新技術。尤其是當大數據和分布式系統進入游戲時，事情變得一團糟。

詳解SQL中的機器學習

這是SQL查詢引擎試圖解決的問題。它們使使用簡單但功能強大的SQL命令來使用復雜的分布式系統世界成為可能。dask-sql是一個新的SQL查詢引擎(免責聲明：我是作者)，建立在僅python的Dask分布式庫之上。這個新庫可讓您將Python與SQL和分布式可擴展計算結合起來!(在我的其他一篇文章中了解更多有關它的信息)。

dask-sql的最新版本0.3.0具有對機器學習的實驗性支持，因此今天我們將了解如何使用它。當然，我們將為此使用著名的Iris數據集-數據科學的世界。即使這個特定的數據樣本很小，只需將更多的計算節點添加到群集中，本文中顯示的所有內容都可以輕松擴展到大量數據。

旁注：帶有dask-sql的ML仍處于試驗階段:-)可以隨意嘗試，但請謹慎使用。

先決條件和準備

在本文中，我將假設您(或您的數據工程師)已經設置并運行了dask-sql。有關更多信息，請參考文檔或此博客文章。我還將假設您通過其SQL Server接口連接dask-sql，例如通過諸如Apache Hue之類的BI工具，該工具甚至提供了最新版本對dask-sql的本機支持。

如果您正在使用dask-sql的Python接口，則仍然可以繼續。只需使用以下單元格初始化Jupyter筆記本

from IPython.core.magic import register_line_cell_magic
from dask_sql import Context
# Create a context to store the tables and models
c = Context()
# Small helper function to make our life easier
@register_line_cell_magic
def sql(line, cell=None):
if cell is None:
cell = line
line = None
if not line:
line = {}
return c.sql(cell, return_futures=False, **line)

在以下代碼示例中，在每個SQL命令前加上%% sql，例如

%%sql
SELECT 1 + 1

詳解SQL中的機器學習

加載和準備數據

在這些事情都解決了之后，讓我們開始導入數據。由于dask-sql利用大型的Python和Dask生態系統，您可以從許多不同的位置讀取許多不同格式的數據樣本。在此示例中，我們將以相當標準的CSV格式從Internet提取數據：

CREATE OR REPLACE TABLE iris WITH (
location = 'https://datahub.io/machine-learning/iris/r/iris.csv',
persist = True
)

數據集被加載并存儲為名為“ iris”的表。persist = True使dask-sql將數據緩存在內存中。

現在，檢查數據是否正確加載

DESCRIBE iris

詳解SQL中的機器學習

如您所見，數據類型是自動分配的。我們可以使用以下標準SQL命令顯示數據的前十行：

SELECT * FROM iris LIMIT 10

詳解SQL中的機器學習

鳶尾花數據集的簡要介紹：如上面的輸出所示，數據集描述了鳶尾花及其種類的測量結果。它是機器學習中的標準數據集之一，可以用作許多類型的ML方法的示例。在此示例中，我們將應用無監督的聚類算法。

在開始培訓之前，讓我們首先在每個ML管道中執行另一個重要步驟：特征提取。由于我不是生物學家，因此在此僅以一個非常簡單且幼稚的新功能為例：將萼片長度乘以萼片寬度。還可以使用SQL語句和函數生成更復雜的功能。如果這還不夠，dask-sql允許注冊用Python編寫的用戶定義函數(UDF)。

SELECT
*,
sepallength * petallength AS new_feature
FROM iris
LIMIT 10

詳解SQL中的機器學習

為了讓我們的生活更輕松，讓我們為該增強型表引入一個別名

CREATE OR REPLACE TABLE transformed_data AS (
SELECT
*,
sepallength * petallength AS new_feature
FROM iris
)

我們現在準備應用機器學習!

訓練機器學習模型

機器學習模型的種類繁多，從簡單的模型(如線性回歸)到強大的Boosted Decision Trees，再到最先進的研究模型(如Transformers)。其中許多是在著名的scikit-learn Python軟件包中實現的，因此(在許多其他庫中)可在dask-sql中使用。

在此示例中，我們應用了k-Means聚類算法。簡而言之，它將數據集分組為具有相似特征的行簇。如果一切順利，我們希望它可以將相同物種的花朵聚在一起-而無需我們告訴算法。讓我們看看該算法的性能如何(破壞者：不是很好)。如果您想了解有關與dask-sql兼容的模型及其設置的更多信息，建議您閱讀一下文檔。

因此，讓我們將聚類算法應用于數據!

CREATE OR REPLACE MODEL clustering WITH (
model_class = 'sklearn.cluster.KMeans',
wrap_predict = True,
n_clusters = 3
) AS (
SELECT sepallength, sepalwidth, petallength, petalwidth, new_feature
FROM transformed_data
)

如您所見，我們使用了一個新的SQL構造CREATE MODEL進行訓練，它獲得一些參數來指定要訓練的模型。在我們的例子中，我們從scikit-learn中選擇k-Means算法，并將我們期望的組或簇數設置為三個(因為我們有三個種類)。scikit-learn軟件包中的算法在中等大小的數據上可以很好地工作，如果您需要超出此范圍，請查看dask-ml。

培訓應立即完成(因為總數據集很小)，因此我們可以繼續檢查預測。

檢查性能

SELECT * FROM PREDICT (
MODEL clustering,
SELECT * FROM transformed_data
LIMIT 10
)

詳解SQL中的機器學習

該SQL語句將訓練有素的模型應用于給定的數據，并向其中添加帶有模型的預測目標的新列“目標”。從前十行來看，它看起來不錯(所有“ setosa”都有相同的預測目標)。因此，我們再次引入別名以進行更多計算

CREATE OR REPLACE TABLE iris_results AS (
SELECT class AS label, target AS predicted FROM PREDICT (
MODEL clustering,
SELECT * FROM transformed_data
)
)

為了簡短起見，我們只快速瀏覽一下結果，并檢查物種和預測簇的分布。

SELECT
label, predicted, COUNT(*) AS numbers
FROM iris_results
GROUP BY label, predicted

詳解SQL中的機器學習

一點都不完美，但是幸運的是，這不是關于ML的文章，所以我將跳過優化步驟:-)。您的BI工具可能能夠自動繪制這些數字，并且作為python用戶，您可以使用

df = c.sql("""
SELECT
label, predicted, COUNT(*) AS numbers
FROM iris_results
GROUP BY label, predicted
""", return_futures=False)
dfdf = df.set_index(["label", "predicted"])
df.numbers.unstack(0).plot.bar(ax=plt.gca())

詳解SQL中的機器學習

概要

感謝您關注這篇文章直到最后!我們已經介紹了相當多的材料，所以這里有個簡短的回顧：

SQL查詢引擎很酷，因為您可以使用它們使用具有簡單SQL語法(以及很多魔術)的復雜分布式系統來查詢復雜數據。
dask-sql就是其中之一，它與Python生態系統的交互特別簡單(因為它建立在Dask之上，Dask是可擴展Python應用程序的庫)。
好處之一是可以輕松集成各種Python ML庫，例如scikit-learn包中的k-Means算法，如本博文所示。另一個好處是，一切都可以通過使用SQL來完成!

如果您想了解更多信息，請轉至文檔，然后對數據進行SQL處理。

原文鏈接：https://towardsdatascience.com/machine-learning-in-sql-it-actually-works-56e8d91fc273