• <menu id="gyiem"><menu id="gyiem"></menu></menu>
  • <menu id="gyiem"><code id="gyiem"></code></menu>

    機器學習(三) 關聯規則R語言實戰 Apriori

    原創文章,轉載請務必將下面這段話置于文章開頭處。
    本文轉發自技術世界原文鏈接 http://www.luozeyang.com/ml/associationrules/

    關聯規則背景

    關聯規則來源

    上個世紀,美國連鎖超市活爾瑪通過大量的數據分析發現了一個非常有趣的現象:尿布與啤酒這兩種看起來風馬牛不相及的商品銷售數據曲線非常相似,并且尿布與啤酒經常被同時購買,也即購買尿布的顧客一般也同時購買了啤酒。于是超市將尿布與啤酒擺在一起,這一舉措使得尿布和啤酒的銷量大幅增加。

    原來,美國的婦女通常全職在家照顧孩子,并且她們經常會囑咐丈夫在下班回家的路上為孩子買尿布,而丈夫在買尿布的同時又會順手購買自己愛喝的啤酒。

    注: 此案例很精典,切勿盲目模仿案例本身,而應了解其背后原理。它發生在美國,而且是上個世紀,有些東西并不一定適用于現在,更不一定適用于中國。目前國內網購非常普遍,并不一定需要去超市線下購買,而網購主力軍是女性,因此不一定會出現尿布與啤酒同時購買的問題。另外,對于線下銷售,很多超市流行的做法不是把經常同時購買的商品放在一起,而是盡量分開放到不同的地方,這樣顧客為了同時購買不得不穿過其它商品展示區,從而可能購買原來未打算購買的商品。

    但是本案例中背后的機器學習算法——關聯規則,仍然適用于非常多的場景。目前很多電商網站也會根據類似的關聯規則給用戶進行推薦,如比較常見的“購買該商品的客戶還購買過**”。其背后的邏輯在于,某兩種或幾種商品經常被一起購買,它們中間可能存在某種聯系,當某位顧客購買了其中一種商品時,他/她可能也需要另外一種或幾種商品,因此電商網站會將這幾種商呂推薦給客戶。

    什么是關聯規則

    如同上述啤酒與尿布的故事所示,關聯規則是指從一組數據中發現數據項之間的隱藏關系,它是一種典型的無監督學習。

    關聯規則的核心概念

    本節以上述超市購物的場景為例,介紹關聯規則的幾個核心概念

    項目
    一系列事件中的一個事件。對于超市購物而言,即一次購物中的一件商品,如啤酒

    事務
    一起發生的一系列事件。在超市購物場景中,即一次購買行為中包含的所有商品的集合。如 $\{尿布,啤酒,牛奶,面包\}$

    項集
    一個事務中包含的若干個項目的集合,如 $\{尿布,啤酒\}$

    支持度
    項集 $\{A,B\}$ 在全部項集中出現的概率。支持度越高,說明規則 $A \rightarrow B$ 越具代表性。

    頻繁項集
    某個項集的支持度大于設定的閾值(人為根據數據分布和經驗設定),該項集即為頻繁項集。

    假設超市某段時間總共有 5 筆交易。下面數據中,數字代表交易編號,字母代表項目,每行代表一個交易對應的項目集

    1
    2
    3
    4
    5
    1: A B C D
    2: A B
    3: C B
    4: A D
    5: A B D

    對于項集 $\{A,B\}$,其支持度為 $3/5=60\%$ (總共 5 個項集,而包含 $\{A,B\}$ 的有 3 個)。如果閾值為 $50\%$,此時 $\{A,B\}$ 即為頻繁項集。

    置信度
    在先決條件 $A$ 發生的條件下,由關聯規則 $A \rightarrow B$ 推出 $B$ 的概率,即在 $A$ 發生時,$B$ 也發生的概率,即 $P(A|B)$ 。置信度越高,說明該規則越可靠。

    在上例中,頻繁項集 $\{A,B\}$ 的置信度為 $3/4=75\%$ (包含 $\{A,B\}$ 的項集數為 3,包含 $A$ 的項集數為 5)

    滿足最小支持度和最小置信度的規則,即為強關聯規則。

    提升度
    $A$ 發生時 $B$ 也發生的概率,除以 $B$ 發生的概率,即 $P(A|B) / P(B)$ ,它衡量了規則的有效性。

    在上例中,置信度為 $75\%$ ,但是否能說明 $A$ 與 $B$ 之間具有強關聯性呢?提升度為 $75\% / 80\% = 93.75\%$

    從中可以看出,$B$ 的購買率為 $80\%$,而購買 $A$ 的用戶同時購買 $B$ 的概率只有 $75\%$,所以并不能說明 $A \rightarrow B$ 是有效規則,或者說這條規則是沒有價值的,因此不應該如本文開頭處啤酒與尿布的案例中那樣將 $A$ 與 $B$ 一起銷售。

    提升度是一種比較簡單的判斷規則是否有價值的指標。如果提升度為 1,說明二者沒有任何關聯;如果小于 1,說明 $A$ 與 $B$ 在一定程度上是相斥的;如果大于 1,說明 $A$ 與 $B$ 有一定關聯。一般在工程實踐中,當提升度大于 3 時,該規則才被認為是有價值的。

    Apriori算法

    關聯規則中,關鍵
    點是:1)找出頻繁項集;2)合理地設置三種閾值;3)找出強關聯規則

    直接遍歷所有的項目集,并計算其支持度、置信度和提升度,計算量太大,無法應用于工程實踐。

    Apriori算法可用于快速找出頻繁項集。

    Apriori算法原理

    原理一:如果一個項集是頻繁項目集,那它的非空子集也一定是頻繁項目集。

    原理二:如果一個項目集的非空子集不是頻繁項目集,那它也不是頻繁項目集。

    例:如果 $\{A,B,C\}$ 的支持度為 $70\%$,大于閾值 $60\%$,則 $\{A,B,C\}$ 為頻繁項目集。此時 $\{A,B\}$ 的支持度肯定大于等于 $\{A,B,C\}$ 的支持度,也大于閾值 $60\%$,即也是頻繁項目集。反之,若 $\{A,B\}$ 的支持度為 $40\%$,小于閾值 $60\%$,不是頻繁項目集,則 $\{A,B,C\}$ 的支持度小于等于 $40\%$,必定小于閾值 $60\%$,不是頻繁項目集。

    原理三:對于頻繁項目集X,如果 $(X-Y) \rightarrow Y$ 是強關聯規則,則 $(X-Y) \rightarrow Y_{sub}$ 也是強關聯規則。

    原理四:如果 $(X-Y) \rightarrow Y_{sub}$ 不是強關聯規則,則 $(X-Y) \rightarrow Y$ 也不是強關聯規則。

    其中 $Y_{sub}$ 是 $Y$ 的子集。

    這里把包含 $N$ 個項目的頻繁項目集稱為 $N-$ 頻繁項目集。Apriori 的工作過程即是根據 $K-$ 頻繁項目集生成 $(K+1)-$ 頻繁項目集。

    根據數據歸納法,首先要做的是找出1-頻繁項目集。只需遍歷所有事務集合并統計出項目集合中每個元素的支持度,然后根據閾值篩選出 $1-$ 頻繁項目集即可。

    Apriori生成頻繁項集

    有項目集合 $I=\{A,B,C,D,E\}$ ,事務集 $T$ :

    1
    2
    3
    4
    5
    6
    7
    A,B,C
    A,B,D
    A,C,D
    A,B,C,E
    A,C,E
    B,D,E
    A,B,C,D

    設定最小支持度 $support=3/7$,$confidence=5/7$

    直接窮舉所有可能的頻繁項目集,可能的頻繁項目集如下


    Full search

    1-頻繁項目集
    1-頻繁項目集,即

    1
    {A},{B},{C},{D},{E}

    其支持度分別為 $6/7$,$5/7$,$5/7$,$4/7$和$3/7$,均符合支持度要求。

    2-頻繁項目集
    任意取兩個只有最后一個元素不同的 $1-$ 頻繁項目集,求其并集。由于每個 $1-$ 頻繁項目集只有一個元素,故生成的項目集如下:

    1
    2
    3
    4
    {A,B},{A,C},{A,D},{A,E}
    {B,C},{B,D},{B,E}
    {C,D},{C,E}
    {D,E}

    過濾出滿足最小支持度 $3/7$的項目集如下

    1
    {A,B},{A,C},{A,D},{B,C},{B,D}

    此時可以將其它所有 $2-$ 頻繁項目集以及其衍生出的 $3-$ 頻繁項目集, $4-$ 頻繁項目集以及 $5-$ 頻繁項目集全部排除(如下圖中紅色十字所示),該過程即剪枝。剪枝減少了后續的候選項,極大降低了計算量從而大幅度提升了算法性能。


    Apriori prune 2

    3-頻繁項目集
    因為 $\{A,B\}$,$\{A,C\}$,$\{A,D\}$ 除最后一個元素外都相同,故求 $\{A,B\}$ 與 $\{A,C\}$ 的并集得到 $\{A,B,C\}$,求 $\{A,C\}$ 與 $\{A,D\}$ 的并集得到 $\{A,C,D\}$,求 $\{A,B\}$ 與 $\{A,D\}$ 的并集得到 $\{A,B,D\}$。但是由于 $\{A,C,D\}$ 的子集 $\{C,D\}$ 不在 $2-$ 頻繁項目集中,所以需要把 $\{A,C,D\}$ 剔除掉。$\{A,B,C\}$ 與 $\{A,B,D\}$ 的支持度分別為 $3/7$ 與 $2/7$,故根據支持度要求將 $\{A,B,D\}$ 剔除,保留 $\{A,B,C\}$。

    同理,對 $\{B,C\}$ 與 $\{B,D\}$ 求并集得到 $\{B,C,D\}$,其支持度 $1/7$ 不滿足要求。

    因此最終得到 $3-$ 頻繁項目集 $\{A,B,C\}$。

    排除 $\{A,B,D\}$ , $\{A,C,D\}$, $\{B,C,D\}$ 后,相關聯的 $4-$ 頻繁項目集 $\{A,B,C,D\}$ 也被排除,如下圖所示。


    Apriori prune 3

    生成強關聯規則

    窮舉法
    得到頻繁項目集后,可以窮舉所有可能的規則,如下圖所示。然后通過置信度閾值篩選出強關聯規則。


    Apriori prune 4

    Apriori剪枝
    Apriori算法可根據原理三原理四進行剪枝,從而提升算法性能。

    上述步驟得到了3-頻繁項集 $\{A,B,C\}$。先生成 $1-$ 后件(即箭頭后只有一個項目)的關聯規則

    • $\{A,B\} \rightarrow C $ 置信度 $3/4 > 5/7$,是強關聯規則
    • $\{A,C\} \rightarrow B $ 置信度為 $3/5 < 5/7$,不是強關聯規則
    • $\{B,C\} \rightarrow A $ 置信度為 $3/3 > 5/7$,是強關聯規則

    此時可將 $\{A,C\} \rightarrow B $ 排除,并將相應的 $2-$ 后件關聯規則 $\{A\} \rightarrow \{B,C\} $ 與 $\{C\} \rightarrow \{A,B\} $ 排除,如下圖所示。


    Apriori prune 5

    根據原理四,由 $1-$ 后件強關聯規則,生成 $2-$ 后件關聯規則 $\{B\} \rightarrow \{A,C\} $,置信度 $3/5 < 5/7$,不是強關聯規則。

    至此,本例中通過Apriori算法得到強關聯規則 $\{A,B\} \rightarrow C $ 與 $\{B,C\} \rightarrow A $。

    注:這里只演示了從 $3-$ 頻繁項目集中挖掘強關聯規則。實際上同樣還可以從上文中得到的 $2-$ 頻繁項目集中挖掘出更多強關聯規則,這里不過多演示。

    總結

    Aprior原理和實現簡單,相對窮舉法有其優勢,但也有其局限

    • 從單元素項集開始,通過組合滿足最小支持度要求的項集來形成更大的集合
    • 通過上述四條原理,進行剪枝,降低了計算量,從而提升了計算速度
    • 每次增加頻繁項目集的大小,都需要重新掃描整個數據集(計算支持度)
    • 當數據集很大時,頻繁項目集的生成速度會顯著降低
    • 需要頻繁掃描數據集從而從候選項目集中篩選出頻繁項目集,開銷較大

    FP-growth算法

    構建FP樹

    生成交易數據集
    設有交易數據集如下

    1
    2
    3
    4
    5
    6
    1:A,F,H,J,P
    2:F,E,D,W,V,U,C,B
    3:F
    4:A,D,N,O,B
    5:E,A,D,F,Q,C,P
    6:E,F,D,E,Q,B,C,M

    項目過濾及重排序
    與Apriori算法一樣,獲取頻繁項集的第一步是根據支持度閾值獲取 $1-$ 頻繁項目集。不一樣的是,FP-growth 算法在獲取 $1-$ 頻繁項目集的同時,對每條交易只保留 $1-$ 頻繁項目集內的項目,并按其支持度倒排序。

    這里將最小支持度設置為 $3/6$。第一遍掃描數據集后得到過濾與排序后的數據集如下:

    1
    2
    3
    4
    5
    6
    1:F,A
    2:F,D,E,B,C
    3:F
    4:D,B,A
    5:F,D,E,A,C
    6:F,D,E,B,C

    構建FP樹
    TP-growth算法將數據存儲于一種稱為 FP 樹的緊湊數據結構中。FP 代表頻繁模式(Frequent Pattern)。FP 樹與其它樹結構類似,但它通過鏈接(link)來連接相似元素,被連接起來的項目可看成是一個鏈表。

    FP樹的構建過程是以空集作為樹的根節點,將過濾和重排序后的數據集逐條添加到樹中:如果樹中已存在當前元素,則增加待添加元素的值;如果待添加元素不存在,則給樹增加一個分支。

    添加第一條記錄時,直接在根節點下依次添加節點 $ \lt F:1 \gt $, $ \lt A:1 \gt $ 即可。添加第二條記錄時,因為 $\{F,D,E,B,C\}$ 與路徑 $\{F:1,A:1\}$ 有相同前綴 $F$ ,因此將 $F$ 次數加一,然后在節點 $ \lt F:2 \gt $ 下依次添加節點 $ \lt D:1 \gt $, $ \lt E:1 \gt $, $ \lt B:1 \gt $, $ \lt C:1 \gt $。

    第一條記錄與第二條記錄的添加過程如下圖所示。


    Frequent pattern growth 1

    添加第三條記錄 $\{F\}$ 時,由于 $FP$ 樹中已經存在該節點且該節點為根節點的直接子節點,直接將 $F$ 的次數加一即可。

    添加第四條記錄 $\{D,B,A\}$ 時,由于與 $FP$ 樹無共同前綴,因此直接在根節點下依次添加節點 $ \lt D:1 \gt $, $ \lt B:1 \gt $, $ \lt A:1 \gt $。

    第三條記錄與第四條記錄添加過程如下所示


    Frequent pattern growth 2

    添加第五條記錄 $\{F,D,E,A,C\}$ 時,由于與 $FP$ 樹存在共同前綴 $\{F,D,E\}$ 。因此先將其次數分別加一,然后在節點 $ \lt E:1 \gt $ 下依次添加節點 $ \lt A:1 \gt $, $ \lt C:1 \gt $。

    添加第六條記錄 $\{F,D,E,B,C\}$ 時,由于 $FP$ 樹已存在 $\{F,D,E,B,C\}$ ,因此直接將其次數分別加一即可。

    第五條記錄與第六條記錄添加過程如下圖所示。


    Frequent pattern growth 3

    建立頭表
    為了便于對整棵FP樹進行遍歷,可建立一張項目頭表。這張表記錄各 $1-$ 頻繁項的出現次數,并指向該頻繁項在 $FP$ 樹中的節點,如下圖所示。


    Head Table

    從FP樹中挖掘頻繁項目集

    構建好 $FP$ 樹后,即可抽取頻繁項目集,其思路與 Apriori 算法類似——先從 $1-$ 頻繁項目集開始,然后逐步構建更大的頻繁項目集。

    從 $FP$ 樹中抽取頻繁項目集的三個基本步驟如下:

    1. 從 $FP$ 樹中獲得條件模式基(conditional pattern base)
    2. 根據條件模式基構建 $條件FP樹$
    3. 重復 $步驟1$ 與 $步驟2$ ,直到$ 條件FP樹$ 只包含一個項目為止

    抽取條件模式基
    條件模式基(conditaional pattern base)是以所查元素為結尾的路徑集合。這里的每一個路徑稱為一條前綴路徑(prefix path)前綴路徑是介于所查元素與 $FP$ 樹根節點間的所有元素。

    每個 $1-$ 頻繁項目的條件模式基如下所示

    $1-$ 頻繁項目 條件模式基
    F ?:5
    A $\{D,B\}:1$,$\{F,D,E\}:1$,$\{F\}:1$
    D $\{F\}:3$,?:1
    E $\{F,D\}:3$
    B $\{F,D,E\}:2$,$\{D\}:1$
    C $\{F,D,E,B\}:2$,$\{F,D,E,A\}:1$

    構建條件$FP$樹
    對于每個頻繁項目,可以條件模式基作為輸入數據構建一棵 $條件FP樹$ 。

    對于 $C$ ,其條件模式基為 $\{F,D,E,B\}:2$,$\{F,D,E,A\}:1$ 。根據支持度閾值 $3/6$ 可排除掉 $A$ 與 $B$ 。以滿足最小支持度的 $\{F,D,E\}:2$ 與 $\{F,D,E\}:1$ 構建 $條件FP樹$ 如下圖所示。


    Conditaional Frequent Pattern Tree

    遞歸查找頻繁項集
    基于上述步驟中生成的 $FP樹$ 和 $條件FP樹$ ,可通過遞歸查找頻繁項目集。具體過程如下:

    1 初始化一個空列表 $prefix$ 以表示前綴
    2 初始化一個空列表 $freqList$ 存儲查詢到的所有頻繁項目集
    3 對 $Head Table$ 中的每個元素 $ele$,遞歸:
      3.1 記 $ele + prefix$ 為當前頻繁項目集 $newFreqSet$
      3.2 將 $newFreq$ 添加到 $freqList$中
      3.3 生成 $ele$ 的 $條件FP樹$ 及對應的 $Head Table$
      3.4 當 $條件FP樹$ 為空時,退出
      3.5 以 $條件FP樹$ 樹與對應的 $Head Table$ 為輸入遞歸該過程

    對于 $C$ ,遞歸生成頻繁項目集的過程如下圖所示。


    Conditaional Frequent Pattern Tree for C

    上圖中紅色部分即為頻繁項目集。同理可得其它頻繁項目集。

    生成強關聯規則

    得到頻繁項目集后,即可以上述同樣方式得到強關聯規則。

    總結

    $FP-growth$ 算法相對 $Apriori$ 有優化之處,但也有其不足

    • 無論數據集多復雜,只需掃描原始數據集兩遍,速度比 $Apriori$ 算法快
    • 實現比 $Apriori$ 算法復雜

    Apriori算法R語言實戰

    加載數據集

    $R$ 語言中,$arules$ 包提供了 $Apriori$ 算法的實現。

    1
    library(arules)

    將上文Apriori生成頻繁項目集中的數據集存于 $transaction.csv$ 文件。然后使用 $arules$ 包的 $read.transactions$ 方法加載數據集并存于名為 $transactions$ 的稀疏矩陣中,如下

    1
    transactions <- read.transactions("transaction.csv", format="basket", sep=",")

    這里之所以不使用 $data.frame$ 是因為當項目種類太多時 $data.frame$ 中會有大量單元格為 $0$,大量浪費內存。稀疏矩陣只存 $1$,節省內存。

    該方法的使用說明如下

    1
    2
    3
    4
    5
    Usage:
    read.transactions(file, format = c("basket", "single"), sep = "",
    cols = NULL, rm.duplicates = FALSE,
    quote = "\"'", skip = 0,
    encoding = "unknown")

    其中,$format=”basket”$ 適用于每一行代表一條交易記錄( $basket$ 可理解為一個購物籃)的數據集,本例所用數據集即為該類型。$format=”single”$ 適用于每一行只包含一個事務 $ID$ 和一件商品(即一個項目)的數據集,如下所示。

    1
    2
    3
    4
    5
    6
    1,A
    1,B
    1,C
    2,B
    2,D
    3,A

    $rm.duplicates=TRUE$ 代表刪除同一交易(記錄)內的重復商品(項目)。本例所用數據集中每條記錄無重復項目,故無須設置該參數。

    分析數據

    查看數據集信息

    1
    2
    3
    4
    5
    6
    7
    8
    9
    > inspect(transactions)
    items
    [1] {A,B,C}
    [2] {A,B,D}
    [3] {A,C,D}
    [4] {A,B,C,E}
    [5] {A,C,E}
    [6] {B,D,E}
    [7] {A,B,C,D}

    查看數據集統計信息

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    > summary(transactions)

    transactions as itemMatrix in sparse format with
    7 rows (elements/itemsets/transactions) and
    5 columns (items) and a density of 0.6571429

    most frequent items:
    A B C D E (Other)
    6 5 5 4 3 0

    element (itemset/transaction) length distribution:
    sizes
    3 4
    5 2

    Min. 1st Qu. Median Mean 3rd Qu. Max.
    3.000 3.000 3.000 3.286 3.500 4.000

    includes extended item information - examples:
    labels
    1 A
    2 B
    3 C

    從中可看出,總共包含 $7$ 條交易,$5$ 種不同商品。同時可得到出現頻次最高的 $5$ 個項目及其頻次。另外,所有事務中包含 $3$ 件商品的有 $5$ 個,包含 $4$ 件商品的有 $2$ 個。

    接下來,可通過 $itemFrequency$ 方法查看各項目的支持度,如下所示。

    1
    2
    3
    > sort(itemFrequency(transactions), decreasing = T)
    A B C D E
    0.8571429 0.7142857 0.7142857 0.5714286 0.4285714

    挖掘關聯規則

    上面對數據的觀察,其目的是找出合適的支持度閾值與置信度閾值。這里繼續使用 $3/7$ 作為最小支持度, $5/7$ 作為最小置信度。

    1
    rules <- apriori(transactions, parameter = list(support = 3/7, confidence = 5/7, minlen = 2))

    其中 $minlen = 2$ 是指規則至少包含兩個項目,即最少一個前件一個后件,如 $\{A\} \rightarrow B $。結果如下

    1
    2
    3
    4
    5
    6
    7
    8
    9
    > inspect(rules)
    lhs rhs support confidence lift
    [1] {D} => {B} 0.4285714 0.7500000 1.0500000
    [2] {D} => {A} 0.4285714 0.7500000 0.8750000
    [3] {B} => {A} 0.5714286 0.8000000 0.9333333
    [4] {C} => {A} 0.7142857 1.0000000 1.1666667
    [5] {A} => {C} 0.7142857 0.8333333 1.1666667
    [6] {B,C} => {A} 0.4285714 1.0000000 1.1666667
    [7] {A,B} => {C} 0.4285714 0.7500000 1.0500000

    從中可以看出,$Apriori$ 算法以 $3/7$ 為最小支持度,以 $5/7$ 為最小置信度,從本例中總共挖掘出了 $7$ 條強關聯規則。其中 $2$ 條包含 $3$ 個項目,分別為 $\{B,C\} \rightarrow A $ 與 $\{A,B\} \rightarrow C $。該結果與上文中使用 $Apriori$ 算法推算出的結果一致。

    評估關聯規則

    挖掘出的強關聯規則,不一定都有效。因此需要一些方法來評估這些規則的有效性。

    提升度
    第一種方法是使用上文中所述的提升度來度量。本例中通過 $Apriori$ 算法找出的強關聯規則的提升度都小于 $3$,可認為都不是有效規則。

    1
    2
    3
    4
    5
    6
    7
    8
    9
    > inspect(sort(rules, by = "lift"))
    lhs rhs support confidence lift
    [1] {C} => {A} 0.7142857 1.0000000 1.1666667
    [2] {A} => {C} 0.7142857 0.8333333 1.1666667
    [3] {B,C} => {A} 0.4285714 1.0000000 1.1666667
    [4] {D} => {B} 0.4285714 0.7500000 1.0500000
    [5] {A,B} => {C} 0.4285714 0.7500000 1.0500000
    [6] {B} => {A} 0.5714286 0.8000000 0.9333333
    [7] {D} => {A} 0.4285714 0.7500000 0.8750000

    其它度量
    $interestMeasure$ 方法提供了幾十個維度的對規則的度量

    1
    2
    3
    4
    5
    6
    7
    8
    9
    > interestMeasure(rules, c("coverage","fishersExactTest","conviction", "chiSquared"), transactions=transactions)
    coverage fishersExactTest conviction chiSquared
    1 0.5714286 0.7142857 1.1428571 0.05833333
    2 0.5714286 1.0000000 0.5714286 0.87500000
    3 0.7142857 1.0000000 0.7142857 0.46666667
    4 0.7142857 0.2857143 NA 2.91666667
    5 0.8571429 0.2857143 1.7142857 2.91666667
    6 0.4285714 0.5714286 NA 0.87500000
    7 0.5714286 0.7142857 1.1428571 0.05833333

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    > rule_measures <- interestMeasure(rules, c("coverage","fishersExactTest","conviction", "chiSquared"), transactions=transactions)  
    > quality(rules) <- cbind(quality(rules), rule_measures)
    > inspect(sort(rules, by = "fishersExactTest", decreasing = T))

    lhs rhs coverage fishersExactTest conviction chiSquared coverage fishersExactTest conviction chiSquared
    [1] {D} => {A} 0.5714286 1.0000000 0.5714286 0.87500000 0.5714286 1.0000000 0.5714286 0.87500000
    [2] {B} => {A} 0.7142857 1.0000000 0.7142857 0.46666667 0.7142857 1.0000000 0.7142857 0.46666667
    [3] {D} => {B} 0.5714286 0.7142857 1.1428571 0.05833333 0.5714286 0.7142857 1.1428571 0.05833333
    [4] {A,B} => {C} 0.5714286 0.7142857 1.1428571 0.05833333 0.5714286 0.7142857 1.1428571 0.05833333
    [5] {B,C} => {A} 0.4285714 0.5714286 NA 0.87500000 0.4285714 0.5714286 NA 0.87500000
    [6] {C} => {A} 0.7142857 0.2857143 NA 2.91666667 0.7142857 0.2857143 NA 2.91666667
    [7] {A} => {C} 0.8571429 0.2857143 1.7142857 2.91666667 0.8571429 0.2857143 1.7142857 2.91666667

    總結

    • 關聯規則可用于發現項目間的共生關系
    • 支持度與置信度閾值可篩選出強關聯規則

    《機器學習》系列文章

    郭俊 Jason wechat
    歡迎關注作者微信公眾號【大數據架構】
    您的贊賞將支持作者繼續原創分享
    速赢彩app www.vns956.com | P35ss.com | 3522o.vip | www.305015.me | www.ch8911.com | nf6655.com | ggg5701.com | www.q13608.com | www.bjl913.com | 8722hhhh.com | 4444661.com | www.k3410.com | 12562004.com | 6567.com | www.491977.com | www.178389.com | 365vip700.cc | www.v01888.com | 44gg8331.com | 5589w.com | www.56766.com | www.881809.com | 30170077.com | www.00755.com | www.456333.net | 444000hh.com | www.444559.com | www.hy5455.com | 1104001.com | www.19019r.com | www.355246.com | 914904.com | www.792051.com | 0747q.com | www.18735528058.com | www.635799.com | 55797.com | www.b5233.com | www.1368t.cc | vns8351.com | www.yh8283.com | www.39500l.com | 86everpower.com | www.2078n.com | www.u69096.com | www.209713.com | 8977hh.com | www.35252m.com | www.845755.com | mm33.vip | www.68365o.com | www.52072v.com | 56988rr.com | www.93gj.com | 51133jj.com | www.5446oo.com | 78666c.com | www.jsc3888.com | www.bei01.com | hgyz55.com | www.t80288.com | 365225.tw | www.777444f.com | www.75850.cc | feicai0937.com | www.96756.com | 4379c.com | www.55545p.com | 31325i.com | 11018q.com | www.635799.com | 3775vns.com | www.dingxin999.xin | huangma13.com | www.52.cc | www.179237.com | www.033033h.com | www.26163r.com | xpj6620.com | www.a3846.com | js8880.com | www.9679h.com | www.496689.com | www.28758s.com | www.50080d.com | 68228l.com | www.bet63y.com | 463d7.com | www.w456x.com | ly88888883.com | www.t32126.cc | www.701497.com | www.hg748.com | www.88yfa.com | 0747g.com | www.0014y.com | 33115e.com | www.5886mm.com | js89h.vip | www.0600k.cc | 99151q.com | www.00773a.com | 35222.com | www.2tyc.com | 007369.com | www.wns123k.com | 74397777.com | www.452955.com | 3650329.com | www.4102b.com | 00773q.com | www.508048.com | 6403p.com | www.0601.com | 82997.com | www.8839f.com | ww666hg.com | www.57169.cc | www.67797z.com | www.87467.com | www.k88891.com | www.911070.com | www.32666p.com | www.53900a.com | www.591111.com | o2306.com | www.b35yy.com | 3424222.com | www.3775w.com | 8159t.cc | www.8816x.com | 9646o.com | www.68568p.com | 71245.com | www.612110.com | www.365815e.com | 234905.com | www.6776ee.com | 6861y35.com | www.biying940vip.com | 35000.com | www.89599g.com | 9068dd.com | www.16065s.com | 76886j.com | www.hm3555.com | www.365109c.com | www.78700a.com | www.20199aa.com | 5478888.com | www.hg77740.com | 775086.com | www.196029.com | www.292030.com | 5005w.com | www.88qiji.com | 005495.com | 55ww8331.com | www.xpj6238.com | 2306m.com | www.4996jq.com | 5219e.com | www.7qxc.com | www.5555xj.com | 8535.com | www.sjgc5.com | www.tyc163.com | www.580896.com | www.18777s.com | 6423e.com | www.63606b.com | 789.cc | www.hycb8.com | www.ld4488.com | qg0707.com | www.04567v.com | hhhhh333.com | bm1288.cc | www.4521c.com | k4389.com | www.63606i.com | 5659822.com | 0054242.com | www.bet63v.com | ppjj01.com | www.965191.com | www.dafa88181.net | 078mmm.com | www.5854j.cc | www.599123.com | uuu4165.com | www.05czj.com | www.ld4488.com | vip.appdoit.com.cn | www.770309.com | ziz3.com | cao568.com | www.caipiao33.com | 1cp099.com | www.769588.com | www.842211.com | 2247k.com | www.wycp1.com | www.3459t.com | www.187517.com | www.6696877.com | bet28b.com | www.zfcp9.com | www.064808.com | f2825.com | www.ya190.com | www.88184.com | 500000596.com | dingji0088.com | www.607995.com | www.56011u.com | www.88993m.com | 44kk8331.com | 77885156.com | www.091899.com | www.yh07.com | www.ovfd2.com | 5414.com | www.4261144.com | 22098n.com | 7200126.com | 3568yy.com | 4165i.com | 88993r.com | 33111122.com | cc1915.com | 3534w.com | 2142244.com | fh7.com | 6662012.com | qq365f.com | 55797i.com | qq365.com | 0600n.cc | 7979xpj.com | 9420k.com | www.422442.com | www.808xpj.com | www.87680n.com | www.2225156.com | www.158msc.com | www.277577.com | www.d6969.com | www.rycp162.com | www.4058x.com | www.79095j.com | www.196606.com | www.6678565.com | www.566493.com | www.60123c.com | www.2109n.com | www.610560.com | www.535666e.com | 02489.com | 815077.com | 8449yht.com | 3513001.com | 5309o.com | 6830dd.com | www.580583.com | www.q22365.com | www.729666.com | www.566846.com | www.7415uu.com | www.12136o.com | www.91233q.com | www.016ac.com | www.401267.com | 6002400.com | 8884001.com | 61789m.com | y2537.com | www.js507713.com | www.8622msc.com | www.c5c22.com | www.8577c.cc | www.00665.com | www.602857.com | 3151.com | 32666n.com | 2844u.com | www.hgbet33.com | www.vns7312.com | www.7415mm.com | www.7240b.com | www.63500.cc | www.717699.com | 1577726.com | 40033mmm.com | 14891489.com | www.77605x.com | www.sbd023.net | www.jbb400.cc | www.973320.com | 8036xx.com | 8159.com | 97799x.com | www.v99950.com | www.4694h.com | www.4323c.com | www.602957.com | 487982.com | qqq67890.com | www.jh820.com | www.pj5718.com | www.6455.com | www.73gcw.com | 4195uu.com | 0600b.cc | 5002s.com | www.663m.com | www.jsc899.com | www.12455d.com | www.101220.com | 8547mm.com | 5589j.com | www.bb8005.com | www.hg33396.com | www.w931.com | 38244i.com | 25288g.com | www.hg1137.com | www.5504s.com | www.hb598.net | www.377034.com | 55984c.com | 2190d.com | www.blm599.com | www.60886e.com | www.927150.com | 115478.com | tt6824.com | www.amjs4488.com | www.48330m.com | www.506731.com | 61652j.com | www.xpj8888.cc | www.caipiao33c.com | www.65707z.com | 3245i.com | 418923.com | www.hg57666.com | www.7036dd.com | www.652188.com | 22222007.com | www.4759aa.com | www.8888yh.com | www.918li.com | 3559ww.com | 2535app.com | www.24071.com | www.910021.com | 28288tt.com | 11bb8331.com | www.p5550.com | www.648211e.com | 667766c.com | 67877h.com | www.797008.com | www.99677j.com | feicai0792.com | 123456mm.cc | www.1181184.com | www.50732b.com | 38244r.com | 500000735.com | www.808888x.com | www.fcsj.com | 563451.com | www.hg33555.com | www.8905z.com | www.163136.com | tt38648.cc | www.477518.com | www.50080c.com | 4023b.com | www.0686111.com | www.5189222.com | www.470680.com | 3552q.com | www.968tk.com | www.50026d.com | uuu5701.com | www.7t789.com | www.535082.com | www.68689e.com | 80850x.com | www.918356c.com | www.755745.com | 55555ylg.com | www.888345.com | www.006ac.com | 2237.com | www.85016.com | www.49956w.com | 86688100.com | www.8694c.com | www.89894x.com | 1697766.com | www.3589777.com | www.16065h.com | emv6868.com | www.56520k.com | www.905647.com | 37a700.com | www.333133l.com | www.97655w.com | cp088v.com | www.5254y.com | www.44czt.com | 600.cc | www.9560gg.com | www.609387.com | 8988j.com | www.02bet8.com | sha162.com | 1592b.com | www.55717t.com | g86811.com | www.33335375.com | www.hx1199.com | hj1234.com | www.00618f.com | 243d10.com | www.11166638.com | www.bet73r.com | n888vv.com | www.2222092.com | www.577062.com | 3222c.cc | www.33074.com | 1634n.com | www.105353.com | www.693119.com | 86811o.com | www.vns887.com | 815077.com | www.9hg0066.com | www.wcp8008.com | 5504g.com | www.r999996.com | sha9922.com | www.457777.com | www.649477.com | 2418v.com | www.6889798.com | se679.com | www.hjcp9999.com | c75ioyt.com | www.87680y.com | www.686pp.com | 4182009.com | www.38775jj.com | 1669g.com | www.ab738.com | www.001837.com | www.pj5848.com | www.2408c.cc | 5443z.com | www.957004.com | 73055w.com | www.316088.com | 1389rr.com | www.k1128.com | www.178192.com | www.7720l.com | www.hcjt0.com | ab2ab.com | www.80065d.com | yh88133.vip | www.hjj11.com | 4018m.com | www.5517bbb.com | yg7777.com | www.8967c.com | 1389rr.com | www.yyyy0066.com | 2805q.com | www.ym777.cc | 9694i.com | www.jg6655.com | www.77802u.com | www.33384066.com | www.292866.com | www.282203.com | www.526053.com | www.995055.com | www.715121.com | www.63877e.com | www.770001.com | www.xw3333.com | www.844141.com | www.28758m.com | www.735898.com | www.ylg08.com | www.506752.com | www.777444s.com | www.332069.com | www.6555567.com | www.52303i.com | www.320288.com | 86811e.com | www.5006c.com | 1483p.com | www.hjcp77.com | 0363a.com | www.3116s.com | 6175ll.com | www.668puj.com | 40033yyy.com | www.55766.com | 4023q.com | www.109ak.com | www.797xj.com | www.586960.com | www.xpj9849.com | q72227.com | www.yh99866.com | 675bet.com | www.t3410.com | xx3405.com | www.88266w.com | 3522gg.cc | www.695093.com | www.44992055.com | 6830j.com | www.d5680.com | 92266z.com | www.55vn777.com | 500000914.com | www.950633.com | www.t27229.com | 66300vip34.com | www.cp55.com | kkk67890.com | www.66653f.com | www.5699v.com | www.390675.com | www.76568.com | 6396g.com | www.h94600.com | 2543006.com | www.744559.com | www.66146.net | 7792t.com | www.68365j.com | jsh600.com | www.587244.com | www.39333.com | 267365.com | www.323535.com | lh7358.com | www.65707o.com | www.789508.com | 896288.com | www.3890m.com | www.88837a.com | 3121gg.com | www.493337.com | 3379cc.com | www.364242.com | www.82gew.com | 4488ooo.com | www.7782f.com | www.5559193.com | qq365l.com | www.68993256.com | www.814suncity.com | 58802q.com | www.35252e.com | 44488t.com | www.298396.com | www.vv88ss.com | 00773i.com | www.557894.com | www.lfcp098.com | bet727.com | www.959209.com | www.203rs.com | 3967p.com | www.fen08.com | www.3709885.com | 39990011.com | www.ya707.com | www.1009js.com | bogou2222.com | www.8199.cc | www.5678096.com | rbbet.com | www.85gcw.com | www.77938.com | c89od261.com | www.39500z.com | www.hgw0088.com | ll5443.com | www.21202p.com | www.xb0010.com | vns3.vip | www.ya013.com | www.7646.com | wx2277.com | www.369477.com | www.10999i.com | qycps2.com | 228888k.com | www.383444.com | www.05125e.com | xpjxianlu.com | www.973709.com | www.629820.com | hgyz5.com | 876878.com | www.bb4625.com | www.a78bet.com | vns700.net | www.7116a.com | www.909022.com | 23599t.com | www.youxin9.cc | www.280772.com | www.56520r.com | 12274477.com | www.690802.com | www.00773q.com | 6175n.com | aobo44444.com | www.15199.cc | www.pj3598.com | hg0698.com | 3389.com | www.3890m.com | www.5049a.com | ys5588.com | gm13800.com | www.5091l.com | www.858958.com | 3078z.com | 0612h.com | www.slyl3.com | www.88166x.com | www.yh77706.com | 38989h.com | www.737198.com | www.hgdc500.com | www.yh3377.cc | 495a.cc | www.308908.com | www.765.me | www.1294xi.com | 6150z.com | 9411xxx.com | www.26299s.com | www.500500.com | 07599a.com | pu0012.com | www.354911.com | www.557579.com | www.368915.com | zz3189.com | 9994cc7.com | www.587989.com | www.959718.com | www.882618.com | js777dl.com | 921250.com | www.911283.com | www.hgbet4.com | www.88993h.com | 6220y.com | 3640n.com | www.399190.com | www.6939a.com | www.0981.com | www.js87000.com | 020700.com | 88119w.com | www.055b.cc | www.0638.com | www.1007b.cc | 33115tt.com | 8722nnnn.com | www.29277i.com | www.36787c.com | www.55070b.com | www.ojinsha.com | 6220y.com | hg999333r.com | p888p888.com | www.zuan222.com | www.2566y6.com | www.911955.com | www.zun544.com | ddd5657.com | 3467u.cc | www.526733.com | www.2118037.com | www.sb5507.com | www.910633.com | r47479.com | 4488ooo.com | 11001468.com | www.357876.com | www.43818t.com | www.4521q.com | www.tm300.com | www.28758w.com | dz576.com | 1104dh.com | xpj728.com | www.571833.com | www.41518x.com | www.77731p.com | www.32126z.net | yin3333.com | 3775778.com | 6446vip.com | 61789e.com | www.854242.com | www.84499c.com | www.44118v.com | www.6a222.com | www.hg6607.com | www.494905.com | 85698a.com | 8344111.com | ee1331.com | 0747oo.com | www.351731.com | www.109ak.com | www.36582222.com | www.33678xx.com | www.345cp.vip | www.mic999.com | www.28758x.com | 2613b.com | 5309a.com | 73055r.com | 77605i.com | swty.com | www.175904.com | www.890702.com | www.15355d.com | www.713929.com | www.2000d.cc | www.sbd026.net | www.299488.com | www.482633.com | www.hg2968.com | www.8520o.com | 2190t.com | JS1388n.com | 3568o.com | 13820000.com | 4152x.com | 338050.com | 33382ee.com | yabo.vip | jbb76.cc | www.176225.com | www.550973.com | www.950633.com | www.2632d.com | www.67258b.com | www.bj399.com | www.6664j.com | www.6880nn.com | www.7366004.com | www.hyi9.com | www.4496877.com | www.601066.com | www.hf3138.com | www.8888bmw.com | www.5858564.com | www.988300.com | www.hg7849.com | www.90585.com | www.ii7966ii.com | www.708118.com | www.cn0013.com | www.js1177.com | www.h2272.com | www.pj8790.com | www.xpj9985.com | www.hg9940.com | www.bhhxled.com | www.m2229m.com | www.js2889.com | www.hg8483.com | www.414266.com | www.bsyedu.com | www.76775j.com | www.168tyc.com | www.5966ooo.com | www.tt1525.com | www.e526688.com | www.3157b.com | www.bwinyz37.com | www.87708b.com | www.115527v.com | www.5719f.com | www.js56771.com | www.567111.net | www.tyc88000.com | www.80065c.com | www.8839c.com | www.zcwf7.com | www.810895.com | www.505433.com | www.062566.com | 69441100.com | 6137g.net | 6601.com | 2222k0.com | 38365s.com | df8u.com | zzylc7.com | www.20.tt | www.8888888b.com | www.889tyc.com | www.9149.com | www.v58.me | www.3775c.com | www.yt2019.com | www.9149l.com | www.959591.com | www.351731.com | 33432t.com | 33318s.com | 463a8.com | 5309d.com | 2698q.com | www.050301.com | www.hg8053.com | www.526688.com | www.vnsr938.com | www.yt2019.com | www.5xcu.com | www.390126.com | 445.com | 93936t.com | 8757067.com | 20160913.pw | www.hg9765.com | www.js08004.com | www.998855c.com | www.5517ccc.com | www.109337.com | www.qj63.com | www.188737.com | ff555q.com | 8569811e.com | 7744ccc.com | www.047886.com | www.495655.com | www.9170182.com | www.79966.com | www.hr4888.com | www.50052u.com | 6040099.com | 22098b.com | 0600h.cc | www.nn32355.com | www.88562.com | www.7681004.com | www.03gcw.com | www.54400v.com | 20779999.com | 3664yh.com | www.32126o.net | www.056005.com | www.d2894.com | www.99343.cc | www.129029.com | 1389z.com | 999582.com | www.w8606.com | www.77731q.com | www.55717v.com | www.980771.com | 131y.net | 8159g.cc | www.cp2y.com | www.dbz9.com | www.7920u.com | www.fz34.com | 4221999.com | 4165d.com | www.hg9952.com | www.095889.com | www.78680i.com | www.c1391.com | 44229193.com | xxx4255.com | www.85770x.com | www.zte777.com | www.4331s.com | www.548338.com | 7380.com | i7454.com | www.xpj1570.com | www.331068.com | www.022hk.cc | am2984.com | yy3336.com | www.3459j.com | www.9737ww.com | www.50024b.com | 1483n.com | 3435z.com | www.32126f.net | www.4972x.com | www.50064z.com | 00074066.com | 36400044.com | www.hg3383.com | www.8883hj.com | www.3416s.com | r1429.com | bet28s.com | www.0235tt.com | www.qiji222.com | www.373500.com | 83138x.com | www.xhtd0011.com | www.5099pp.com | www.99jtb.com | zunyi803.com | 9366.com | www.281106.com | www.81678r.com | 91019y.com | 70118q.com | www.4272000.com | www.578888.vip | www.330832.com | mf703.com | www.76543d.com | www.y8817.com | www.591023.com | 01234h.com | www.hg358.com | www.50685c.com | www.451956.com | 08778g.com | www.js2021.com | www.4809o.com | www.030953.com | 4541e.com | www.43012l.com | www.3334331.com | 91019q.com | 09797.com | www.xpj699699.com | www.5086m.com | 2709h.com | www.pjdc1188.com | www.pjgw22.com | www.375793.com | 55967v.com | www.hg4480.com | www.54400y.com | vipdz88.com | 866bc.com | www.00778e.com | www.366019.com | xpj11558.com | www.dz8789.com | www.23834.com | 79889a.com | www.365635.com | www.js56773.com | vdisk.cn | 26444v.com | www.jz6788.com | www.599546.com | 4590a.com | www.660tk.com | www.3416s.com | 44p88.cc | www.kelake77.com | www.bet5959.com | ab0034.com | www.32126e.net | www.zzyl63.com | 77115156.com | long677.com | www.62979w.com | 59964cc.com | 3136mm.com | www.w1432.com | www.67258e.com | 0747y.com | www.1851136.com | www.091069.com | 8290c.com | www.9570114.com | www.022184.com | 55818x.com | www.08881.com | 9649b.com | 4195ww.com | www.8577h.cc | 500c.vip | www.223456f.com | www.c98478.com | szgj666.com | www.7676760099.com | www.35155j.com | yinhe638.com | www.pj99111.com | www.c6881.com | 4196f.com | www.88562.com | www.237944.com | 预览BY30838.com | www.xyh6003.com | da1369.com | www.pj7889.com | www.80075t.com | 563745.com | www.4646123.com | www.739233.com | 838388d.com | www.377666f.com | 69111xpj.com | www.365109f.com | www.60007r.com | 402d0.com | www.cscp.bet | www.196071.com | 6641x.com | www.6628229.com | 4037.com | www.959888.com | www.672766.com | 0080n.com | www.3434ccc.com | 0729n.com | www.cmssjm.com | www.652291.com | 2381ggg.com | www.578888.vip | 915902207.com | www.294294.com | www.501237.com | 800034338.com | www.2418g.com | 83138x.com | www.518737.com | 9734vip.com | www.00829s.com | www.1035s.com | 98955s.com | www.r999992.com | 4632277.com | www.82899.com | www.186957.com | www.g88998.com | www.6611d.cc | 4647v.com | www.8c000.com | 4018vv.com | www.cfcp222.com | 5589f.com | www.js60f.com | www.904857.com | zhcp85.com | www.91233h.com | 3640tt.com | www.5719c.com | 97297u.com | www.c25.cc | 915904310.com | www.89928.com | www.51515i.com |