non_negative_factorization#

sklearn.decomposition.non_negative_factorization(X, W=None, H=None, n_components='auto', *, init=None, update_H=True, solver='cd', beta_loss='frobenius', tol=0.0001, max_iter=200, alpha_W=0.0, alpha_H='same', l1_ratio=0.0, random_state=None, verbose=0, shuffle=False)[source]#

Berechnet Non-negative Matrix Factorization (NMF).

Findet zwei nicht-negative Matrizen (W, H), deren Produkt die nicht-negative Matrix X approximiert. Diese Faktorisierung kann beispielsweise zur Dimensionsreduktion, Quellentrennung oder Themenextraktion verwendet werden.

Die Zielfunktion ist

\[ \begin{align}\begin{aligned}L(W, H) &= 0.5 * ||X - WH||_{loss}^2\\ &+ alpha\_W * l1\_ratio * n\_features * ||vec(W)||_1\\ &+ alpha\_H * l1\_ratio * n\_samples * ||vec(H)||_1\\ &+ 0.5 * alpha\_W * (1 - l1\_ratio) * n\_features * ||W||_{Fro}^2\\ &+ 0.5 * alpha\_H * (1 - l1\_ratio) * n\_samples * ||H||_{Fro}^2,\end{aligned}\end{align} \]

wobei \(||A||_{Fro}^2 = \sum_{i,j} A_{ij}^2\) (Frobenius-Norm) und \(||vec(A)||_1 = \sum_{i,j} abs(A_{ij})\) (elementweise L1-Norm)

Die allgemeine Norm \(||X - WH||_{loss}^2\) kann die Frobenius-Norm oder eine andere unterstützte Beta-Divergenz-Verlustfunktion darstellen. Die Wahl zwischen den Optionen wird durch den Parameter beta_loss gesteuert.

Die Regularisierungsterme werden mit n_features für W und mit n_samples für H skaliert, um deren Einfluss im Verhältnis zueinander und zum Datenanpassungs-Term so unabhängig wie möglich von der Größe n_samples des Trainingsdatensatzes zu halten.

Die Zielfunktion wird durch abwechselnde Minimierung von W und H minimiert. Wenn H gegeben ist und update_H=False, wird nur W gelöst.

Beachten Sie, dass die transformierten Daten W und die Komponentenmatrix H genannt werden. In der NMF-Literatur ist die Namenskonvention normalerweise umgekehrt, da die Datenmatrix X transponiert wird.

Parameter:

X{array-like, sparse matrix} der Form (n_samples, n_features)

Konstante Matrix.

Warray-like von Form (n_samples, n_components), default=None

Wenn init='custom', wird sie als Anfangsschätzung für die Lösung verwendet. Wenn update_H=False, wird sie als Array von Nullen initialisiert, es sei denn solver='mu', dann wird sie mit Werten gefüllt, die von np.sqrt(X.mean() / self._n_components) berechnet werden. Wenn None, wird die in init angegebene Initialisierungsmethode verwendet.

Harray-like von Form (n_components, n_features), default=None

Wenn init='custom', wird sie als Anfangsschätzung für die Lösung verwendet. Wenn update_H=False, wird sie als Konstante verwendet, um nur W zu lösen. Wenn None, wird die in init angegebene Initialisierungsmethode verwendet.

n_componentsint oder {‘auto’} oder None, default=’auto’

Anzahl der Komponenten. Wenn None, werden alle Merkmale beibehalten. Wenn n_components='auto', wird die Anzahl der Komponenten automatisch aus den Formen von W oder H abgeleitet.

Geändert in Version 1.4: `auto`-Wert hinzugefügt.

Geändert in Version 1.6: Standardwert von None auf 'auto' geändert.

init{‘random’, ‘nndsvd’, ‘nndsvda’, ‘nndsvdar’, ‘custom’}, default=None

Methode zur Initialisierung des Verfahrens.

Gültige Optionen

None: ‘nndsvda’, wenn n_components < n_features, ansonsten ‘random’.
‘random’: nicht-negative Zufallsmatrizen, skaliert mit: sqrt(X.mean() / n_components)
‘nndsvd’: Nonnegative Double Singular Value Decomposition (NNDSVD) Initialisierung (besser für Sparsamkeit)
‘nndsvda’: NNDSVD mit Nullen gefüllt mit dem Durchschnitt von X (besser, wenn Sparsamkeit nicht erwünscht ist)
‘nndsvdar’: NNDSVD mit Nullen gefüllt mit kleinen Zufallswerten (allgemein schneller, weniger genaue Alternative zu NNDSVDa, wenn Sparsamkeit nicht erwünscht ist)
‘custom’: Wenn update_H=True, werden benutzerdefinierte Matrizen W und H verwendet, die beide bereitgestellt werden müssen. Wenn update_H=False, wird nur die benutzerdefinierte Matrix H verwendet.

Geändert in Version 0.23: Der Standardwert von init wurde von ‘random’ auf None in 0.23 geändert.

Geändert in Version 1.1: Wenn init=None und n_components kleiner als n_samples und n_features ist, wird standardmäßig nndsvda anstelle von nndsvd verwendet.

update_Hbool, default=True

Wenn auf True gesetzt, werden sowohl W als auch H aus Anfangsschätzungen geschätzt. Wenn auf False gesetzt, wird nur W geschätzt.

solver{‘cd’, ‘mu’}, default=’cd’

Numerischer Solver zur Verwendung

‘cd’ ist ein Coordinate Descent Solver, der Fast Hierarchical Alternating Least Squares (Fast HALS) verwendet.
‘mu’ ist ein Multiplicative Update Solver.

Hinzugefügt in Version 0.17: Coordinate Descent Solver.

Hinzugefügt in Version 0.19: Multiplicative Update Solver.

beta_lossfloat oder {‘frobenius’, ‘kullback-leibler’, ‘itakura-saito’}, default=’frobenius’

Beta-Divergenz, die minimiert werden soll und den Abstand zwischen X und dem Skalarprodukt WH misst. Beachten Sie, dass Werte, die von ‘frobenius’ (oder 2) und ‘kullback-leibler’ (oder 1) abweichen, zu signifikant langsameren Fits führen. Beachten Sie, dass für beta_loss <= 0 (oder ‘itakura-saito’) die Eingabematrix X keine Nullen enthalten darf. Nur im ‘mu’-Solver verwendet.

Hinzugefügt in Version 0.19.

tolfloat, Standard=1e-4

Toleranz der Abbruchbedingung.

max_iterint, Standard=200

Maximale Anzahl von Iterationen vor dem Timeout.

alpha_Wfloat, default=0.0

Konstante, die die Regularisierungsterme von W multipliziert. Setzen Sie sie auf Null (Standardwert), um keine Regularisierung bei W zu haben.

Hinzugefügt in Version 1.0.

alpha_Hfloat oder “same”, default=”same”

Konstante, die die Regularisierungsterme von H multipliziert. Setzen Sie sie auf Null, um keine Regularisierung bei H zu haben. Wenn “same” (Standardwert), nimmt sie denselben Wert wie alpha_W an.

Hinzugefügt in Version 1.0.

l1_ratiofloat, default=0.0

Der Regularisierungs-Mixing-Parameter, mit 0 <= l1_ratio <= 1. Für l1_ratio = 0 ist die Strafe eine elementweise L2-Strafe (auch Frobenius-Norm genannt). Für l1_ratio = 1 ist es eine elementweise L1-Strafe. Für 0 < l1_ratio < 1 ist die Strafe eine Kombination aus L1 und L2.

random_stateint, RandomState-Instanz oder None, default=None

Wird für die NMF-Initialisierung (wenn init == ‘nndsvdar’ oder ‘random’) und im Coordinate Descent verwendet. Übergeben Sie eine Ganzzahl für reproduzierbare Ergebnisse über mehrere Funktionsaufrufe hinweg. Siehe Glossar.

verboseint, default=0

Die Ausführlichkeitsstufe.

shufflebool, default=False

Wenn wahr, wird die Reihenfolge der Koordinaten im CD-Solver zufällig gewählt.

Gibt zurück:

Wndarray von Form (n_samples, n_components): Lösung des nicht-negativen Kleinstquadrateproblems.
Hndarray von Form (n_components, n_features): Lösung des nicht-negativen Kleinstquadrateproblems.
n_iterint: Tatsächliche Anzahl der Iterationen.

Referenzen

[1]

„Fast local algorithms for large scale nonnegative matrix and tensor factorizations“ Cichocki, Andrzej, und P. H. A. N. Anh-Huy. IEICE transactions on fundamentals of electronics, communications and computer sciences 92.3: 708-721, 2009.

[2]

„Algorithms for nonnegative matrix factorization with the beta-divergence“ Fevotte, C., & Idier, J. (2011). Neural Computation, 23(9).

Beispiele

>>> import numpy as np
>>> X = np.array([[1,1], [2, 1], [3, 1.2], [4, 1], [5, 0.8], [6, 1]])
>>> from sklearn.decomposition import non_negative_factorization
>>> W, H, n_iter = non_negative_factorization(
...     X, n_components=2, init='random', random_state=0)

non_negative_factorization#

Diese Seite