Debiasing the Elastic Net for models with interactions

Florent Bascou (1) , Sophie Lèbre (1, 2) , Joseph Salmon (1)

1 IMAG - Institut Montpelliérain Alexander Grothendieck
2 UPVM - Université Paul-Valéry - Montpellier 3

We present a penalized and de-biased regression model to estimate, in high dimension, sparse linear models with interactions. Our aim is to jointly estimate the support and the associated de-biased coefficients, starting from an Elastic Net type estimator. The main idea is to use a coordinate descent algorithm, which does not require building the interaction matrix. This property is crucial on real data since the design matrix modeling interactions can quickly exceed memory capacities. In addition, we adapt an automatic differentiation method which allows to obtain simultaneously the least squares solution on the support, without having to solve, a posteriori, a least squares problem.

Nous présentons un modèle de régression pénalisée et dé-biaisée pour l'estimation, en grande dimension, d'un modèle linéaire parcimonieux avec interactions. L'objectif est d'estimer conjointement le support et les coefficients dé-biaisés associés, en partant d'un estimateur de type Elastic Net. On utilise pour cela un algorithme de descente par coordonnée, qui ne nécessite pas de construire la matrice des interactions. Cette propriété est cruciale sur données réelles sachant que cette matrice peut facilement dépasser les capacités mémoires. Enfin, nous adaptons une méthode de dérivation automatique qui permet d'obtenir simultanément la solution des moindres carrés sur le support, sans avoir à résoudre a posteriori un problème de moindres carrés.

Mots clés: Lasso; Elastic Net; Interaction; Debiasing; Coordinate Descent

Mots clés: Lasso; Elastic Net; Interactions; Débiasage; Descente par Coordonnée

Domaines: Machine Learning [stat.ML]

Florent Bascou, Sophie Lèbre, Joseph Salmon. Debiasing the Elastic Net for models with interactions. JDS2020, May 2020, Nice, France. ⟨hal-02995645⟩