Aprendissatge supervisat

L'aprendissatge supervisat (supervised learning en anglés) es una tasca d'aprendissatge automatic consistissent a aprene una foncion de prediccion a partir d'exemples anotats, al contra de l'aprendissatge non supervisat. Se distinguís los problèmas de regression dels problèmas de classament. Atal, se considèra que los problèmas de prediccion d'una variabla quantitativa son de problèmas de regression mentre que los problèmas de prediccion d'una variabla qualitativa son de problèmas de classificacion.

Los exemples anotats constituïsson una basa d'aprendissatge, e la foncion de prediccion apresa pòt tanben èsser apelada « ipotèsi » o « modèla ». Se supausa aquela basa d'aprendissatge representativa d'una populacion d'escapolons mai larg e la tòca dels metòdes d'aprendissatge supervisat es de plan generalizar, valent a dire d'aprene una foncion que faga de prediccions corrèctas sus de donadas non presentas dins l'ensemble d'aprendissatge.

Definicion matematica

Siá $(\Omega ,{\mathcal {A}},\mathbb {P} )$, un espaci probabilisé.

Jòc de donadas supervisadas

Siá $({\mathcal {X}},{\mathcal {F}}_{X}),({\mathcal {Y}},{\mathcal {F}}_{I})$ dos espacis mesurables. Se pòt definir una basa de donadas d'aprendissatge (o amassa d'aprendissatge) coma un ensemble de cobles dintrada-sortida $(x_{n},i_{n})_{1\leq n\leq N}$ ont cada $x_{n}\in {\mathcal {X}}$ e $i_{n}\in {\mathcal {Y}}$ son de realizacions respectivas de las variablas aleatòrias $X_{n}$ e $Y_{n}$. Los cobles de la seguida $((X_{n},I_{n}))_{n\leq N}$ son independents e identicament distribuïts segon la lei d'un coble $(X,I)$ a valors dins $({\mathcal {X}}\times {\mathcal {Y}},{\mathcal {F}}_{X}\otimes {\mathcal {F}}_{I})$. Se rampèla qu'aquela lei es caracterizada per una mesura de probabilitat $\mathbb {P} _{(X,I)}$ definida per tot eveniment $A\in {\mathcal {F}}_{X}\otimes {\mathcal {F}}_{I}$ per $\mathbb {P} _{(X,I)}(A)=\mathbb {P} [(X,I)^{-1}(A)]$

Per exemple $X_{n}$ seguís una lei unifòrma e $Y_{n}=f(X_{n})+\epsilòn _{n}$ ont $\epsilòn _{n}$ es un bruch centrat. Dins aquel cas, lo metòde d'aprendissatge supervisat utiliza aquela basa d'aprendissatge per determinar una estimacion de f notada g e cridada indistintament foncion de prediccion, ipotèsi o modèla qu'a una dintrada novèla x assòcia una sortida g(x). La tòca d'un algoritme d'aprendissatge supervisat es donc de generalizar per de dintradas desconegudas çò qu'a pogut « aprene » gràcias a las donadas ja anotadas per d'expèrts, aiçò de faiçon « rasonabla ». Se ditz que la foncion de prediccion apresa deu aver de bonas garantidas en generalizacion.

Teoria de la decision

Mai generalament, l'objectiu de l'aprendissatge supervisat es d'aprene una foncion $f$ que « minimiza l'escart entre las variablas aleatòrias $f(X)$ e $Y$ ». Per definir aquel escart, introdusèm una foncion de pèrda $L:{\mathcal {Y}}\times {\mathcal {Y}}\rightarrow \mathbb {R} _{+}$ que qüantifica la distància entre una prediccion del modèl $f(x)$ e una sortida esperada $i$. A partir d'aquela foncion, podèm definir lo risc estatistic d'un modèl $f$. Es notat $R$ e es definit per :

$R(f)=\mathbb {E} (L(I,f(X)))=\int _{{\mathcal {X}}\times {\mathcal {Y}}}L(i,f(x))\mathrm {d} \mathbb {P} _{(X,I)}(x,i)$

Ne practica, s'a pas jamai accès dirèctament a $\mathbb {P} _{(X,I)}$, en revenge es possible de l'estimar a partir del jòc de donadas en utilizant la mesura empirica $\mathbb {P} _{(X,I)}^{N}$ definida per tot $A\in {\mathcal {F}}_{X}\otimes {\mathcal {F}}_{I}$ per $\mathbb {P} _{(X,I)}^{N}(A)={\dfrac {1}{N}}\sum _{n=1}^{N}\dèlta _{(X_{n},I_{n})}(A)$.

D'aquí enlà, un algoritme d'aprendissatge supervisat començarà d'algoritmes d'optimizacion per tal de trobar una foncion $f$ que minimiza lo risc empiric $R_{N}(f)={\dfrac {1}{N}}\sum _{n=1}^{N}L(I_{n},f(X_{n}))$. Cal notar que $R_{N}$ es pas res d'autre que la mejana dels escart (al sens de $L$) entre las prediccions del modèl e las sortidas esperadas.

Classificacion e regression

Se distinguís tres tips de problèmas solubles amb un metòde d'aprendissatge automatic supervisada :

• ${\mathcal {Y}}\subset \mathbb {R}$ : quand la sortida que se cerca d'estimar es una valor dins un ensemble continú de reals, se parla d'un problèma de regression. La foncion de prediccion es alara apelada un régresseur.
• ${\mathcal {Y}}=\{1,\ldots ,I\}$ : quand l'ensemble de las valors de sortida es acabat, se parla d'un problèma de classificacion, que torna a atribuïr una etiqueta a cada dintrada. La foncion de prediccion es alara apelada un classifieur.
• Quand ${\mathcal {Y}}$ es un ensemble de donadas estructuradas, se parla d'un problèma de prediccion estructurada, que torna a atribuïr una sortida complèxa a cada dintrada. Per exemple, en bio-informatica lo problèma de prediccion de rets d'interaccions entre gèns pòt èsser considerat coma un problèma de prediccion estructurada dins la quala l'ensemble possible de las sortidas estructuradas es l'ensemble de totes los grafs modélisant las interaccions possiblas.

Còst qüadratic en regression

Una bona estimacion de $f$ verificariá $f(X)=\mathbb {E} (I|X)$. S'estimariá donc $Y$ per son esperança condicionala respècte a $X$. Lo teorèma segon mòstra l'interès d'utilizar la foncion de pèrda qüadratica dins lo cas d'una regression.

Minimizacion del còst qüadratic — Supausam ${\mathcal {Y}}=\mathbb {R} ^{d}$. Nos provesissèm de la foncion de pèrda qüadratica definida per tot $i,i'\in \mathbb {R} ^{d}$ per $L(i,i')=\|i-i'\|_{2}^{2}$. Se supausa egalament $Y-\mathbb {E} (I|X)\in L^{2}(\mathbb {R} ^{p},{\mathcal {B}}(\mathbb {R} ^{p}),\lambda _{p})$, amb $\lambda _{p}$ la mesura de Lebesgue sus $\mathbb {R} ^{p}$. Alara, la foncion $f$ que minimiza lo risc estatistic associat a $L$ verifica $f(X)=\mathbb {E} (I|X)$.

Demostracion — Calculam lo risc estatistic associat a la foncion de pèrda qüadratica :

${\begin{aligned}R(f)&=\mathbb {E} (L(I,f(X)))\\&=\mathbb {E} (\|I-f(X)\|_{2}^{2})\\&=\mathbb {E} (\|(I-\mathbb {E} (I|X))-(f(X)-\mathbb {E} (I|X))\|_{2}^{2})\\&=\mathbb {E} (\|I-\mathbb {E} (I|X)\|_{2}^{2})-2\mathbb {E} (\langle Y-\mathbb {E} (I|X)|f(X)-\mathbb {E} (I|X))\rangle )+\mathbb {E} (\|f(X)-\mathbb {E} (I|X))\|_{2}^{2})\\\end{aligned}}$

Ont $\langle \cdot |\cdot \rangle$ designa lo produch escalar euclidian dins $\mathbb {R} ^{d}$.

Se cerca donc a trobar la foncion $f$ que minimiza $R(f)$. Lo primièr tèrme de la soma depend pas de $f$, e se pòt tornar escriure lo segond tèrme amb l'ajuda de la formula de l'esperança totala :

${\begin{aligned}\mathbb {E} (\langle Y-\mathbb {E} (I|X)|f(X)-\mathbb {E} (I|X))\rangle )&=\mathbb {E} (\mathbb {E} (\langle Y-\mathbb {E} (I|X)|f(X)-\mathbb {E} (I|X))\rangle |X))\\&=\mathbb {E} (\langle Y-I|f(X)-I\rangle )\\&=0\end{aligned}}$

Lo segond tèrme es donc nul. Enfin, lo tresen tèrme es positiu e s'anulla per $f(X)=\mathbb {E} (I|X)$.

Metòdes d'aprendissatge supervisat

• Boosting
• Engenha a vectors de supòrt
• Mesclas de leis
• Ret de neurònas artificialas
• Metòde dels k mai pròches vesins
• Arbre de decision
• Classificacion ninòia bayésienne
• Inferéncia gramaticala
• Espaci de versions

Aplicacions

• Vision per ordenador
• Reconeissença de formas
• Reconeissença de l'escritura manuscrita
• Reconeissença vocala
• Tractament automatic de la lenga
• Biò-informatica
• Reconeissença optica de caractèrs

Veire tanben

Bibliografia

• Vincent Barra, Antoine Cornuéjols, Laurent Miclet, Aprendissatge Artificial : Concèptes e algoritmes, Eyrolles, 2021 (ISBN 978-2-416-001-04-8) [detalh de las edicions]
• (en) Tom M. Mitchell, Maquina Learning, 1997 [detalh de las edicions]
• (en) Christopher M. Bishop, Pattern Recognition And Engenha Learning, Springer, 2006 (ISBN 0-387-31073-8) [detalh de las edicions]

Articles connèxes

• Aprendissatge automatic
• Aprendissatge non supervisat
• Ret de neurònas artificialas
• Partitionnement de donadas
• Algoritme esperança-maximisation
• Carta autoadaptative
• Intelligéncia artificiala
• Teorèma de Còths-Jaynes
• Extraccion de coneissenças
• Metòde de las nivoladas dinamicas
• Regropament ierarquic
• Analisi en compausantas principalas
• Regression logistica
• Sistèma de classadors