Read /home/stephane/.TeXmacs/system/tmp/tmp_1912005971.ps text version

Chapitre 1 Tests non-param triques : le test de Kolmogorov-Smirnov

1.1 Test d'ajustement rale) une hypoth se simple (g n -

Probl me : nous travaillerons durant tout ce cours avec une loi P sur R. Nous ne supposerons en g n ral rien de sp cial propos de P si ce n'est l'absolue continuit par rapport la mesure de Lebesgue (soit l'existence d'une densit f ). Nous noterons F la fonR ction de r partition de P ; (pour tous a < b a;b] f x x F b ? F a P a; b ). Dans ce type de situation, on dispose d'un r sum de l' chantillon Sn X1; X2; ; Xn , l' chantillon tri en ordre croissant: X(1); ; X(n) : On veut aborder le probl me de d cision suivant :

: ( ) d( )= ( ) ( )= ] = ( ) ( )

D nition 1.1. Test d' ad

quation une hypoth se simple. Soit f une densit sur R et (x1; ; xn) un chantillon de n points de R.

de densit f ? H 1: L' chantillon (x1; ; xn) n'a pas t engendr par n tirages ind pendants selon la loi P de densit f ?

H 0: L' chantillon

(

x1; ; xn a t engendr par n tirages ind pendants selon la loi P

)

Remarque 1.2. Dans ce probl me, l'hypoth se nulle est simple, l'alternative est composite et m me extr mement riche, puisque constitu e de toutes les lois de probabilit .

Exemple 1.3. C'est par exemple le probl me que cherchera r soudre une association

( )

de consommateurs laquelle un constructeur a rme que les ampoules dur- -cuir ont une dur e de vie distribu e exponentiellement avec une param tre :001 (La probabilit que l'ampoule fonctionne plus de x jours est exp ? 0.001 x ). L'association va collecter des informations sur la dur e de vie des ampoules dur- -cuir : elle va rassembler un chantillon de dur es de vie observ es x1; ; xn et se demander si cet chantillon

( )

1

2

Tests non-param triques : le test de Kolmogorov-Smirnov

peut raisonnablement tre consid r comme la r alisation de n variables exponentiellement distribu es (avec le param tre :001). Pour aborder ce probl me, nous allons d'abord proposer un test de type 2. Nous allons r duire le probl me un probl me d'ajustement une hypoth se multinomiale simple. Avant d'observer les donn es, on se donne une partition de R en k cellules : A1; A2; ; Ak (on a i6k Ai R, et les cellules sont bien deux deux disjointes : Ai \ Aj ; pour i j ). On r sume nos observations de mani re brutale : on note pour chaque observation xi la cellule laquelle elle appartient et nalement on ne conserve que k compteurs : pour j 6 k, on note nj le nombre d'observations qui appartiennent la celP lule Aj. L' chantillon x1; ; xn est donc r sum par n1; ; nk avec j 6k n j n. Sous l'hypoth se nulle, la suite de compteurs n1; n2; ; nk est une r alisation d'une loi multinomiale de param tres

= = ( ) ( ) = ( ) (

n; P fA1g; P fA2g; ; P fAk g ;

) ( )

techniquement, la probabilit d'obtenir n1; ; nk est donn e par :

n1 nk

!

n

!

k Y

!

i=1

(

P fAi g ni :

)

Pour r soudre notre probl me de test on se contente de r soudre le probl me simpli suivant : H 0 la suite des compteurs n1; ; nk est une r alisation d'une loi multinomiale de param tres n; P fA1g; P fA2g; ; P fAk g ;

0

:

(

)

(

)

la suite des compteurs n1; ; nk n'est pas une r alisation d'une loi multinomiale de param tres n; P fA1g; P fA2g; ; P fAk g :

0

H1

:

(

)

(

)

mais que la r ciproque est fausse.

Remarque 1.4. Il faut tre bien conscient que H 0 est v ri e lorsque H 0 est v ri e,

0

Pour r soudre ce probl me simpli , on calcule la statistique de Pearson :

Sn

0

=

k X ni ? n P fAi g n P fAi g ;

( )

2

et on rejette H 0 si Sn est sup rieure au quantile d'ordre ? de la loi du 2 k ? degr s de libert . Si H 0 est v ri e la probabilit de rejeter H 0 tort tend vers . Cette mani re simple de proc der nous garantit donc un niveau asymptotique . Si H 0 n'est pas v rie, la probabilit de rejeter tend vers lorsque le nombre d'observations n tend vers

1 1

0 0 0

i=1

1

1.2 Le principe du test de Kolmogorov et Smirnov

3

l'in ni. Mais il est facile de construire des lois P 0 (P 0 P ), qui ressemblent P sur la partition A1; ; Ak,

P 0fAj g P fAj g pour j 6 k:

=

Si les observations sont engendr es par des tirages selon P 0, notre proc dure de test ne le d tectera pas. Notre proc dure n'est pas consistante contre ces alternatives. En r sumant nos donn es par quelques compteurs, nous avons perdu de l'information. Ce n'est pas forc ment tr s grave, par exemple si on sait que l'alternative n'est pas n'importe quoi mais qu'elle est au contraire form e de lois P 0 qui se distinguent clairement de P sur la partition A1; ; Ak. Mais si on n'a pas cette assurance, ou si on veut tre pr t contre toute ventualit , il faut construire un test qui r ponde au cahier des charges suivant : 1. La statistique du test doit tre facile Pearson). calculer (comme la statistique de

2. La loi de la statistique de test ne doit pas d pendre de la loi P qui d nit le probl me d'ajustement. Ceci permettra de calibrer le test pour atteindre un niveau donn . 3. Le test doit tre consistant : si l'hypoth se nulle n'est pas v ri e et si la taille de l' chantillon tend vers l'in ni, la probabilit de rejeter doit tendre vers .

1

1.2 Le principe du test de Kolmogorov et Smirnov

Le test de Kolmogorov-Smirnov (KS par la suite) r sume peine les donn es : il oublie simplement l'ordre dans lequel elles ont t collect es. Les donn es x1; ; xn d nissent une loi sur R appel e loi empirique, not e Pn :

Pn f a; b g n

] = 1

n X i=1

1 a;b](xi) pour tout intervalle

a; b :

]

Cette loi Pn est une loi discr te, dont la fonction de r partition (appel e fonction de r partition empirique) est not e Fn

Fn t

( )=

P n f ? 1; t g n

( ] = 1

n X i=1

1(?1;t](xi) :

1/

C'est une fonction en escalier, croissante, qui saute de n en chaque point de l' chantillon. La statistique de Kolmogorov-Smirnov Dn est d nie par

Dn

pn sup j F x ? F x j : n

x 2R

( ) ( )

4

Tests non-param triques : le test de Kolmogorov-Smirnov

Le test de Kolmogorov-Smirnov rejette l'hypoth se nulle si Dn est trop grande. Nous allons maintenant tudier quelques aspects de la statistique Dn : i. Sous l'hypoth se nulle (c'est dire si les Xi i:i:d P ), la loi de Dn est libre, elle ne d pend pas de P (pourvu que P ait une densit ), elle ne d pend que de n. ii. La calcul de Dn se r duit un tri de l' chantillon, l' valuation de F sur les points de l' chantillon et la recherche d'un maximum dans un tableau de n valeurs. iii. Si l'hypoth se nulle n'est pas v ri e, par exemple si les Xi i:i:d P 0 avec P 0 P . alors pour tout M > P 0fDn > M g n : Le test est donc consistant. iv. Pour terminer nous donnerons quelques r sultats qui sugg rerons (mais ne montrerons pas) que sous l'hypoth se nulle,

2 +1 0

*

1

Dn D

o D est une loi bien connue (la loi du supremum du pont brownien). Cette convergence en loi, qui peut tre vue comme une cons quence d'un th or me central limite g n ralis , permet une calibration asymptotique du test : si d1? d signe le ? quantile de la loi de D alors le test qui rejette l'hypoth se nulle si Dn > d1 ? est asymptotiquement de niveau .

1

0.0

0.2

0.4

0.6

0.8

1.0

0

1

2

3

4

5

Figure 1.1.

Fonction de r partition empirique d'un chantillon de 100 points collect s ind pendament selon des tirages exponentiels de param tre 1 La courbe continue est la fonction de r partition de la loi exponentielle de param tre 1

: :

1.3 La transformation quantile

5

0.0

0.2

0.4

0.6

0.8

1.0

0.0

0.2

0.4

0.6

0.8

1.0

Figure 1.2.

Graphe de la fonction / ( (i)) pour 6 o (i) est le i me l ment d'un chantillon de 100 points distribu s exponentiellement, ( ) = 1 ? e?x. La courbe bleue repr sente la fonction

i n F x i n x F x x x:

Dans cette section nous allons formuler quelques observations tr s importantes sur le comportement de la variable al atoire F X lorsque X P de fonction de r partition F . Ces observations seront importantes pour nous, mais elles sont aussi tr s f condes dans le domaine de la simulation de ph nom nes al atoires, elles permettent d'engendrer des variables al atoires de fonction de r partition donn e F partir de variables al atoires distribu es uniform ments sur ; : Une fonction de r partition F est une fonction positive, qui prend ses valeurs entre et , est croissante (au sens large, c'est- -dire non-d croissante), continue droite, et poss de une limite gauche en tout point. Si la fonction de r partition correspond une loi de probabilit qui ne charge aucun point (di use), elle est continue. Dans tous les cas, on d nit la fonction quantile F ?1 comme une pseudo-inverse de F . D nition 1.5. La fonction quantile F ?1 d'une variable al atoire X distribu e selon P (de fonction de r partition F) est d nie par F ?1 p inf fx P fX 6 x g > p g inf fx F x > p g:

( ) 0 1] 0 1 ( ) : = : ( )

1.3 La transformation quantile

La fonction quantile est croissante et continue droite elle aussi. La proposition suivante r sume quelques propri t s simples de la fonction quantile. Proposition 1.6. Si X a pour fonction de r partition F et pour fonction quantile F ?1 , alors on a les propri t s suivantes, pour p 2 ; : 1. p 6 F x si et seulement si F ?1 p 6 x.

]0 1 ( ) ( )

6

Tests non-param triques : le test de Kolmogorov-Smirnov

F F ?1 p > p . F ?1 F x 6 x . Si F admet une densit F F ?1 p p D monstration. D'apr s la d nition de F ?1 si F x > p alors F ?1 p 6 x: Maintenant pour tablir la r ciproque, il su t de v ri er que F F ?1 p > p. En e et si x > F ?1 p ; comme F est croissante F x > F F ?1 p . Si y F ?1 p ; par d nition de y F ?1 p ; il existe une suite d croissante zn n 2N qui converge vers y telle que F zn > p: Mais comme F est continue droite limn F zn F limn zn F y : Donc F y > p. Remarquons que nous venons de prouver la fois 1) et 2). 3) est une cons quence imm diate de 1). Notons p F x : Donc p 6 F x ; ce qui est quivalent d'apr s 1) F ? 1 p 6 x; soit F ?1 F x 6 x: 4) Si F admet une densit f , F est continue (m me absolument continue ). Pour toute valeur p dans ; ; il existe au moins une valeur x tel que p F x (Th or me des valeurs interm diaires). Soit y l'in mum des valeurs x telles que F x p, videmment y F ?1 p : D'apr s F y > p. Maintenant si zn n 2N est une suite strictement croissante convergente vers y , on a pour tout n, F zn < p; et par continuit gauche, F y F limn zn limn F zn 6 p: Donc F y p; soit F F ?1 p p: A partir de cette proposition, il est ais de d duire le r sultat suivant qui s'av re extr mement utile. Corollaire 1.7. Si X est une variable al atoire de loi P dont la fonction de r partition F est continue, alors les variables al atoires F X et ? F X sont uniform ment r parties sur ; . Dans le contexte pour lequel nous voulons construire des tests, on peut donc a rmer que sous l'hypoth se nulle, l' chantillon F X1 ; ; F Xn est distribu de la m me fa on que U1; ; Un o les Ui Uniforme ; . On peut aussi en conclure que pour simuler un tirage selon la loi de fonction de r partition F , il su t de disposer d'un g n rateur de nombres al atoires uniform ment r partis sur ; et de leur appliquer la transformation F ?1 :

2. 3. 4.

( ) ( ) ( )= ( ) ( ) ( ) ( ) ( ) ( ) = ( ) = ( ) ( ) ( ) ( ) = ( ) = ( ) ( ) ( ) ( ) ( ) ( ) ]0 1 = ( ) ( ) = = ( ) 1) ( ) ( ) ( ) ( )= ( )= ( ) ( )= ( )= ( ) 1 ( ) 0 1] ( ) ( ) 0 1] 0 1]

Nous allons maintenant v ri er que Dn est facile calculer. Cette v ri cation, combin e aux observations de la section pr c dente nous permettra de conclure que sous l'hypoth se nulle, la loi de Dn est bien libre. Nous adopterons la convention que x(1); ; x n d signe la version tri e en ordre croissant de x1; ; xn , les variables al atoires X(i) sont appel es les statistiques d'ordre de l' chantillon). Lemme 1.8. Le supremum dans la d nition de Dn peut tre calcul e cacement partir de l' chantillon tri en ordre croissant x(1); ; x(n) : p i i Dn n 0maxn max n ? F x(i) ; n ? F x(i+1) ; 6i6 avec la convention x(0) ? 1: D monstration. Consid rons un r el t compris entre x(i) et x(i+1). On a ? i Fn t n Fn x(i) < Fn x(i+1) i n ;

( )

1.3.1 Calcul de la statistique de Kolmogorov-Smirnov

(

)

(

)

=

(

)

(

)

=

( )=

=

(

)=

+1

1.3 La transformation quantile

7

et On a donc et

( )

Fn x(i) ? F x(i+1) 6 Fn t ? F t 6 Fn x(i) ? F x(i)

( ) ( ) ( )

?

F x(i) 6 F t 6 F x(i +1) :

( ) ( ) ( )

?

?

F x(i) ? Fn x(i) 6 F t ? Fn t 6 F x(i+1) ? Fn x(i) ce qui nous conduit i i jF t ? Fn t j 6 max n ? F x(i) ; n ? F x(i+1) pour tout t 2 x(i); x(i+1) : On peut par ailleurs v ri er avec le m me genre d'arguments que pour tout t < x(1) jF t ? Fn t j 6 F x(1) :

( ) ( ) ( ) ( ) ( ) ( ) ) ( ) ( ) ( )

?

?

?

Remarque 1.9. Cette caract risation de Dn nous assure au passage que Dn est bien une variable al atoire. Cela n'allait pas de soi avec la d nition de d part qui consid rait un supremum sur un ensemble non-d nombrable. Une cons quence importante du Lemme pr c dent est r sum e dans le Th or me suivant: Th or me 1.10. Si la fonction de r partition F est absolument continue alors la statistique de Kolmogorov-Smirnov Dn est distribu e comme pn max max i ? U ; i ? U n (i) n (i+1) i6n ou U(1) 6 U(2) 6 6 U(n) est le r arrangement croissant d'un chantillon i.i.d selon la loi uniforme sur ; : Si tn; d signe le ? quantile de la loi de Dn, le test Tn ; de Kolmogorov-Smirnov est d ni par si Dn > tn; Tn; Sn sinon:

0 1] 1 ( )= 1 0

Devant un test de cette forme, on peut aborder le probl me de calibration (d termination du seuil tn; en fonction du niveau de con ance recherch ) de deux fa ons: 1. d velopper un algorithme de calcul de tn; . Ceci est aujourd'hui envisageable en utilisant les possibilit s de simulation des ordinateurs. 2. montrer que la suite Dn converge en loi vers une variable al atoire non-d g n r e et tabuler une fois pour toute la loi limite. Ceci permet de construire de suites de tests de niveau asymptotique donn . Cette d marche (la seule raisonnable dans les ann es 1930) a soulev des questions tr s int ressantes en th orie des probabilit s. Elle a marqu e le d but de la th orie des processus empiriques , qui sous-tend la th orie de la reconnaissance des formes ainsi que la th orie statistique de l'apprentissage. Nous n'avons pas les moyens techniques et conceptuels pour traiter le point 2 ci-dessus. Mais nous allons tout de m me v ri er que sous l'hypoth se nulle, Dn ne grandit pas p p trop vite, en fait certainement pas plus vite que n , car Dn n tend en probabilit vers :

/ 0

8

Tests non-param triques : le test de Kolmogorov-Smirnov

1.4 Une loi des grands nombres th or me de Glivenko-Cantelli

= ( )

fonctionnelle

: le

Convenons de la d nition suivante Dn Zn pn supt 2R jFn t ? F t j : Le th or me classique d montr par Glivenko et Cantelli dans les ann es trente du vingti me si cle s' nonce ainsi. Th or me 1.11. Pour toute probabilit P sur R , de fonction de r partition F continue, la suite Zn n 2N converge en probabilit vers : 8 " > ; P fsup t2R jFn t ? F t j > " g n :

( ) ( ) 0 0 ( ) ( )

*

])

0

Remarque 1.12. Pour chaque valeur particuli re de x, on peut crire X 1xi 6t ? E 1X 6t : Fn t ? F t n

( ) ( )= 1

La di rence Fn t ? F t est donc une somme de variables de Bernoulli ind pendantes, normalis e par n. La loi des grands nombres habituelle nous indique alors 8" > ; 8t 2 R; P f jFn t ? F t j > " g n : Le th or me de Glivenko-Cantelli constitue une loi des grands nombres uniforme. Il s'agit d'un des premiers r sultats de ce type. Une large part des statistiques contemporaines est d di e ce type de ph nom nes.

( ) ( ) 1/ 0 ( ) ( )

i6n

(

*

0

F ?1 k : Etant donn un chantillon x1; ; xn, et la fonction de r partition empirique Fn associ e, si y k 6 x 6 y k +1, alors F y k 6 F x 6 F y k +1 Fn y k 6 Fn x 6 Fn y k +1 : Donc F y k ? Fn y k +1 6 F x ? Fn x 6 F y k +1 ? Fn y k ce qui entraine jF x ? Fn x j 6 max jF y k ? Fn y k j; jF y k +1 ? Fn y k+1 j soit sup jF x ? Fn x j 6 max max jF y k ? Fn y k j :

yk

( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ( ) ( ) ( ) ( ) )+

D monstration. Soit une r el strictement positif. Pour k 2 N, 6 k 6 b c, on d nit

1

1

y1

Par ailleurs, pour x 6 y 1,

6x6 y b1/ c

(

)

(

)

1

6k 6b1/ c

(

(

(

)

(

) )+

et de m me pour x > y b1/ c jF x ? Fn x j 6 Fn y b1/ c ? F y b1/ c

( ) ( ) ( ) (

jF x ? Fn x j 6 jFn y ? F

( ) ( )

1)

(

y 1)

j

+

) +

:

telli

9

En r capitulant

On peut maintenant observer que F y k ? Fn y k est un somme normalis e de variables al atoires centr es d'esp rance nulle et de variance k ? k : Donc d'apr s l'in galit de Bienaym e-Chebyshev ? P n fjF y k ? Fn y k j > u g 6 k nu2k 6 nu2 : Et c P n max jF y k ? Fn y k j > u 6 b nu2 :

( ) ( ) (1 ) ( ) ( ) (1 ) 1 4

Dn pn 6 6k 6b c max jF max

1 1/

(

(

y k)

? Fn y k j

(

) )+

:

k 6b1/ c

(

)

(

)

1/

4

, on peut en d duire que, lorque n tend vers l'in ni: D : P n pn > n Comme on peut choisir arbitrairement petit, la convergence en probabilit est d montr e.

= 2 0

En choisissant u

que sur deux choses: la loi des grands nombres pour des sommes de variables de Bernoulli, et sur la possibilit d'encadrer chaque indicatrice de demi-droite, par deux indicatrices assez proches. Cette derni re id e est souvent utilis e sous une forme g n ralis e en th orie des processus empiriques : c'est la possibilit de couvrir la classe de fonctions int ressante F l'aide d'un nombre ni d'intervalles ou braquets (brackets ). Le th or me de Glivenko-Cantelli nous donne une intuition sur le comportement de la statistique de Kolmogorov-Smirnov. Si on veut se convaincre Th or me 1.14. Si X1; ; Xn est collect par des tirages i.i.d. selon une loi P 0 de pn sup jF x ? F x j converge en P 0-probafonction de r partition F 0 F, alors Dn x n bilit vers l'in ni. D monstration. Il existe > , tel qu'il existe x v ri ant F 0 x ? F x > > ou F x ? F 0 x > > . Sans perdre en g n ralit supposons que nous sommes dans la premi re situation. Comme pn sup jF t ? F t j > pn F x ? F x pn F x ? F 0 x pn F 0 x ? F x ; n n n

( ) = ( ) ( ) 0 ( ) ( ) 0 ( ) ( ) 0

Remarque 1.13. Cette d monstration du th or me de Glivenko-Cantelli ne s'appuie

1.4.1 Consistence du test de Kolmogorov-Smirnov

Dn > n Fn x ? F 0 x n : 0 La loi des grands nombres, indique que sous P 0, jF 0 x ? Fn x j P . Donc P 0fFn x ? F 0 x < ? g n ; soit pour tout M > p P 0 n sup jFn t ? F t j > M ! :

( ( ) ( )) + ( ) ( ) ( ) /2 0

on a donc

t

( )

( )

(

(

)

(

)) =

(

(

)

(

)) +

(

(

)

(

))

p

p

*

(

)

*

0

0

t

( )

( )

1

Ceci implique que quelque soit le choix d'un seuil > , le test qui rejette l'hypoth se nulle lorsque Dn > ; la probabilit de rejeter lorsque l'hypoth se nulle n'est pas v ri e tend vers lorsque la taille de l' chantillon tend vers l'in ni.

0 1

10

Tests non-param triques : le test de Kolmogorov-Smirnov

L' tude de la convergence en loi de Dn est hors de notre port e, on se contentera de mentionner que la loi limite est celle du supremum d'une collection de variables gaussiennes. Nous pouvons cependant prouver des r sultats asymptotiques extr mement int ressants. Le r sultat suivant n'a trouv sa forme d nitive (et optimale) qu'en 1990.

1.5 R sultats non-asymptotiques

0.0

0.2

0.4

0.6

0.8

0.0

0.2

0.4

0.6

0.8

1.0

Figure 1.3. Les deux courbes (bleues et noires ) repr sentent deux r alisations des fonctions p j ( ) ? ( )j pour 2 0 1] lorsque les points de l' chantillon sont collect s al atoires n selon la loi uniforme sur 0 1] La taille de l' chantillon est 100000

t n F t F t : t ; ; :

F, la fonction de r partition de P est continue, si Fn d signe la fonction de r partition p empirique, et si Dn n supx jFn x ? F x j alors: (1.1) P n fDn > g 6 ?2 ; E Dn 6 : (1.2)

( ) ( ) 2e 1

2

Th or me 1.15.

Dvoretzky-Kieffer-Wolfowitz. Si X1; ; Xn sont i.i.d.

P, si

]

Remarque 1.16. L'in galit 1.1 est une cons quence directe de l'in galit 1.15, il su t

d'utiliser la relation v rif e par toute variable al atoire positive :

E X]

=

=

=

Px d 0apres le theoreme de Tonelli ? Fubini Z Z u<x P x u

R

+

Z x Px R Z Z

+

d

(

)

R

+

1

u<x du

d

d

(

)

ZR

R

+

=

+

P fX > u g u:

d

R

+

1

(

) d

1.6 Test d'homog n it

11

( )

Remarque 1.17. Ce r sultat sugg re que la multiplication de Fn p

( ) ( )

par n est un bon choix. Le facteur n est maximal (si on pense utiliser le th or me central limite pour une valeur x e de t) : si on multiplie supt jFn t ? F t j par une quantit p plus grande que n , on ne peut pas esp rer obtenir de convergence enp Ce qui est loi. une surprise agr p c'est qu'en multipliant supt jFn t ? F t j par n , on est cerable, tain que la suite n supt jFn t ? F t j sera tendue : pour tout " > ; on pourra trouver un intervalle born qui portera une fraction ? " de toutes les lois des variables al ap toires n supt jFn t ? F t j, c'est une indication pr cieuse sur la possibilit de montrer que la suite des lois de Dn converge. On trouvera en annexe une preuve d'une version a aiblie du th or me de DvoretzkyKie er-Wolfowitz. On pourra se former quelques intuitions en construisant de grands chantillons de Dn pour di rentes valeurs de n.

( ) ( ) ( ) ( ) ( ) 0 1 ( ) ( )

?F

p

n=100

4000 4000

n=1 000

3000

2000

0

1000

0.5

1.5

2.5

0

1000

2000

3000

0.5

1.5

2.5

Figure 1.4.

n

=

100 et

n

=

Histogramme d'un chantillon de 50000 tirages de 1000

:

D

n

sous l'hypoth se nulle pour

1.6 Test d'homog n it

Comme pour le cas des tests de type 2, on peut envisager d'autres probl mes de test, en particulier : D nition 1.18. Test d' identit en distribution. Soit x1; ; xn et y1; ; yn deux chantillons de n points de R. Les deux chantillons ont-ils t engendr s par n tirages ind pendants selon une m me loi poss dant une densit (inconnue) sur R ?

( ) ( )

Annexe A

Nous allons nous contenter de montrer une version faible du th or me de DvoretzkyKiefer-Wolfowitz.

Proposition A.1. Si X1; ; Xn sont i.i.d. P, si F, la fonction de r partition de P est p continue, si Fn d signe la fonction de r partition empirique, et si Dn n supx jFn(x) ? F (x)j alors, pour > 0 et n > 2/ 2 :

P n fDn > g 6 p ? /32 ; 16 6 : E Dn 6

e

2

]

2

3

(A.1) (A.2)

( ]

Notons F , l'ensemble des fonctions indicatrices des demi-droites ? 1; x :

F

( )

f f 2 f ; gR; 9x 2 R; f y

: 0 1 ( ( )

)=

1y 6x pour tout y

:

1 1

Pour tout chantillon x1; ; xn et tout vecteur Rn x1; ; xn ; 1; ; n par

( 1

; ;

n X i=1

n)

2 f ? ; gn, on d nit

Rn x1; ; xn ; 1; ;

( 1 1

n)

sup f 2F j n

1

if (xi)j :

Dans la suite nous utiliserons une suite de variables al atoires "1; ; "n i.i.d uniform ment sur f ? ; g, on les appellera variables de Rademacher.

Lemme A.2. ( Sym trisation ) Supposons X ; ; Xn ; " ; ; "n P n Bn o B est la loi uniforme sur f ? ; g. Les variables al atoires Rn et Zn sont d nies par Zn P P sup f 2F j n i6n f Xi ? E f j et Rn sup f 2F j n in "if Xi j alors

(

1

1

)

1

1

=

1

(

)

]

=

1

=1

(

)

E Zn] 6 2 E Rn] ;

(A.3) (A.4)

et pour n > 2/t2 ,

P n fZn > t g 6 P n B n Rn > t :

4 4

D monstration. V ri ons d'abord la premi re in galit du lemme.

13

14

Supposons X1; ; Xn ; Y1; ; Yn ; "1; ; "n

(

E Zn]

=

2 3 X f Xi ? EP n f Yi 5 EP n4 sup n

1

)

P 2n B n.

(

3 2 X 6 EP n4EP n sup n f Xi ? f Yi 5

1 =

i6n en appliquant l 0inegalite de Jensen al 0esperance interne f 2F

1

f 2F

(

)

)]

EP 2n4 sup f 2F

=

EP 2n B n4 sup f 2F EP 2n

2

5 n i6n f Xi ? f Yi par symetrie de la loi de Xi ; Yi 2

( ( ) ( ))

en invoquant le theoreme de Fubini 3 2

i6n

(

)

(

)

X

1

6

=

2 X n4 sup "if Xi B n

1

n i6n

i6n

X

3 "i f Xi ? f Yi 5

( ) ( ( ) ( )) ( ) +

EP n B n Rn]:

f 2F

sup f 2F n i6n

1

X

3 "if Yi 5

( )

Pour prouver la seconde in galit , d nissons les v nements

An Bn Cn

f 9 8 x ; ; x n Zn x ; ; x n > t g ; = < X x ; ; xn ; y ; ; yn 9 f 2 F ; n f xi ? f yi > t ;; : i6n

(

1

):

(

1

)

(

1

1

):

1

(

(

)

(

))

2

(

x1; ; xn ; "1; ; "n Rn > t :

): 4

Remarquons que Bn contient l' v nement

1 ( ( ) (

9 8 = < X X f xi ? E f Yi > t et n f yi ? E f Yi < t ; : Dn : 9 f 2 F ; n i6n i6n

)) 1 ( ( ) ( )) 2

On consid re en n le sous-ensemble En de Dn pour lequel parmi les fonctions f 2 F qui r alisent

n i6n f xi ? E f Yi > t

1 ( ( ) ( ))

X

la plus petite (l'indicatrice de la demi-droite dont l'extr mit droite est la plus petite) r alise aussi X f yi ? E f Yi < t : n i 6n

1 ( ( ) ( )) 2

On notera f ? cette indicatrice. On a alors

15

P

2

n fBn g

Pour f x e, la probabilit de l' v nement

1 ( (

8 9 < = X ? f yi ? E f ? Yi < t ; P n 1 x ; ; xn 2 An et n i6n Rn : d 0apres le2 theoreme de Fubini 9 3 Z Z 8 X = < f ? yi ? E f ? Y i < t ; P n 5 P n 1An4 1 Rn Rn : n 2 Z 8i6n 9 3 Z = < X > n 1An4finf n 1: n f yi ? E f Yi < t ; P n5 P n 2F R R i6n Z

Rn

2 2

>

Z

1EndP 2n

(

=

1

)

1

(

(

)

(

))

2

d

2

=

1

(

(

)

(

))

2

d

d

2

1

(

(

)

(

))

2

d

d

2

9 8 = < X f yi ? E f Yi < t ; : n i6n

) ( )) 2 ) ( )) d 1 4 ]

peut tre minor e gr ce l'in galit de Bienaym e-Chebyshev:

Z

9 8 = < X f yi ? E f Yi < t ; P n > ? Var f > ? nt > : 1 nt Rn : n i 6 n

1 ( ( 2

2

1

1

1 2

2

On en conclut

P 2n fBn g > P n fAn g :

1 2 2

Pour tablir la seconde in galit du lemme, il su t de v ri er P 2n fBn g 6 P n B n fCn g: Mais

P 2n fB n g

=

P 2n

2

6 P

2

n

6 P n Bn fC n g :

8 9 < = X B n:9 f 2 F ; n "i f Xi ? f Yi > t ; i6n 1 9 8 0 < = X X "i f Xi ; n "i f Y i A > t ; B n:9 f 2 F ; max @ n i6n i6n

1 ( ( ) ( )) 2 1 ( ( )) 1 ( ( )) 4

16

nies gauche, on peut l'appliquer des situations beaucoup plus compliqu es. Il fait partie des outils primitifs de la th orie des processus empiriques et de la th orie des probabilit s dans les espaces de Banach.

Remarque A.3. Le Lemme A.2 n'est absolument pas li au cas des demi-droites in -

Dans le lemme suivant, nous allons examiner le mode d'emploi du Lemme A.2 dans le cas particulier qui nous int resse.

d pend pas de la r alisation x1; x2; ; xn de l' chantillon. Elle co ncide avec la loi de la variable al atoire

Lemme A.4. P n presque s rement, la loi de Rn conditionnellement X ; ; Xn ne

1

Mn

sup "j i 2f1; ;n g n j =1

1

i X

sous B n. En particulier E Mn jX1; ; Xn] est presque s rement constante.

D monstration. Remarquons que P n-presque s rement, les points de l' chantillon sont distincts. Notons X ; ; X n leur r arrangement croissant. Si x 2 X i ; X i ; on a

pour toute r alisation des variables de Rademacher:

(1) ( ) ( ) ( +1))

n j =1 " j1(?1;x] Xj

1 (

n X

)=

n j =1 "j :

1

i X

On traite de fa on similaire les cas o x < X(1) et x X(n): On a ainsi montr que pour toute r alisation des variables de Rademacher: sup

n f 2F i=1

1

n X

"if Xi

(

) =

i 2f0; ;n g

sup

n j =1 "j :

1

i X

La moyenne conditionnelle de Rademacher co ncide ici avec l'esp rance du supremum d'une marche al atoire sym trique.

Lemme A.5. g:

1

Principe de r flexion. Si "1; ; "n sont i.id. uniform ment sur

8 9 8 i 9 i < = <X = X P : sup "j > ; 6 P : "j > ; ; i 2f ; ;n g j j 8 9 8 i 9 i < = <X = X P : sup "j > ; 6 P : "j > ; : i 2f ; ;n g j j

2

f? ;

1

0

=1

=1

4

0

=1

=1

i<n

D monstration. Comme les variables de Rademacher sont sym triques, on a pour tout

8 n <X P: j i

= +1

9 8 n = <X j > ; P: j i

0 =

= +1

9 = j< ;;

0

17

donc P

nPn

8 n 9 8 n 9 m <X = < X = X P: > F > ; P: > ; : j j j j j j m Comme 8 n 9 8 n 9 n m k <X = X <X = X ^ X P: P: j> ; j> ^ j> ^ j6 ; j m j k<m j 8jn 9 n m k = X <X X ^ X P: > > ^ 6 ; j j j m j j k<m j 8m 9 k <X = ^ X P: j> ^ j6 ; j k<m j 8m 9 n <X k = X ^ X P: j> ^ j6 ; m k<m j 9 8 j i = < X > ;: P : sup (A.5) j i 2f ; ;n g j

0 1 2

j =i+1

j > > . On a donc pour tout m < n

0

o

1 2

=1

=1

=

+1

=

=1

=1

=1

=1

=1

=

=1

=1

=1

=1

=1

=1

1 2

=1

=1

=1

=

1 2

0

=1

Notons en n que d'apr s l'in galit de Hoe ding :

P n "i > i =1

1

( X n

)

e?

n

2 2

:

(A.6)

La version faible du Th or me de Dvoretzky-Kie er-Wolfowitz se d duit des trois lemmes et de l'in galit de Hoe ding.

Information

/home/stephane/.TeXmacs/system/tmp/tmp_1912005971.ps

17 pages

Report File (DMCA)

Our content is added by our users. We aim to remove reported files within 1 working day. Please use this link to notify us:

Report this file as copyright or inappropriate

1191043