Rappel de probabilité (4) : convergence en loi et TCL

On continue de réviser la base de probabilité et dans cette partie, on veut attaquer le problème de convergence en loi. Peut-être il y déjà un poste sur la convergence dans un espace métrique, mais le TCL et la fonction caractéristique a quand même des intérêts.

Convergence en loi dans $\mathbb{R}$

La définition de convergence en loi dans la situation $\mathbb{R}$ est assez simple et elle est définie par
$$ F_n(x) \rightarrow F(x) $$
pour tous les points de continuité. Un peu d'analyse nous dit que cette convergence est uniforme. Il y a plusieurs façons de caractériser la convergence. Par exemple, on dit $\mu_n \Rightarrow \mu$ si pour toute la fonction continuée et bornée, on a
$$\mu_n(f) \rightarrow \mu(f)$$

Il y a d'autre critère comme l'ensemble ouvert et fermé. 
$$\forall O \text{ouvert}, \liminf \mathbb{P}(X_n \in O) \geq \mathbb{P}(X \in O)$$
Une méthode de mémoriser l'inégalité est une suite de Dirac masse qui converge vers un point dans l’adhérence. La version fermée et bord est aussi facile à décrire.

On remarque dans la démonstration de $\mathbb{R}$, la représentation est assez directe i.e si $X_n \Rightarrow X$, on peut les tous mettre dans un espace en commun tel que $X_n \rightarrow X$ presque sûrement.

D'autre cas spécifique, comme le théorème de Scheffé, qui nous dit si la variable aléatoire a une densité $f_n$ et $f_n \rightarrow f$ ponctuellement, on a aussi la convergence car l'intégration de densité est toujours 1.

Tension

On liste la notation de tension dehors car elle a un rôle très important et peut être généralisé dans d'autre espace. Gros-moto, une suite est tendue si et seulement $\forall \epsilon > 0,$ il existe un compact $K_{\epsilon}$ tel que
$$\sup_n \mathbb{P}(X_n \notin K_{\epsilon}) < \epsilon$$.

L'intérêt de cette propriété est que une suite de mesure est pré-compact si et seulement elle est tendue. Donc, montrer la tension est suivant une partie important de convergence en loi. Une stratégie standard est l'argument "tension + convergence de loi marginal".

Fonction caractéristique 

On utilise aussi la fonction caractéristique d'analyser la convergence faible de variable aléatoire. La raison profonde est l'analyse de Fourier car la fonction caractéristique est la transformée de Fourier d'une mesure. Dans le livre de Durret, on voit beaucoup d'application de la fonction caractéristique. En fait, une formule utile est
$$ \frac{1}{2}(\mu(a) + \mu(b)) + (\mu((a,b)) = \frac{1}{2\pi} \lim_{T \rightarrow \infty} \int_{-T}^{T} \frac{e^{-ita}-e^{-itb}}{it}\phi(t) dt$$

Dans le cas où la fonction caractéristique est intégrable et donc la mesure a une densité, on peut retrouver la densité par la transformée inversée.
$$ f(x) = \frac{1}{2\pi} \int e^{-itx} \phi(t) dt $$

Combiner la propriété de tension et la propriété de fonction caractéristique, si la fonction caractéristique d'une suite de mesure converge, il a une convergence qui s'appelle la convergence vague. i.e la fonction de répartition n'est pas vraiment une fonction de répartition car l'information à limite est perdu. Cependant, si cette fonction a une continuité à 0, la suite a tension donc elle converge vers une mesure.

TCL, Poisson et loi stable

Finalement, on parle un peu du théorème de TCL et loi stable. La démonstration de TCL est classique est directe par la fonction caractéristique, mais on devrait savoir que c'est juste une situation très idéale. En fait, la convergence en loi est un peu robust, dans le sens que ce théorème est correct sous la condition plus faible. Pour le TCL c'est le théorème de Lendeberg-Feller.

La convergence vers une loi de Poisson est souvent appelée "le convergence de petite nombre" car il approche la probabilité d'événement rare. On peut aussi mesurer la vitesse de convergence en distance total - qui est une bonne distance de convergence en loi pour l'état discret.  

En concernant la loi stable, c'est une situation que variance n'est pas fini. Donc on fait une normalisation différente. Les variables $X$ étudiées dans ce problème a une vitesse de décroissance comme $x^{- \alpha}, 0 < \alpha < 2$. Sa limite $Y$ a une propriété que $\forall n, \exists a_n, b_n$ tel que
$$\frac{\sum_{k=1}^n Y_k - b_n}{a_n} \overset{d}{=} Y$$. Pour la paramètre $\alpha$, la normalisation est $n^{\frac{1}{\alpha}}$.

Dans d'autre espace polonais, certaine définition est aussi bien définie mais certaine ne marche plus, surtout ceux qui utilisent la fonction caractéristique, qui demande l'existence de transformée de Fourier.

 

Séminaire 03/05/2017 : Courbe de mesure

Résumé d'exposé d'après Hugo Lavenant sur le problème de transport optimal.

Problème de transport optimal
Sur un ensemble $\Omega$ on peut définir l'ensemble de mesure de probabilité $\mathcal{M}_1(\Omega)$. Un problème de transport optimal est chercher une manière de transport tel qu'il commence par une probabilité $\rho_0$ et termine par une autre $\rho_1$ ce coût est minimal.

Mathématiquement, l'ensemble de probabilité de transition est
$$
\Pi(\rho_0, \rho_1) = \{\pi \in \mathcal{M}_1(\Omega \times \Omega)| \forall A \in \mathcal{B}(\Omega) , \pi(A, \Omega) = \rho_0(A),  \pi(\Omega,A) = \rho_1(A)          \}
$$
et le coût est donné par la distance de Wasserstein
$$
W^2_2 (\rho_0, \rho_1) = \min_{\pi \in \Pi(\rho_0, \rho_1) } \{ \int_{\Omega \times \Omega} |x - y|^2 d\pi(x,y) \}
$$.

Bien sûr, on peut généraliser la distance ici par d'autre norme ou utiliser une distance double.


Courbe de mesure
Un théorème de Radmender nous dit dans l'espace $\mathbb{R}^d$, une fonction lipschitzienne est presque comme une fonction dérivée et on peut appliquer la formule Newton-Leibniz. En fait, c'est un résultat direct d'une fonction absolument continuée. Si on définit une flot
$$
\rho : [0, 1] \rightarrow \mathcal{M}_1(\Omega)
$$
qui est aussi lipschitzienne dans le sens de distance de Wasserstein. Alors,
$$
\frac{W_2 (\rho_{t+h}, \rho_{t})}{h}
$$
existes mais $W_2 (\rho_{t+h}, \rho_{t}) \leq \int_{t}^{t+h} |\partial \rho_t| dt$.

L’intérêt de courbe de mesure est de construire une mesure sur l'espace $\Gamma = C([0, 1], \Omega)$ donc c'est l'ensemble. Alors une mesure sur l'espace comme ça est un peu compliquée mais on rappelle qu'il est espace polonais. Donc, pour une flot, il existe une mesure $\mu \in \mathcal{M}_1(\Gamma)$ tel que
$$
 \rho_t(A) = \mu [\gamma \in \Gamma, \gamma(t) \in A]
$$
puis l'intégration
$$
\int_0^1  |\partial \rho_t|^2 dt = \int_{\Gamma} \left(\int_0^1  |\partial \gamma(t)|^2 dt\right)d\mu(\gamma)
$$
 Un dernier remarque : Cette façon relie beaucoup la analyse et la théorie de probabilité et surtout a un esprit de l'intégration de chemin. Imagine est-ce que l'on a chance de l'utiliser dans la géométrie aléatoire ? On va voir.

Rappel de probabilité (2) : convergence en loi - théorie générale sur l'espace métrique

La théorie de convergence sur l'espace de probabilité est peut-être plus compliquée que  nous avons pensé. Evidemment, on connait la définition de convergence p.s, de convergence en probabilité et de convergence en loi depuis on apprend la probabilité élémentaire - ou peut-être depuis on apprend l'analyse réelle. Mais ils ont des versions avancée. Par exemple, on peut poser des questions suivante:

-Est-ce que on peut parler de convergence en loi sur un espace abstrait ? Ou au moins, la convergence de processus aléatoire.

-Est-ce que la convergence  en loi a totalement rien à voir avec la convergence p.s ?

-Comment généraliser le nuage de Poisson ? 

Personnellement, c'est l'année dernière quand je lisait des articles sur la géométrie aléatoire, j'arrive de trouver que le contexte de ces terminologies est plus large. Heureusement, les géants ont déjà construit une base solide et assez générale pour nous. - Je crois les probabilistes comme Lévy; Meyer et Neveu comprennent les travaux aujourd'hui, même si le modèle est plus varié et sophistiqué.

Convergence en loi sur $\mathbb{R}^d$

La définition de convergence en loi sur $R^d$ est assez connue : 

Définition : (Convergence en loi $\mathbb{R}^d$)

On dit $\mu_n \Rightarrow \mu$ si $\forall f \in \mathcal{C}_c({\mathbb{R}^d})$, $\mu_n(f) \rightarrow \mu(f)$.

Il existe plusieurs caractérisations de cette définition. 

Caractérisation 1 : Par le théorème de Lévy et fonction génératrice.

Caractérisation 2 : Dans $\mathbb{R}$, la fonction de répartition satisfait $F_n(x) \rightarrow F(x)$ pour tous les points de continuité de $F$.

Caractérisation 3 : Dans $\mathbb{R}$, $\forall < \epsilon$, il $\exists A, t.q \sup_{n} \mu_n(\mathbb{R} \backslash [-A,A]) < \epsilon$, alors il existe une sou-suite $\mu_{\phi({n})} \Rightarrow \mu$.

Convergence en loi sur l'espace métrique

Un première question est "est-ce que l'on peut généraliser ces résultats sur un espace plus abstrait ? " Comme on sait comment définir une fonction continuée bornée $ \mathcal{C}_b((E,d),\mathbb{R})$ sur un espace métrique (en fait, un espace T4 suffit), et on rappelle la construction de mesure sur un espace métrique : c'est après la représentation de théorème de Riez et les fonctionnelles de Radon positives, c'est aussi possible de parler la convergence sur un espace abstrait.

La mesure sur celui a beaucoup de régularité $$\begin{eqnarray*}\forall A \in \mathcal{B}(E), \mu(A) &=& \inf \{\mu (O), O \text{ ouvert }, A \subset O\} \\ &=& \sup\{\mu (F), F \text{ fermé }, F \subset A\}\end{eqnarray*}$$

On dit $\mu_n \Rightarrow \mu$ si $\forall f \in \mathcal{C}_c((E,d),\mathbb{R})$, $\mu_n(f) \rightarrow \mu(f)$.

Cette définition est exactement parallèle que celle dans l'espace $\mathbb{R}^d$. On énonce un théorème, assez générale et en fait, on l'utilise aussi dans la démonstration dans les résultats précédents.

Théorème ; (Définition équivalente)

1. $\mu_n \Rightarrow \mu$.
2. $\forall O$ ouvert, $\liminf_{n \rightarrow \infty} \mu_n(O) \geq \mu(O)$.
3. $\forall F$ fermé, $\limsup_{n \rightarrow \infty} \mu_n(F) \leq \mu(F)$.
4. $\forall A \in \mathcal{B}(E) $ si $\mu(\partial A) = 0$, on a $\lim_{n \rightarrow \infty} \mu_n(A) = \mu(A)$.
5. $\forall f \text{ p.s } \mu $ bornée, $\lim_{n \rightarrow \infty} \mu_n(f) = \mu(f)$.

Espace polonais et métrisation de $\mathcal{M}_1(E)$

Quand on entre le domaine plus générale, c'est-à-dire le cas de l'espace topologique, on a besoin de travailler sur un espace un peu compliqué mais satisfait quand-même des propriétés similaires que celui dans l'espace $\mathbb{R}^d$. C'est l'espace polonais.

-

Définition : (Espace polonais)

Un espace $(E,d)$ polonais est un espace métrique, séparable et complet.

L'intérêt de cet espace est qu'il donne plus description sur la convergence en loi. En fait, la mesure comme un sous ensemble de fonctionnelle, c'est nature d'étudier la topologie sur cet espace $\mathcal{M}_1(E)$. En plus, le résultat suivant est vraiment important.

Proposition : (Topologie de $\mathcal{M}_1(E)$)
Soit $(E,d)$ un espace polonais,  alors on peut donner une distance sur $\mathcal{M}_1(E)$ tel qu'elle induit la même topologie étroite sur $\mathcal{M}_1(E)$. En plus, on peut réaliser que $\mathcal{M}_1(E)$ est un espace polonais sous cette distance.

C'est miracle. Une fois, on a une distance sur l'espace, les études sur $\mathcal{M}_1(E)$ est plus facile. La démonstration est assez intéressant. Grâce au théorème de Weierstrass-Stone, la fonction uniformément continuée est en fait séparable. Alors, on définit
$$
dist(\mu, \nu) = \sum_{n \geq  1}\frac{1}{2^n}|\mu(g_n) - \nu(g_n)| \wedge 1
$$
Cette distance réalise la même topologie et séparabilité. En revanche, la complétude, en fait, a rien à voir avec la topologie. Il y a des distances qui introduisent la même topologie mais avec différente complétude. La distance propre est plus compliquée qui s'appelle la distance de Lévy-Prokhorov.


Et puis, la convergence en lois de mesure est en effet un type de compacité sur $\mathcal{M}_1(E)$. La notation de tension et le théorème de Prokhorov seront utiles dans cette situation. Finalement, on rappelle le dernier résultat - la représentation de Shorokhod

Théorème de Shorokhod :
Soit $\mu_n \Rightarrow \mu$, alors il existe un espace $(\Omega,  \mathcal{F}, \mathbb{P})$ tel qu'il existe une suite de mesure $\nu_n$ ($\nu$)qui ont la même mesure que $\mu_n$($\mu$) mais $\nu_n \rightarrow  \nu$ p.s .

On sens vraiment, ce théorème va tricher dans quelques démonstrations.

Rappel de probabilité (1) : classe monotone et construction de mesure

Il y a toujours des techniques et des points subtiles dans la théorie de probabilité. Dans cet article, on collectionne des petites techniques utilisées suivantes dans la théorie de probabilité, la théorie de mesure et le processus stochastique.

Le premier article est consacré pour la construction de mesure et l'unicité grâce au théorème de classe monotone. En anglais, il s'appelle aussi le lemma de $\pi-$système et $\lambda-$système.

Définition (Classe monotone)
$\mathcal{M} \subset \mathcal{P}(E)$ est dit une classe monotone si et seulement s'il satisfait les propriétés suivantes :

1. $E \subset \mathcal{M}$
2. Soit $A,B \in \mathcal{M}, A \subset B$, alors $B \backslash A \in \mathcal{M}$
3. Soit $A_n \subset A_{n+1} \cdots, A_n \in \mathcal{M}$, alors $\bigcup_n A_n \in \mathcal{M}$ 

Lemma (Classe monotone)
Soit $\mathcal{C} \subset \mathcal{P}(E)$ et $\mathcal{C}$ est stable sous intersections finies, alors $\mathcal{M}(\mathcal{C}) = \sigma(\mathcal{C})$.
PF: On juste liste les idées clés dans la démonstration.

1. Il suffit de montrer que $\mathcal{M}(\mathcal{C})$ est aussi stable sous intersections finies.
2. On définit $\mathcal{M}_1(\mathcal{C}) = \{B \in \mathcal{M}(\mathcal{C}) | A \cap B \in \mathcal{M}(\mathcal{C})\}$  pour $A \in  \mathcal{C}$ et vérifie que $\mathcal{M}_1(\mathcal{C})$ est aussi une class monotone. Vu que $\mathcal{M}_1(\mathcal{C}) \subset \mathcal{M}(\mathcal{C})$, on obtient $\mathcal{M}_1(\mathcal{C}) = \mathcal{M}(\mathcal{C})$.
3. On adapte la même stratégie pour $A \in \mathcal{M}(\mathcal{C})$ et montre que $\mathcal{M}(\mathcal{C})$ est stable sous intersections finies et on conclut. 

Théorème (Unicité de mesure)
Soient $\mu, \nu$ deux mesure sur $(E, \mathcal{A})$ et $\mathcal{C} \subset \mathcal{A}$ stable sous intersections finies et $\sigma(\mathcal{C}) = \mathcal{A}$. Si deux mesures coincident sur $\mathcal{C}$, une condition suivante assure que les deux sont identiques sur $\mathcal{A}$.

1. $\mu(E) = \nu(E) < \infty$
2. $\exists E_n \in \mathcal{C}, E_n \in E_{n+1}, E = \bigcup_n E_n, \mu(E_n) = \nu(E_n) < \infty$

PF: La grande ligne est de montrer que l'ensemble $$\mathcal{G} = \{A \in \mathcal{A} | \mu(A) = \nu(A)\}$$
est une classe monotone, qui implique que l'unicité peut s'extender sur $\mathcal{A}$.   La première condition est en fait suffisant pour une mesure de probabilité et le deuxième généralise ce théorème dans le cas mesure infinie approximation d'une suite de mesure finie définie comme $$\mu_n(\cdot) = \mu(\cdot \cap E_n)$$

MMB (2) : Convergence of Galton-Watson

Before talking about the martingale theory of MMB, we prefer talking more about the model MAB and Galton-Watson model, the most classical model. We will talk about the longtime  behavior of the population.

Martingale in Galtton-Watson

We note $m$ as the expectation of the production. That is
$$
m = \sum_{k=1}^{\infty} k p_k
$$
A simple retira of extinction is that if $m \leq 1$, almost surely, the population will die. But if $m > 1$, the population has a probability to survive and this probability is the smaller fixed point of the characteristic function.
$$
q = \phi(q)
$$

If we would like to say more about the longtime behavior, in the sub-critical case, we have quasi-stationary theory, which is another story of my EA project. In the sup-critical case, we know that
$$
W_n = \frac{Z_n}{m^n}
$$
is a martingale, where $Z_n$ is the number of the population of each generation. The positivity means the convergence of martingale
$$
W_n \xrightarrow[p.s]{n \rightarrow \infty} W_{\infty}
$$
However, a natural question is in which case, we have U.I convergence or $L^1$ convergence. It has other sense in aspect of change of probability and we will study it later. Some special case is that when $\mathbb{E}(Z^2_1)  <  \infty$, then we have
$$
\begin{eqnarray*}
\mathbb{E}(W^2_{n+1}) & \leq &\mathbb{E}(W^2_{n}) + \frac{Var(Z_1)}{m^{n+2}} \\
\Rightarrow \sup_{n} \mathbb{E}(W^2_n) & < &\infty
\end{eqnarray*}
$$
Then we have a convergence in the sense $L^2$ and this implies the convergence in the sense $L^1$.

Generally, use the property of branch, we obtain that $\mathbb{P}(W_{\infty} = 0)$ is also a solution of $\phi(q) = q$. However, we have no idea that it is the smaller one. But in the case $\mathbb{E}(W_{\infty}) = 1$, we know that the in the sup-critical case it is not $1$. Then we get that
$$
\mathbb{P}(W_{\infty} = 0) =  \mathbb{P}(\text{Extinction})
$$
so conditionally non-extinction, we an exponential increment, except that we don't know the constant.

Then exact equivalent condition of convergence will be discussed at last and we just discuss the Galton-Watson with immigration in the second part.

Galton-Watson with immigration

In the model of Galton-Watson with immigration, each step we have not only the reproduction but also the immigration of population. We can of course couple $Z_n$ with a classical Galton-Watson $X_n$, then whether $\frac{Z_n}{m^n}$ converge depends on the intrgration  of $log(Y_1)$. 

We skip the technique  part, the result is that $$\begin{eqnarray*}\mathbb{E}(\log{Y_1}^+) < \infty \Rightarrow \lim_{n \rightarrow \infty} \frac{Z_n}{m^n} = c < \infty \\ \mathbb{E}(\log{Y_1}^+) = \infty \Rightarrow \lim_{n \rightarrow \infty} \frac{Z_n}{m^n} =  \infty\end{eqnarray*}$$

Change of probability and Kesten-Stigum theorem

The Kesten-Stigum theorem is as following.

\begin{eqnarray}
\mathbb{E}(W_{\infty}) &=& 1 \\
\mathbb{P}(W_{\infty} > 0 | \text{non-extinction}) &=& 1  \\
\mathbb{E}(Z_1 (\log{Z_1})^+) &<& \infty \\
\end{eqnarray}

The idea is very technique. To prove the  $\mathbb{E}(W_{\infty}) = 1$, we transform the problem to the change of probability. Then it is a biased Galton-Watson model, which can also be considered as a model with immigration. The we apply the result of the model of immigration. Technique part need the decomposition of measure and the change of probability in filtration.


--------------------------------------------------------------------------------------------------------------------------
Some remarks after two one years.

In 2017, I didn't understand all the part of this story, although the above gives almost all the points. The Kesten-Stigum theorem is important since it studies the the martingale of the Galton-Watson process. The critical and sub-critical case are easy : extinction. However, the super-critical case still has two cases : extinction or an exponential growth. The theorem tells us if there is no extinction, it is an exponential growth.

Secondly, to study the $W_n = \frac{Z_n}{m^n}$, we treat it as a change of probability i.e the probability $\mathbb{Q}$ of Galton-Watson process with immigration. We know that two measures can be decomposed into absolute continuous part and singular part. Moreover, in martingale case, it is that the part $\{W_{\infty} = \infty\}$ makes sense. The infinite part could not be seen as the part absolutely continuous, so we have to treat it specially.

Then the part of lemma Seneta is always technical. In fact, the number of individual of immigration contributes with a discount ration in the population. The criteria of $\log_+ Y$ often appears in the case of random environment.

Measure in metric space 1 : The structure of continuous function

Recently, I start to study the topic of random geometry, which deals the convergence of some interesting geometric objects in the space of probability. That is to say the value of the random variable is sometimes the geometric object and there is some space very interesting but also strange in the first glance like Gromov-Haussdorff space. But how to define the convergence in this sense? After all, we have to restart from the base.

Generally, we define the measure in metric space as the duality of the continuous and bounded function. To reach this point, at first we have to learn something about the structure of continuous function in metric space, or more generally the Haussdorff locally compact space.

Two theorem are the bases: the theorem of Urysohn and the theorem of Tietze. The theorem of Urysohn tells us that in the normal space X and two closed set E,F , we can define a continuous function who takes 1 in E and 0 in F. This generalizes the linear function or hat function in dimension 1. Then the Tietze theorem tells us, given a continuous function defined in the closed set E of X, we can extend it in the whole space X as a continuous function, which is so naive in R.

A power application of this two theorem is that, in fact, we can define the plateau function in metric space. I believe that if one has learned some modern analysis must know the importance of the plateau function in the analysis. The convolution and the technique like localisation all come from here. To prove it, we have to observe that: T2 + compact = T4. In locally compact Haussdorff space, we can always add one open set O between the compact set K and an open set U who contains the compact, moreover, the closure of O is also contained in U. Then, the Urysohn gives the plateau function support in the closure of O.

A tricky lemma about the possibility to divide the compact K in two compact K1, K2 which belongs to U1 and U2 respectively and the union of U1 and U2 covers K. The proof is a little tricky, but it leads the decomposition of unity in locally compact Haussdorff space and then a continuous support compact function can be decomposed in the finite sum of the function of same type. Moreover, in disjoint compact set, we can define a continuous function to joint the simple function, so continuous support compact function is dense in many norms.

That is the first step to understand a profound measure, it is long but I believe that it deserve the hard work to conquer it.