Llei de Zipf-Mandelbrot

Llei de Zipf-Mandelbrot

Tipus	llei potencial
Epònim	George Kingsley Zipf, Benoît Mandelbrot i Vilfredo Pareto
Paràmetres	${\displaystyle N\in \{1,2,3\ldots \}}$ (enter) ${\displaystyle q\in [0;\infty )}$ (real) ${\displaystyle s>0\,}$ (real)
Suport	${\displaystyle k\in \{1,2,\ldots ,N\}}$
fpm	${\displaystyle {\frac {1/(k+q)^{s}}{H_{N,q,s}}}}$
FD	${\displaystyle {\frac {H_{k,q,s}}{H_{N,q,s}}}}$
Esperança matemàtica	${\displaystyle {\frac {H_{N,q,s-1}}{H_{N,q,s}}}-q}$
Moda	${\displaystyle 1\,}$
Entropia	${\displaystyle {\frac {s}{H_{N,q,s}}}\sum _{k=1}^{N}{\frac {\ln(k+q)}{(k+q)^{s}}}+\ln(H_{N,q,s})}$

En teoria de probabilitat i estadística, la llei de Zipf-Mandelbrot és una distribució de probabilitat discreta. També coneguda com la llei de Pareto-Zipf, és una distribució de llei potencial a les dades classificades, anomenada així pel lingüista George Kingsley Zipf qui va suggerir una distribució més senzilla anomenada llei de Zipf i el matemàtic Benoit Mandelbrot, que posteriorment la va generalitzar.

La funció de massa de probabilitat ve donada per:

${\displaystyle f(k;N,q,s)={\frac {1/(k+q)^{s}}{H_{N,q,s}}}}$

on ${\displaystyle H_{N,q,s}}$ és donat per:

${\displaystyle H_{N,q,s}=\sum _{i=1}^{N}{\frac {1}{(i+q)^{s}}}}$

que es pot considerar com una generalització d'un nombre harmònic. A la fórmula, ${\displaystyle k}$ és el rang de les dades ${\displaystyle q}$ i ${\displaystyle s}$ són paràmetres de la distribució. En el límit de ${\displaystyle N}$ quan s'acosta a l'infinit, es converteix en la funció zeta de Hurwitz ${\displaystyle \zeta (s,q)}$. Per a ${\displaystyle N}$ finit i ${\displaystyle q=0}$ la llei de Zipf-Mandelbrot es converteix en la llei de Zipf. Per a ${\displaystyle N}$ infinit i ${\displaystyle q=0}$ es converteix en la distribució Zeta.

Aplicacions

La distribució de paraules classificades per la seva freqüència en un corpus lingüístic aleatori s'aproxima per una distribució de llei potencial, coneguda com a llei de Zipf.

Si es dibuixa el rang de freqüència de les paraules contingudes en un corpus de dades de text de mida moderada vers el nombre d'ocurrències o freqüències reals, s'obté una distribució de llei potencial, amb exponent proper a 1 (però vegeu Powers, 1998 i Gelbukh i Sidorov, 2001). La llei de Zipf assumeix implícitament una mida de vocabulari fixa, però la sèrie harmònica amb s=1 no convergeix, mentre que la generalització de la llei Zipf-Mandelbrot amb s>1 ho fa. A més, hi ha proves que la classe tancada de paraules funcionals que defineixen un idioma obeeix a una distribució Zipf-Mandelbrot amb diferents paràmetres de les classes obertes de paraules amb contingut que varien per tema, camp i registre.^[1]

En estudis del camp ecològic, la distribució d'abundància relativa (és a dir, el gràfic del nombre d'espècies observades en funció de la seva abundància) es troba sovint conforme a la llei de Zipf-Mandelbrot.^[2]

Dins de la música, moltes mètriques de la música «agradable» s'ajusten a les distribucions Zipf-Mandelbrot.

Referències

Bibliografia

• Mandelbrot, Benoît. «Information Theory and Psycholinguistics». A: Language (en anglès). R.C. Oldfield and J.C. Marchall, 1968. 
• Powers, David M W «Applications and explanations of Zipf's law» (en anglès). Association for Computational Linguistics, 1998, pàg. 151–160.
• Zipf, George Kingsley. Selected Studies of the Principle of Relative Frequency in Language (en anglès). Cambridge, MA: Harvard University Press, 1932. 
• Van Droogenbroeck, F.J. «An essential rephrasing of the Zipf-Mandelbrot law to solve authorship attribution applications by Gaussian statistics» (en anglès). Academia, 2019.

Enllaços externs

• Z. K. Silagadze: Citations and the Zipf-Mandelbrot's law (anglès)
• NIST: Zipf's law (anglès)
• W. Li's References on Zipf's law (anglès)
• Gelbukh & Sidorov, 2001: Zipf and Heaps Laws' Coefficients Depend on Language (anglès)
• C++ Library for generating random Zipf-Mandelbrot deviates. (anglès)