Δείκτης Shannon

Πρόδρομος Ελευθερίου · #1

Αν σε μια βιοκοινότητα που αποτελείται από

είδη παριστάνουμε με n_i

τον αριθμό των ατόμων του είδους

και

το συνολικό αριθμό των ατόμων των

ειδών της βιοκοινότητας αυτής, τότε ορίζουμε ως:

• $p_i=\dfrac{n_i}{N}$ , i=1,2,3….,S

, τη σχετική αφθονία (συχνότητα εμφάνισης) του είδους

.
• $H'= -\displaystyle\sum_{i=1}^{s} p_i\ln{p_i}$ το Δείκτη Ποικιλότητας του Shannon.

Να αποδείξετε ότι ο Δείκτης του Shannon γίνεται μέγιστος μόνο όταν όλα τα

είδη αποτελούνται από τον ίδιο αριθμό ατόμων.

#2

Προφανώς $\displaystyle\sum_{i=1}^S p_i = \dfrac{n_1+n_2+\cdots n_S}{N}=\dfrac{N}{N}=1$

Ορίζουμε τη συνάρτηση $f(x)=x\ln{x}$ η οποία είναι κυρτή άρα από την ανισότητα Jensen ισχύει

$f(p_1)+f(p_2)+\cdots f(p_S) \geq Sf\left(\dfrac{p_1+p_2+\cdots + p_S}{S}\right)=Sf\left(\dfrac{1}{S}\right)=-\ln{S}$ κι έτσι ισοδύναμα

$-\displaystyle\sum_{i=1}^{s} p_i\ln{p_i}\leq \ln{S}$ οπότε το μέγιστο του δείκτη του Shannon

είναι το $\ln{S}$ και λαμβάνεται αν και μόνο αν

$p_1=p_2=\ldots=p_S=\dfrac{1}{S}$ δηλαδή αν και μόνο αν $n_1=n_2=\ldots = n_S \left( = \dfrac{N}{S}\right)$ που είναι το ζητούμενο.

Αλέξανδρος

#3

cretanman έγραψε:
$-\displaystyle\sum_{i=1}^{s} p_i\ln{p_i}\leq \ln{S}$

Ένας φαινομενικά διαφορετικός τρόπος για να φτάσουμε στην παραπάνω ανισότητα, είναι να χρησιμοποιήσουμε την λεγόμενη "tangent method" (στην ουσία πρόκειται για την ανισότητα Jensen) την οποία έχουμε αναφέρει αρκετές φορές εδώ στο

. Επειδή λοιπόν "υποψιαζόμαστε" ότι η ισότητα λαμβάνεται όταν όλες οι μεταβλητές $p_1,p_2,\ldots, p_S$ είναι ίσες με $\dfrac{1}{S}$ βρίσκουμε την εξίσωση εφαπτομένης της συνάρτησης $f(x)=x\ln{x}$ στο σημείο αυτό. Η εξίσωση της λοιπόν είναι $y=(1-lnS)x-\dfrac{1}{S}$ . Επειδή λοιπόν η

είναι κυρτή άρα $f(x) \geq (1-lnS)x-\dfrac{1}{S}$ και εφαρμόζοντας κυκλικά για τα $p_1, p_2, \ldots , p_S$ και προσθέτοντας κατά μέλη παίρνουνε το ζητούμενο καθώς και την περίπτωση της ισότητας.

Αλέξανδρος

ΠΑΠΑΔΟΠΟΥΛΟΣ ΣΤΑΥΡΟΣ · #4

Δεν γνωρίζω αν είναι δόκιμος όρος δείκτης Shannon.
Εχει όμως μεγάλη σημασία στην Information theory και όχι μόνο.
Περισσότερα και πιο αναλυτικά στο
https://en.wikipedia.org/wiki/Entropy_( ... on_theory)

Πρόδρομος Ελευθερίου · #5

1ος τρόπος
(Με τη βοήθεια της ανισότητας Jensen)

Με το ίδιο τρόπο την έλυσαν και άλλοι συνάδελφοι για παράδειγμα:

• Αλέξανδρος Συγκελάκης (βλέπε παραπάνω)

• Lampros Katsapas

https://www.facebook.com/photo.php?fbid ... =3&theater

• Παύλος Τρύφων

2ος τρόπος

• Ανάλογη σκέψη είχε και ο συνάδελφος Παύλος Τρύφων

Έχουμε:
$\displaystyle{\sum\limits_{i=1}^{s}{{{p}_{i}}}=1} \ \ (1)$

$\displaystyle{-\ln S=\ln \frac{1}{S}=1\cdot \ln \frac{1}{S}}=\displaystyle{\left( \sum\limits_{i=1}^{s}{{{p}_{i}}} \right)\ln \frac{1}{S}}=\displaystyle{\sum\limits_{i=1}^{s}{{{p}_{i}}\ln \frac{1}{S}}}$

Θα αποδείξουμε ότι $\displaystyle{-\sum\limits_{i=1}^{s}{{{p}_{i}}\ln {{p}_{i}}}\le \ln S}$

Έχουμε: $\displaystyle{-\sum\limits_{i=1}^{s}{{{p}_{i}}\ln {{p}_{i}}}-\ln S\overset{\text{ }(1)}{\mathop{\text{ =}}}\,\text{ }\sum\limits_{i=1}^{s}{{{p}_{i}}\ln \frac{1}{{{p}_{i}}}}+}\displaystyle{\sum\limits_{i=1}^{s}{{{p}_{i}}\ln \frac{1}{S}}}=\displaystyle{\sum\limits_{i=1}^{s}{{{p}_{i}}\left( \ln \frac{1}{{{p}_{i}}}+\ln \frac{1}{S} \right)}}=\displaystyle{\sum\limits_{i=1}^{s}{{{p}_{i}}\ln \frac{1}{{{p}_{i}}S}}} \ \ (2)$

Σύμφωνα με την ανισότητα $\ln{x}\leq x-1, \ x>0$ ,έχουμε:

$\displaystyle{\sum\limits_{i=1}^{s}{{{p}_{i}}\ln \frac{1}{{{p}_{i}}S}}}\leq\displaystyle{\sum\limits_{i=1}^{s}{{{p}_{i}}\left( \frac{1}{{{p}_{i}}S}-1 \right)}} \ \ (3)$

Επομένως, λόγω των (2)

και

έχουμε:

$\displaystyle{-\sum\limits_{i=1}^{s}{{{p}_{i}}\ln {{p}_{i}}}-\ln S}$ \leq $\displaystyle{\sum\limits_{i=1}^{s}{{{p}_{i}}\left( \frac{1}{{{p}_{i}}S}-1 \right)}}=\displaystyle{\sum\limits_{i=1}^{s}{\frac{1}{S}-1}}=\displaystyle{S\frac{1}{S}-1}=0$
Άρα $\displaystyle{-\sum\limits_{i=1}^{s}{{{p}_{i}}\ln {{p}_{i}}}-\ln S}\leq 0\Leftrightarrow\displaystyle{-\sum\limits_{i=1}^{s}{{{p}_{i}}\ln {{p}_{i}}}\le \ln S}$ .

Η τελευταία σχέση ισχύει ως ισότητα όταν $p_1=p_2=\ldots=p_s=\displaystyle{\frac{1}{S}}$ .

Άρα ο δείκτης του Shannon γίνεται μέγιστος όταν $p_1=p_2=\ldots=p_s =\displaystyle{\frac{1}{S}}$ . Η μέγιστη τιμή του δείκτη του Shannon είναι ίση με $\ln{S}$ .

3ος τρόπος

Υπενθυμίσεις:
Θεώρημα 1 (Ανισότητα Cauchy)

Αν $\alpha_1,\alpha_2,\ldots,\alpha_s$ θετικοί αριθμοί, τότε:
$\displaystyle{\frac{{{\alpha }_{1}}+{{\alpha }_{2}}+...+{{\alpha }_{s}}}{s}\ge \sqrt[s]{{{\alpha }_{1}}\cdot {{\alpha }_{2}}...{{\alpha }_{s}}}}$ , (1)
Η ισότητα ισχύει όταν $\alpha_1=\alpha_2=\ldots=\alpha_s$ .

Θεώρημα 2.

Αν $\alpha_1,\alpha_2,\ldots,\alpha_s, \beta_1,\beta_2,\ldots,\beta_s$ θετικοί ρητοί, τότε:

$\displaystyle{{{\left( \frac{{{\alpha }_{1}}{{\beta }_{1}}+{{\alpha }_{2}}{{\beta }_{2}}+...+{{\alpha }_{s}}{{\beta }_{s}}}{{{\beta }_{1}}+{{\beta }_{2}}+...+{{\beta }_{S}}} \right)}^{{{\beta }_{1}}+{{\beta }_{2}}+...+{{\beta }_{S}}}}\ge \alpha _{1}^{{{\beta }_{1}}}\cdot \alpha _{2}^{{{\beta }_{2}}}...\alpha _{s}^{{{\beta }_{s}}}}$ , (2)

Σχόλιο 1.
Το θεώρημα 2 αποδεικνύεται με τη βοήθεια του θεωρήματος 1.

Πόρισμα

Αν $p_1,p_2,\ldots, p_s$ θετικοί ρητοί, τότε:

$\displaystyle{{{\left( \frac{{{p}_{1}}+{{p}_{2}}+...+{{p}_{s}}}{s} \right)}^{{{p}_{1}}+{{p}_{2}}+...+{{p}_{s}}}}\le p_{1}^{{{p}_{1}}}\cdot p_{2}^{{{p}_{2}}}...p_{s}^{{{p}_{s}}}}$

Πράγματι:
Από το θεώρημα (2)

για $\displaystyle{{{\beta }_{i}}={{p}_{i}}}$ και $\displaystyle{{{\alpha }_{i}}=\frac{1}{{{p}_{i}}}}$ , παίρνουμε:

$\displaystyle{{{\left( \frac{s}{{{p}_{1}}+{{p}_{2}}+...+{{p}_{s}}} \right)}^{{{p}_{1}}+{{p}_{2}}+...+{{p}_{s}}}}\ge \frac{1}{p_{1}^{{{p}_{1}}}\cdot p_{2}^{{{p}_{2}}}...p_{s}^{{{p}_{s}}}}}$

Επειδή όμως $\displaystyle{{{p}_{1}}+{{p}_{2}}+...+{{p}_{s}}=1}$ θα έχουμε:

$\displaystyle{s\ge \frac{1}{p_{1}^{{{p}_{1}}}\cdot p_{2}^{{{p}_{2}}}...p_{s}^{{{p}_{s}}}}\Rightarrow \ln s\ge -\ln \left( p_{1}^{{{p}_{1}}}p_{2}^{{{p}_{2}}}...p_{s}^{{{p}_{s}}} \right)\Rightarrow }\displaystyle{\ln s\ge -\left( {{p}_{1}}\ln {{p}_{1}}+{{p}_{2}}\ln {{p}_{2}}+...+{{p}_{s}}\ln {{p}_{s}} \right)}$

Άρα: $\displaystyle{-\sum\limits_{i=1}^{s}{{{p}_{i}}\ln {{p}_{i}}}\le \ln S}$

Η ισότητα ισχύει όταν p_1=p_2=…=p_s

Σημείωση.
1. Στο εξατάξιο Γυμνάσιο Καλλονής Λέσβου, όπου φοιτούσα, είχα την τύχη να έχω δυο εξαιρετικούς δασκάλους, τον Μαθηματικό κ. Γεώργιο Δ. Βαλτά και τον Φυσικό κ. Δημήτριο Σκιαδέλλη. Στον πρώτο ανήκει η ιδέα του παραπάνω 3ου τρόπου απόδειξης και στον δεύτερο η ιδέα του 1ου τρόπου καθώς και ενός άλλου, τον οποίο δεν μνημόνευσα, γιατί ξε-φεύγει από την σχολική ύλη (Θεώρημα Lagrange για ακρότατα συναρ-τήσεων πολλών μεταβλητών).

2. Για τον 3ο τρόπο χρήσιμες θεωρώ και τις πληροφορίες που περιέχονται στις παρακάτω συνδέσεις:

• viewtopic.php?p=183388#p183388
• viewtopic.php?p=102985#p102985
• viewtopic.php?p=71706#p71706
• viewtopic.php?p=62119#p62119
• viewtopic.php?p=125388#p125388
• viewtopic.php?p=41133#p41133
• viewtopic.php?p=13843#p13843

Δείκτης Shannon

Δείκτης Shannon

Re: Δείκτης Shannon

Re: Δείκτης Shannon

Re: Δείκτης Shannon

Re: Δείκτης Shannon

Μέλη σε σύνδεση