Se numeşte semn un element al unei mulţimi finite de obiecte ce se pot distinge. O mulţime de semne ordonate liniar se numeşte alfabet.

Exemple de alfabete:

1)   alfabetul cifrelor zecimale: 0, 1, 2, …,9

2)   alfabetul cifrelor latine mari A, B, C, … Z

etc.

O importanţă deosebita o au alfabetele de numai două semne. Aşa alfabete sunt binare, iar semnele respective – semne binare.

Exemplu:

1)   cifrele {0, 1};

2)   perechea de culori {alb, negru};

3)   perechea de răspunsuri {da, nu};

S-a convenit ca semnele unui alfabet binar să fie reprezentate prin cifrele {0, 1}, denumite cifre binare.

Un şir finit din m semne, dintre care unele se pot repetaa, formează un cuvînt, m reprezentînd lungimea cuvîntului. Cuvintele formate din semne binare se numesc cuvinte binare. Cuvintele cu lungime constantă se numesc m-poziţionale. Exemplu: mulţimilor de cuvinte cu lungime constantă

1–poziţionale: {0, 1};

2–poziţionale: {00, 01, 10, 11};

3-poziţionale: {000, 001, 010, 011, 100, 101, 110, 111}

4-poziţionale: {0000, 0001, 0010, …, 1110, 1111}.

Cuvintele (m+1)poziţionale se formează cîte două din cuvintele m-poziţionale prin adăugarea cifrelor binare 0 şi 1. Prin urmare, mulţimea cuvintelor m-poziţionale include 2 cuvinte distincte.

Regula de transformare a mesajelor în cuvinte se numeşte cod, iar operaţia codificare. Operaţia inversă codificării se numeşte decodificare.

Operaţiile de codificare şi decodificare constau în extragerea datelor necesare din tabel. Evident, decodificarea fva fi univocă numai atunci cînd cuvintele binare incluse în tabel vor fi distincte. Acest lucru este posibil dacă lungimea m a cuvintelor de cod satisface inegalitatea

2^m>= n

După logaritmarea rezultă:

m >= log ₂ n

m ~ log₂ n

Ultima expresie reprezintă teorema Claude Shannon.

Lungimea cuvintelor unui cod poziţional trebuie să fie mai mare sau egală cu cantitatea de informaţie dintr-un mesaj.

Cantitatea de informaţie dintr-un mesaj exprimă cel mai mic număr midiu de smne binare din cuvintele necesare şi suficiente pentru codificare şi decodificare univocă a mesajului.

Şirul de semne binare care reprezintă mesaje codificate cu aceste cuvinte constituie informaţia propriu-zisă.

Există diferite tipuri de coduri:

1)   codurile numerice (oferă posibilitatea reprezentării cifrelor {0, 1, … , 9});

2)   codurile alfanumerice reprezintă prin cuvintele binare cifrele 0, 1, … , 9, literele mari şi mici ale alfabetului latin, semnele de punctuaţie, etc. (ASCII, ASCII -7,-8, EBCDIC);

3)   coduri de control:

a)    coduri detectoare;

b)    coduri corectoare de erori.