Wereldwijde netwerken en verspreiding van kennis
Wereldwijde netwerken en indexering van kennis
In het boek "Index, A History of"the beschrijft Dennis Duncan de geschiedenis van indexeringstechnieken. Wie nog non-fictieboeken leest, kent het wel. In een boek of in een atlas vind je naast een inhoudsopgave ook een index. De index is een miskend maar onwaarschijnlijk handig systeem om doelgericht en snel informatie te kunnen vinden in een massa tekstuele data. In zijn boek beschrijft Duncan de onwaarschijnlijke geschiedenis van de index van de kloosters en universiteiten van de Middeleeuwen tot Silicon Valley. Maar ook al eerder waren indexeringstechniekennoodzakelijk.
We kunnen stellen dat de eerste indexeringstechnieken vrijwel tegelijk met het schrift ontstonden. In het oude Babylon waren eveneens mechanismen nodig om snel de correcte informatie te kunnen vinden tussen een massa kleitabletten. De Sumeriërs maakten al gebruik van labels en ‘tags’ om makkelijk kleitabletten met bepaalde informatie te kunnen terugvinden. Op de meest zichtbare bovenhoek van de tabletten werden korte notities aangebracht, zo’n beetje zoals we nu doen op de rug van een boek. Ze stelden eveneens dossiers en containers samen waarin maandelijkse en/of jaarlijkse overzichten werden bijgehouden. Tabletten werden, afhankelijk van hun inhoud, gesorteerd per regeringsjaar. Indexerings- en sorteertechnieken vormden reeds vanaf het ontstaan van het schrift een noodzakelijke aanvulling op datacollectie. Informatie archiveren ging hand in hand met de ontwikkeling van deze technieken. Ook bibliotheken en moderne zoekmachines, zoals Google, kunnen niet functioneren zonder geavanceerde indexeringstechnieken.
De voorloper van het wereldwijde web
De Belg Paul Otlet (1868-1944) verloor zijn moeder toen hij drie jaar was. Tot zijn twaalfde kreeg Paul thuisonderwijs, waardoor hij opgroeide als een eenzame boekenwurm. De bibliotheek zou levenslang zijn favoriete omgeving zijn. Niet voor niets ontwierp hij de Universele Decimale Classificatie (UDC) voor het klasseren van boeken. Samen met Nobelprijswinnaar Henri La Fontaine (1854-1943) vatte hij in 1895 het plan op een bibliografie te schrijven van alle wereldwijd gepubliceerde kennis, die hij vervolgens ook publiek beschikbaar wilde stellen. Ze beperkten zich niet alleen tot boeken, maar namen in hun lijsten ook artikelen op, tijdschriften, afbeeldingen, pamfletten… kortom, alle media en data die door bibliotheken in die tijd genegeerd werden. Op die manier bouwden ze een databank op met meer dan twaalf miljoen steekkaarten.
Van de overheid kregen ze niet alleen toestemming om de databank onder te brengen in overheidsgebouwen te Brussel, maar ook financiële steun om personeel in dienst te nemen. Via brief of een telegraafverbinding konden mensen van waar ook ter wereld informatie opvragen. Deze analoge zoekmachine, die de naam Mundaneum kreeg, ontving meer dan vijftienhonderd vragen per jaar. In zijn boeken Traité de Documentation (1934) en Monde: Essai d’universalisme uit 1935 schreef hij over de mogelijkheid van een mechanisch collectief geheugen dat alle informatie zou bevatten en toegankelijk moest zijn via telecommunicatie. Hij droomde van een netwerk (‘réseau’) van ‘computers’ (hij noemde het ‘elektrische telescopen’) waarin mensen informatie konden zoeken en bladeren door miljoenen gelinkte documenten, afbeeldingen, geluiden en filmfragmenten. In 1934 zei de overheid haar medewerking en steun op. De Duitse invasie betekende de doodsteek voor dit visionaire Mundaneum. Duitsers gebruikten de originele ruimte als tentoonstellingsruimte voor kunst van het Derde Rijk en vernietigden duizenden steekkaarten. Paul stierf als een gebroken man.
De fundamenten van een wereldwijde encyclopedie
Otlet stond niet alleen met zijn ideeën. De tijd bleek er rijp voor. De Amerikaanse wetenschapper Vannevar Bush(1890-1974) liep met vergelijkbare ideeën rond. In zijn essay As We May Thinkbeschreef hij de Memex (Memory Extender), een toestel dat op basis van microfilms alle belangrijke gegevens zou opslaan. In zijn concept moest de informatie zo worden georganiseerd dat deze snel kon worden opgeroepen en geraadpleegd. Het zou leiden tot nieuwe encyclopediesystemen met een ‘vlechtwerk van associatieve sporen’ die je met de Memex zou kunnen uitlezen. Ted Nelson (1937) startte in 1960 met een gelijksoortig concept op basis van computertechnologie, dat hij Project Xanadu doopte, maar veel verder dan een plan is het nooit gekomen.
De voorganger van het huidige wereldwijde web was ARPANETof het Advanced Research Projects Agency Network. ARPANET was opgezet door het Amerikaanse leger, dat in de donkerste dagen van de Koude Oorlog op zoek was naar een manier om te kunnen blijven communiceren in het geval van een nucleaire aanval. Met dit doel voor ogen werd de TCP/IP-communicatiestandaard ontwikkeld, die bepaalt hoe informatie binnen een computernetwerk moet worden uitgewisseld. Internet is, oneerbiedig gesteld, niet meer dan een verzameling computers die via (kabel)verbindingen informatie uitwisselen. Gaandeweg werden steeds meer ‘netwerken’ van computers met elkaar verbonden. Daardoor is internet een netwerk van duizenden netwerken geworden. Om die computers en netwerken met elkaar te kunnen verbinden moesten ze softwarematig met elkaar kunnen praten. Daarvoor werd dus het TCP/IP-protocol ontwikkeld. Elk netwerk en elke computer binnen dat netwerk krijgt een IP-adres (een internetprotocol-‘adres’ bestaande uit een aantal cijfers). Netwerken of computers met een vast (statisch) IP-adres zijn voor alle computers op internet te bereiken. Ze dienen als server. Binnen een netwerk krijgen computers vaak een dynamisch (= op regelmatige tijdstippen wijzigend) IP-adres. Zulke toestellen dienen als client.
Het wereldwijde web
Door de opkomst van internet sinds de jaren zestig van de vorige eeuw ontstonden allerlei mogelijkheden om informatie uit te wisselen, zoals e-mail, IRC (‘internet relay chat’), nieuwsgroepen of bulletin boards, waar vooral professionele computergebruikers, computernerds en hobbyisten gebruik van maakten. De doorbraak van een wereldwijd informatiesysteem kwam tussen 1989 en 1991. Tim Berners-Leewas actief aan het CERN in Genève, waar onderzoek wordt gedaan naar elementaire deeltjes. Op zoek naar een manier om eenvoudig informatie te kunnen delen met andere academici en wetenschappelijke instituten bedacht hij het wereldwijde web. De hyperteksttaal HTML(‘hypertext markup language’) moest een standaard worden voor documenten. Een muisklik op een link in een document leidt de gebruiker naar een ander HTML-document. Voor het uitwisselen van HTML-documenten tussen computers werd het HTTP-protocol (‘hypertext transfer protocol’) uitgewerkt. Berners-Lee ontwierp ook de eerste webbrowser, een programma waarmee je webpagina’s online kan bekijken. Hij doopte zijn systeem ‘ World Wide Web’, kortweg www. Al snel sprongen ook gewone mensen en bedrijven op de trein door hun eigen websites (een verzameling webpagina’s) te publiceren.
Zoekmachines
Weldra was er op het groeiende web behoefte aan een
zoekmechanismeom een weg te vinden in die overvloed van pagina’s en informatie. Zoekmachines, zoals Google, speelden in op die vraag. Als we het www zouden vergelijken met een boek of encyclopedie, dan is Google niet zozeer de inhoudsopgave, maar eerder de index. Het indexeren van miljarden steeds wijzigende webpagina’s gebeurt natuurlijk niet door mensenhanden. Dat zou veel te veel tijd in beslag nemen en voor een gratis dienst als Google onbetaalbaar worden. Het indexeren gebeurt met behulp van een zoekrobot, de
Googlebot. Uiteraard is dit geen echte ‘robot’, maar een stukje software. De Googlebot vraagt een webpagina op bij een server. De server stuurt dan de opgevraagde pagina terug. Zoals je ziet lijkt de werking van de Googlebot erg op die van een browser, alleen is de Googlebot veel sneller dan een menselijke surfer: hij kan duizenden pagina’s tegelijk opvragen. Om een webserver niet te overbelasten spreidt de Googlebot zijn simultane vraag over meerdere servers en websites. Vindt de Googlebot op de opgevraagde pagina’s nog links naar andere pagina’s, dan kan hij ook die opvragen. Wanneer je een zoekterm invoert in de zoekmachine, kijkt Google in zijn index waar op het wereldwijde web een mogelijk antwoord is te vinden. Google zoekt dus niet wanneer je een zoekopdracht invoert, maar doet dit voortdurend.
Packet switching
Om informatie via telefoonlijnen of glasvezelkabels uit te wisselen voor al deze vormen van datacommunicatie, gebruikt men de in de jaren zestig ontwikkelde techniek van ‘packet switching’. Tom Igoe legt het in zijn boek Making Things Talk als volgt uit:
‘Vergelijk het met het opsturen van een fiets naar een ander adres. De fiets is veel te groot om in één pakket te verzenden via de post. Daarom haal je hem eerst uit elkaar, zodat elk onderdeel in een kleine doos past. Op een netwerk (…) wordt ieder bericht in kleine stukjes gehakt van min of meer dezelfde grootte. Elk stuk krijgt een pakketnummer. Daarna schrijf je het adres van de geadresseerde en de afzender op elke doos. Vervolgens verzend je het. De koeriersdienst verdeelt je pakjes misschien over meerdere vrachtwagens als dat beter uitkomt en past. Op internet gebeurt dit in de transportlaag. Die laag is verantwoordelijk voor het verzenden van alle pakjes naar hun bestemming. (…) Elke router stuurt de pakjes een voor een naar de routers waarmee hij verbonden is. Als hij met meerdere routers verbonden is, kiest hij de minst drukke. Elk pakje kan een andere weg naar zijn bestemming volgen. De ontvanger leest de headergegevens en voegt alle pakjes weer samen.’