Improving HTTP performance (by) using diff algorithm Unapređivanje performansi HTTP-a korišćenjem diff algoritma

Transcription

1 Improving HTTP performance (by) using diff algorithm Unapređivanje performansi HTTP-a korišćenjem diff algoritma Goran Šimić 1, Mladen Veinović 2, Aleksandar Jevremović 2 1 Vojna akademija, Beograd 2 Univerzitet Singidunum, Beograd Sadržaj U ovom radu razmatramo problem unapređivanja performansi Web-a I predlažemo efikasan sistem za izračunavanje i korišćenje razlika (DMS) realizovan u vidu proširenja HTTP protokola. U cilju bržeg prenosa sadržaja sistem pokušava da prenese samo izračunate razlike između zahtevanog i prethodno prenetih dokumenata. Analiza i eksperimentalni rezultati dokazuju efikasnost DMS-a, ali i ukazuju na veće zauzeće procesora i memorije na klijentu i serveru.dms je kompatibilan sa većinom postojećih rešenja za unapređivanje performansi Web-a. Dodatno, SSL sistem za bezbednost se može koristiti za privatnost i autentičnost. DMS model je jednostavan I lako se može integrisati u postojeće Web server i klijente. Abstract - In this paper we consider the problem of improving Web performance and propose an efficient differencing and merging system (DMS) based on an HTTP protocol extension. To provide for faster information exchange over the Web, the system tries to transfer only computed differences between requested documents and previously retrieved documents from the same site. Analysis and experimental results prove the effectiveness of DMS, but also show bigger processor and memory load on servers and clients. DMS is compatible with most of the existing solutions for improving Web performance. Moreover, SSL security system may be used to provide Web privacy and authenticity. The DMS model is simple to use and can be relatively easily integrated in Web servers and browsers. UVOD Performanse HTTP protokola predstavljaju ključnu komponentu kvaliteta usluge korisnika Web aplikacija i prezentacija. One direktno utiču i na proces dalje migracije sa desktop na Web bazirana rešenja. Kod manje interaktivnih sadržaja na Webu (kao što su informativni portali i statične prezentacije) bolje performanse pozitivno utiču na utisak korisnika, a izdavačima omogućavaju veći broj isporučenih stranica korišćenjem istih resursa. Sa druge strane, kod Web aplikacija performanse samog protokola (odnosno brzina komunikacije između klijenta i servera) imaju daleko veći uticaj jer direktno određuju koje funkcionalnosti je moguće realizovati, i koja je konačna upotrebljivost same aplikacije. Poboljšanje performansi HTTP protokola cilj je mnogih, potpuno različitih pristupa. U drugom delu rada analiziraju se prednosti i mane popularnih pristupa za unapređivanje efikasnosti HTTP protokola: keširanje, kompresovanje i AJAX pozivi. Takođe, obuhvaćena su manje direktna rešenja kao što su protokoli SCTP, MUX/SMUX i SPDY. U okviru ovih analiza date su i reference ka aktuelnim akademskim i komercijalnim istraživanjima za date oblasti. U ovom radu se predlaže drugačiji pristup za podizanje performansi HTTP protokola. Osnovu pristupa i glavnu temu ovog rada čini korišćenje diff algoritma za utvrđivanje razlika između prenetih i aktuelne verzije sadržaja. Na ovaj način se povećava brzina prenosa zahtevanog resursa kroz smanjivanje količine prenetog sadržaja - prenose se samo razlike utvrđene diff algoritmom. Jedan od nosilaca efikasnosti predloženog pristupa je i bliskost sadržaja koji se nalaze na bliskim lokacijama, a koji su najčešće i povezani hyperlinkovima. PREGLED POSTOJEĆIH REŠENJA I PRISTUPA Postoje dva načina rada koji tretiraju problematiku prenosa razlika u odnosu na protokol koji se koristi. FTP protokol koji se koristi pri transferu velikog broja fajlova sa malim razlikama [1], i HTTP protokol koji mi tretiramo u našem istraživanju razmatrajuči razlike u HTML stranicama.ftp princip razlika primenjen na nivou ovog protokola S obzirom na značaj podizanja performansi samog HTTP protokola i aplikacija koje se njime distribuiraju, danas je na tom polju aktuelno više pristupa i rešenja. Osnovna tehnika za smanjenje količine saobraćaja jeste keširanje - ponovno korišćenje ranije prenetih sadržaja. Ova tehnika podrazumeva čuvanje p renetog sadržaja određeni vremenski period a u glavne nedostatke spadaju ekstremi u vidu neažurnosti prikazanog sadržaja i ponovni prenos neizmenjenih podataka. U pravcu rešavanja ovih nedostataka i poboljšanja efikasnosti pristupa napravljeno je više doprinosa [2,3,4,5,6]. Proksi serveri na ovom polju omogućavaju kreiranje mreže keširanog sadržaja kojom se rasterećuju centralni serveri i ubrzava distribucija sadržaja do klijenta. Međutim, za održavanje konzistentnosti ovakve mreže potrebna je specijalizovana arhitektura zasnovana na agentima. Standardno korišćeno rešenje predstavlja i kompresovanje podataka kao jedan od vidova kodovanja podataka. Ovakav pristup je podržan HTTP protokolom verzije 1.1, koji ujedno podržava i većina savremenih brauzer. Korišćenjem kompresovanja veličina tekstualnog (HTML, JavaScript, CSS) sadržaja može se u proseku smanjiti za 75 procenata, dok se za sveukupan sadržaj postiže oko 37 procenata uštede [7]. Princip smanjivanja količine saobraćaja korišćenjem kompresije kompatibilan je sa rešenjem predloženim u ovom radu sa istim očekivanim procentualnim rezultatom. 411

2 Jedan, daleko složniji pristup podizanju performansi HTTP aplikacija jeste fragmentacija sadržaja i njihov asinhroni prenos na osnovu poziva u JavaScript programskom jeziku (AJAX). Prednosti ovog pristupa su, pre svega, u njegovoj kompatibilnosti sa servisno orijentisanom arhitekturom, dok se njegova primena za povećanje performansi, posebno kada je neophodno redizajniranje već razvijenih aplikacija, često pokazuje neisplativom. U glavne pokušaje unapređivanja performansi Web aplikacija putem izmena protokola spadaju protokoli SMUX [8] i HTTP preko SCTP protokola [9]. SMUX je pokušaj W3C da obezbedi lakši protokol i jednostavniju migraciju na buduće protokole za Web. Ovaj protokol je, međutim, još uvek u eksperimentalnoj fazi. HTTP preko SCTP podrazumeva zamenu tradicionalno korišćenog TCP protokola efikasnijim SCTP [10] protokolom. Ovaj pristup je posebno značajan za nas jer pokazuje dobre performanse [11] kod regiona u razvoju - gde su znatno ograničene propusne moći komunikacione infrastrukture, a gde i mi očekujemo dobre rezultate sa predloženim pristupom. Značajan iskorak na nivou unapređivanja HTTP protokola čini i kompanija Google sa svojim SPDY [12] protokolom. Ovaj protokol ima za cilj da omogući višestruke tokove podataka unutar jedne HTTP konekcije. Dodatno, ovaj protokol podrazumeva korišćenje kompresovanja sadržaja koji se prenosi, isključuje host polje zaglavlja zahteva, i t.d. Još jedan interesantan pristup za smanjivanje kašnjenja učitavanja sadržaja, koji je primenjen i u Web brauzeru kompanije Google, jeste i funkcija DNS prefetching. Ova funkcija proaktivno podrazumeva razrešavanje naziva domena ka kojima su upućeni linkovi trenutnog dokumenta. Sa druge strane, kompanija Opera problemu unapređivanja performansi pri korišćenju Web-a pristupa rešenjem Opera turbo [13]. U pitanju je komercijalno rešenje koje podrazumeva primenu specijalizovanih posredničkih servera i smanjivanje količine saobraćaja putem kompresije. S obzirom da su naši inicijalni rezultati pokazali efikasnost pristupa kod zajedničkih fragmenata sadržaja različitih dokumenata, posebnu pažnju u istraživanju smo posvetili radovima koji se bave tom problematikom [14,15]. U navedenim radovima se obrađuje i mogućnost unapređivanja performansi kroz izbegavanje ponovnog generisanja keširanih fragmenata. Ovo polje izlazi van fokusa našeg rada s obzirom da smo se mi ograničili na poboljšanje efikasnosti kroz smanjenje mrežnog saobraćaja. Kada je u pitanju izračunavanje razlika kod hijerarhijskih (XML) dokumenata, na tom polju postoji više različitih pristupa u razvoju algoritama [16]. Razlike između dobro struktuiranih dokumenata mogu se efikasno izražavati u vidu informacija o zajedničkim čvorovima i pod-stablima. Međutim, većina aktuelnih algoritama za ovu namenu zahteva kao ulaz ispravan XML dokument. S obzirom da veliki HTML dokumenata na Web-u poseduje strukturne greške (koje savremeni Web brauzeri amortizuju), za efikasnu primenu ovih algoritama u predloženom sistemu potrebno je povećati njihovu robustnost. There are many proposals of a semantical approach in the context of diff algorithms for XML [17,18,19]. Sa druge strane, najčešći pristup pri korišćenju izračunavanja razlika kod Web dokumenata odnosi se na nadgledanje i vizualno predstavljanje promena između različitih verzija istog dokumenta. Verovatno najpoznatiji sistem za ovu namenu jeste WebVigiL [20] koji ima mogućnost da utvrđuje razlike u HTML/XML dokumentima, i da o njima obaveštava korisnike. Za potrebe vizualnog predstavljanja razlika krajnjem korisniku razvijeni su i namenski algoritmi, kao što je VDiff [21]. Takvi algoritmi se mogu iskoristiti i u sistemu koji se predlaže u ovom radu, u cilju optimalnog izračunavanja razlike. Naš pristup podrazumeva smanjenje količine podataka koji se prenose u cilju optimizacije prenosa i smanjivanja vremena izvršavanja algoritama, odnosno, složenosti rešenja. Predloženo rešenje je opšte u smislu da se može primeniti i na drugim poljima - rutiranje, load-balancing, computer forensics... Lako se integriše u različite sisteme (Web servere i brauzere) i jednostavno se koristi. MODEL PREDLOŽENOG REŠENJA Osnovna ideja iza rešenja koje se predlaže u ovom radu jeste smanjenje količine podataka koji se prenose mrežom kroz prenos razlika između dokumenata, umesto prenosa kompletnih dokumenata. Razlika se izračunava između dokumenta koji treba preneti i dokumenata koje je klijent već preuzeo sa servera. Za već prenete dokumente će se u daljem radu koristiti izraz referentni dokumenti. Ovi dokumenti se moraju jednoznačno odrediti, i na klijentu i na serveru, a kao naziv parametra koji ih jednoznačno određuje u daljem tekstu će se koristiti izraz jedinstveni identifikator, ili samo identifikator referentnog dokumenta. Za prostor, na klijentu i serveru, u kome će se čuvati referentni dokumenti, u daljem tekstu će se koristiti izraz baza referentnih dokumenata. Slika 1 - Nakon prenosa prve verzije dokumenta, naredne verzije se prenosi u vidu razlike Na slici 1 prikazan je model najjednostavnijeg slučaja korišćenja sistema - prenos različitih verzija istog dokumenata. Prikazana su dva klijenta, A i B, koja su u prošlosti već pristupala ranijim verzijama dokumenta. Klijent A u svojoj bazi prenetih dokumenata ima prvu 412

3 verziju dokumenta, dok klijent B ima prenetu drugu verziju dokumenta. Trenutno aktuelna verzija dokumenta na serveru je treća. Klijent A pravi zahtev ka serveru navodeći identifikator prve verzije dokumenta. Server iz baze prenetih dokumenata učitava dokument sa zadatim identifikatorom (prva verzija), izračunava razlike dokumenta aktuelne, treće verzije u odnosu na pomenuti već preneti dokument i izračunate razlike šalje klijentu kao odgovor. Klijent B pravi zahtev navodeći verziju dokumenta koju on poseduje, drugu verziju, a server ponavlja opisani proces koristeći tu verziju dokumenta. Ovo je (za ilustrovanje rada sistema) najjednostavniji slučaj korišćenja iz tog razloga što se govori o različitm verzijama istog dokumenta. U nastavku rada biće predstavljeni realni slučajevi kod kojih se poređenje vrši između potpuno različitih dokumenata. Za realizaciju rešenja potrebno je proširiti zahteve i odgovore HTTP protokola odgovarajućim parametrima. Takođe, potrebno je i realizovati odgovarajuće podrške za dopunu protokola na strani servera i klijenta. U okviru HTTP protokola treba dodati podršku za navođenje referentnih dokumenta u okviru zahteva i samih odgovora. Naš predlog je da se zaglavlje HTTP protokola [22] dopuni sa dva nova polja - po jednim za slanje i prijem podataka. U okviru slanja HTTP zahteva klijent treba da informiše server da podržava sistem prenos razlika, kao i da ga obavesti o referentnim dokumentima koje poseduje, odnosno, na osnovu kojih se može izračunati najmanja razlika (koja će činiti odgov or). Na primer, zaglavlju HTTP zahteva može se dodati polje Accept-Diff čiju bi vrednost činili jedinstveni identifikatori referentnih dokumenata. Bez obzira što je u pitanju izmena protokola, ona se može smatrati minimalnom. Na strani servera je potrebno obezbediti podršku za obradu HTTP zahteva u okviru kojih su, preko polja Accept-Diff, specificirani referentni dokumenti. Nakon prijema ovakvog zahteva, zadatak servera je učitavanje ili generisanje traženog dokumenta, učitavanje specificiranih referentnih dokumenata iz baze referentnih dokumenata, izračunavanje razlika između traženog i referentnih dokumenata, i slanje najmanje izračunate razlike. U okviru HTTP odgovora kojim se šalje odabrana razlika potrebno je specificirati jedinstveni identifikator referentnog dokumenta - dokumenta na osnovu kojeg je razlika izračunata. Takođe, u okviru ovakvih odgovora poželjno je uključiti i heš sumu traženog dokumenta, za potrebe utvrđivanja ispravnosti izračunatog rezultata na klijentu. Podrazumeva se i da server svaki poslati dokument, ili izračunatu razliku, sačuva u bazi referentnih dokumenata, za potrebe obrade narednih zahteva. U slučaju da server u svojoj bazi referentnih dokumenata ne sadrži ni jedan od referentnih dokumenata specificiranih u okviru zahteva klijenta, on će poslati kompletan dokument, bez navođenja identifikatora referentnog dokumenta. Takođe, u slučaju da server uopšte ne podržava sistem prenosa razlika, o kome je reč u ovom radu, on može jednostavno ignorisati Accept-Diff polje zaglavlja i regularno poslati traženi dokument. Slika 2. Algoritam obrade zahteva na serveru Na strani klijenta, odnosno u sam Web brauzer, potrebno je integrisati podršku za slanje zahteva sa uključenim pomenutim poljem Accept-Diff u okviru koga su navedeni identifikatori referentnih dokumenata koje klijent poseduje. Dakle, klijent pre slanja treba da odabere jedan, više ili sve referentne dokumente koje poseduje u bazi referentnih dokumenata, i da njihove jedinstvene identifikatore uključi u HTTP zahtev. Nakon slanja zahteva, odnosno nakon prijema odgovora od servera, zadatak klijenta je da na osnovu referentnog dokumenta specificiranog u odgovoru, i na osnovu dobijene razlike, izračuna sadržaj traženog dokumenta. Nakon izračunavanja sadržaja traženog dokumenta, njegova dalja obrada i prikaz vrše se po standardnim procedurama. Izračunati traženi dokument, ili dobijena razlika, se zatim skladište u bazu referentnih dokumenata, za potrebe narednih zahteva. U prethodnim opisima je na par mesta ostavljen izbor po pitanju da li u bazu referentnih dokumenata treba skladištiti kompletan dobijeni dokument, ili samo dobijenu razliku. Odluke o ovome klijent i server mogu doneti zasebno, u skladu sa svojim mogućnostima. Na primer, ukoliko se u klijentovu bazu referentnih dokumenata smesti kompletan dokument, onda će za izračunavanje sadržaja nekog novog dokumenta, izraženog u vidu razlike u odnosu na njega, biti potrebna samo jedna iteracija izračunavanja (primena razlike). Sa druge strane, ukoliko se u bazi referentnih dokumenata čuvaju razlike, potreban je veći broj izračunavanja, odnosno, sve dok se ne dođe do reference koja nije razlika već kompletan dokument. Slika 3. Pozicija sistema u odnosu na komunikacione slojeve Značajnu karakteristiku predloženog rešenja či ni i njegova kompatibilnost sa popularnim postojećim 413

4 sistemima za unapređivanje performansi i obezbeđivanje komunikacije. Na primer, gzip kodovanje u cilju smanjenja sadržaja koji se prenosi može se izvršiti nakon izračunavanja razlika, odnosno, mogu se kompresovati samo razlike. Sa druge strane, Secure Sockets Layer (SSL) bezbednosni sistem takođe se može primeniti za obezbeđivanje tajnosti i autentičnosti, i to čak sa boljim performansama (jer se šifruje i potpisuje manja količina podataka). INTEGRACIJA U POSTOJEĆA OKRUŽENJA Jedna od glavnih prednosti predloženog sistema jeste i jednostavnost njegove integracije u postojeća okruženja i infrastrukturu Web-a. Implementaciju je potrebno izvršiti i na serverskoj i na klijentskoj strani. Identifikovali smo dva osnovna načina integracije sistema na serverskoj strani: direktna ugradnja podrške u HTTP serverski softver i realizacija u vidu dodatnog servisa. Prvi pristup nudi veću kompatibilnost sa kodovanjima kao što je gzip i omogućava korišćenje kroz SSL sistem zaštite, ali zahteva pristup izmenu samog softvera. Sa druge strane, realizacija u vidu nezavisnog servisa (koji osluškuje na zasebnom portu, dobijene zahteve prosleđuje HTTP serveru i šalje klijentu izračunatu razliku) ne zahteva izmene originalnog HTTP serverskog softvera ali takvo rešenje neće biti kompatibilno sa pomenutim gzip i SSL sistemima. Primena predloženog rešenja je moguća i u svakoj kombinaciji u kojoj pored klijenta i servera učestvuje jedan ili više proxy servera. Za potrebe takve integracije rešenja potrebno je da proxy server podržava funkcije klijenta (kada se sistem primenjuje između njega i servera) i da podržava funkcije servera (kada se sistem primenjuje između njega i klijenta). sa različitih servera. U tom scenariju, klijent mora proxy serveru dostaviti identifikatore svih dokumenata kojima raspolaže, a ne samo identifikatore referentnih dokumenata sa servera kome se trenutno obraća. Slika 5. Dokumenti sa različitih servera mogu se koristiti za izračunavanje razlike Još jedno značajno polje primene predloženog sistema jeste kod distribucije sadržaja geografski koncentrisanim udaljenim korisnicima njima geografski bliskim posredujućim serverima. Ovakav pristup nema za cilj da rastereti interne resurse centralnog servera jer je ideja da pristupni serveri prosleđuju centralnom serveru zahteve klijenata. Međutim, primena sistema omogućava rasterećivanje komunikacionih kanala kroz slanje razlika od centralnog ka pristupnim serverima. Sinhronizacija sadržaja se obavlja po zahtevu klijenta a za izračunavanje razlika mogu se koristiti prethodno preneti dokumenti/razlike iz svih sesija. Slika 4. Primena je moguća u bilo kojoj Client/Proxy/Server kombinaciji Efikasnost sistema može biti posebno velika u slučaju kada se on koristi između Web servera i proxy servera. Proxy server u tom slučaju raspolaže velikim brojem već prenetih referentnih dokumenata koje može koristiti za najmanju moguću razliku koju treba preuzeti sa servera. Za obradu zahteva jednog klijenta mogu se, kao referentni, koristiti i dokumenti koji su preuzeti za ostale klijente. Pri tom, privatnost svakog od klijenata nije ugrožena u većoj meri nego što je to već učinjeno samim korišćenjem proxy servera. Za izračunavanje najmanje razlike koja će biti isporučena klijentu mogu se koristiti već preneti dokumenti, preuzeti Slika 6. Rasterećenje komunikacionih kanala propagiranjem razlika Originalna karakteristika ovakvog pristupa jeste centralizovana obrada zahteva sa distribuiranom isporukom sadržaja. Na osnovu rezultata predstavljenih u nastavku rada, osnovana je pretpostavka da bi se na ovaj način mogle ostvariti ogromne uštede u količini prenetog sadržaja. Istovremeno, nisu potrebni izraženi precosorski resursi na pristupnim serverima s obzirom da je njihov zadatak samo da proslede zahteve centralnom serveru, i da dobijenu razliku primeni na navedeni referentni lokalni dokument. UTICAJ I KARAKTERISTIKE ALGORITMA Očigledno je da sama efikasnost predstavljenog sistema u najvećoj meri zavisi od sličnosti traženog i referentnih dokumenata, kao i od efikasnosti samih algoritama za izračunavanje i primenu razlika. Na prvi kriterijum 414

5 uspešnosti može se primeniti opšti princip lokaliteta koji u ovom slučaju kaže da je velika verovatnoća da će rezultati zahtev istog klijenta istom serveru biti sličnog sadržaja. Ovaj princip je i potvrđen u prvoj analizi efikasnosti sistema čiji su detalji i rezultati dati u nastavku ovog rada. Sa druge strane, efikasnosti algoritama za izračunavanje i primenu razlike je od presudnog značaja jer od njih zavisi praktična primenljivost opisanog sistema. Iz tog razloga, suma vremena potrebnih za izračunavanje razlike (Tcd), prenos razlike (Ttd), i primene razlike (Tad) - izračunavanje zahtevanog sadržaja - mora biti manja od vremena potrebnog za prenos kompletnog dokumenta (Ttf). Očigledno je da su za efikasnost sistema kritična vremena za izračunavanje razlike na strani servera (Tcd) i primenu razlike na referentni dokument (Tad) na strani klijenta. Efikasnost algoritma za primenu razlike direktno zavisi od izlaznog formata algoritma za izračunavanje razlike, tako da se tim delom nećemo detaljnije baviti u ovom radu. Sa druge strane, efikasnost algoritma za izračunavanje razlike, na strani servera, zaslužuje detaljniju analizu s obzirom na njen većinski uticaj na efikasnost celokupnog sistema. U slučaju kada se u zahtevu za određenim dokumentom navede samo jedan identifikator referentnog dokumenta, onda efikasnost sistema zavisi jedino od efikasnosti algoritma za izračunavanje razlika. Tada se efikasnost algoritma može izraziti na osnovu brzine izračunavanja razlike i veličine izračunate razlike. Između ova dva kriterijuma može se praviti kompromis jer se vreme utrošeno na efikasnije izračunavanje razlike nadoknađuje manjim vremenom prenosa, i suprotno. U slučaju primene adaptivnog algoritma on odluku o optimalnom radu može doneti na osnovu raspoloživosti procesora i propusne moći komunikacionog kanala. Sa druge strane, u situaciji kada se u zahtevu za određenim dokumentom javi više identifikatora referentnih dokumenata, vreme potrebno za izračunavanje razlike može predstavljati sumu vremena za izračunavanje razlika u odnosu na sve definisane referentne dokumente. Međutim, na ovom polju se efikasnost može znatno unaprediti korišćenjem dodatnog algoritma koji će efikasnije utvrditi u odnosu na koji dokument treba računati razliku. S obzirom da je cilj ovog rada potvrđivanje koncepta, mi smo za potrebe eksperimenta (opisane u nastavku rada) koristili osnovni algoritam za utvrđivanje razlika koji je razvio prof. Esko Ukonen [23]. Algoritam je korišćen u osnovnom režimu rada koji korišćenjem heuristike ograničava vreme izvršavanja na O(N^1.5 log N) na račun davanja sub-optimalnih rezultata u pogledu bajtovske veličine rezultata. Osnove ovog pristupa su dokumentovane u radu koji se bavi prepoznavanjem šablona u stringovima. Kao sama realizacija algoritma korišćen je GNU Diff alat koji su u okviru Free Software Foundation razvili Paul Eggert, Mike Haertel, David Hayes, Richard Stallman, and Len Tower. Dodatno, u ovom radu nismo testirali efikasnost algoritma za izbor dokumenata, kao ni efikasnost algoritma za izračunavanje razlike u pogledu vremena potrebnih za izračunavanje. Osnovni cilj eksperimenta urađenog za potrebe ovog rada jeste analiza efikasnosti rešenja u pogledu njegovog uticaja na količinu podataka prenetih putem mreže. STUDIJA SLUČAJA Za analizu efikasnosti odabran je sadržaj informativnog Web portala engleskog izdavača Times. Testiranje je realizovano preuzimanjem 10 stranica sa vestima iz nauke, a zatim izračunavanjem razlika između njih (Slika 7). Slika 7. (a) Razlika između stranica (u bajtovima) i (b) procenat informativnog sadržaja tokom prenosa stranica Levi stubičasti dijagram prikazuje izvedene podatke - razlika, što je ~50%) ostvarila bi se ušteda u količini procentualno izražene količine informativnog sadržaja u odnosu na ukupne veličine isporučenih dokumenata. Ova veličina zapravo predstavlja razliku između isporučenih stranica i ona se kreće u rasponu 38 54%. Sajt Times Online ostvari preko tri miliona poseta dnevno (izvor: a posetioci na ovom sajtu otvore prosečno 2,5 stranice po poseti (izvor: Prosečna veličina stranica preuzetih za testni scenarijo oko 160KB. Predloženim rešenjem (ispo ručivanje samo saobraćaja ~360GB dnevno, u slučaju da se samo prva stranica prenosi kompletno. Ova ušteda se odnosi samo na osnovni HTML sadržaj stranice, s tim da bi ona bila veća ukoliko bi se sistem primenio i na ostale sadržaje (CSS, JavaScript i sl.). ZAKLJUČAK Predstavljeno rešenje je kompatibilno sa većinom aktuelnih Web tehnologija za distribuciju sadržaja. 415

6 Formatiranje, HTML tagovi i skripovi koji se interpretiraju u Web pretraživačima najčešće predstavljaju većinu sadržaja koji se distribuira posredstvom Web-a. Predstavljen je način optimizacije HTTP saobraćaja od informacionih portala prema korisnicima i na nivou podataka i na nivou protokola. Web moduli, ili aplikacije za razmenu kratkih poruka (portali socijalnih mreža sa prikazom blogova, tematski forumi i sl.) predstavljaju drugu grupu servisa na koju može da se primeni predstavljeno rešenje. Nova instant poruka, post ili blog predstavlja najčešće jedinu razliku u informativnom sadržaju dve sukcesivne Web stranice isporučene istom korisniku. Primenom DMS, neznatnim povećanjem mrežnog saobraćaja može da se eliminiše problem neažurnosti keširanih podataka. Osnovni prostor za unapređivanje predloženog rešenja jesu algoritmi za izbor referentnih dokumenata i izračunavanje razlika. U ovom radu je korišćen osnovni diff algoritam sa ciljem potvrđivanja koncepta. Međutim, za realnu primenu predloženog rešenja u praksi potrebno je izvršiti analizu efikasnosti različitih algoritama i pristupa koji omogućavaju smanjenje vremena izračunavanja i veličine izračunate razlike. Efikasnost primenjenih algoritama određuje područja u kojima se može očekivati značajan doprinos predloženog rešenja. Algoritmi efikasni u pogledu male bajtovske dužine izračunatog rezultata, ali zahtevni po pitanju procesorskih i memorijskih resursa na komunikacionim stranama, adekvatni su za primenu u sredinama sa nerazvijenom komunikacionom infrastrukturom (npr. zemlje u razvoju). Sa druge strane, brzina izračunavanja razlike je presudan kriterijum algoritama kod primene rešenja u okruženjima sa tankim klijentima i razvijenom komunikacionom infrastrukturom. LITERATURA [1] Long Chen, Guoyin Wang, An Efficient Piecewise Hashing Method for Computer Forensics, First International Workshop on Knowledge Discovery and Data Mining, [2] Jian Yin, Lorenzo Alvisi, Mike Dahlin and Arun Iyengar, Engineering Web Cache Consistency, ACM Transactions on Internet Technology Vol. 2 No. 3, August [3] Lakshmish Ramaswamy, Ling Liu, Arun Iyengar, Cache Clouds: Cooperative Caching of Dynamic Documents in Edge Networks, 25th IEEE International Conference on Distributed Computing Systems (ICDCS 2005), Columbus, Ohio, June [4] Raj Sharman, Shiva Shankar Ramanna, Ram Ramesh, Ram Gopal, Cache architecture for on-demand streaming on the Web, ACM Transactions on the Web (TWEB), Vol.1, Issue, 2007 [5] Tsang-Ling Sheu, and Chieh-Hsing Yang, A Novel Hierarchical Cache Architecture for WWW Servers, icoin, pp.863, 15th International Conference on Information Networking (ICOIN'01), 2001 [6] Kannammal, A. Padmanabhan, R. Iyengar, Web Cache Consistency Maintenance Through Agents, Second International Conference on Communication Software and Networks, [7] [8] [9] Preethi Natarajan, Janardhan R. Iyengar, Paul D. Amer, Randall Stewart, SCTP: An innovative transport layer protocol for the web, International World Wide Web Conference, Edinburgh, [10] RFC Stream Control Transmission Protocol [11] Preethi Natarajan, Paul. D. Amer1 and Randall Stewart, Multistreamed Web Transport for Developing Regions, The second ACM SIGCOMM workshop on Networked systems for developing regions, [12] [13] [14] Lakshmish Ramaswamy, Ling Liu, Fred Douglis, and Arun Iyengar, Automatic Fragment Detection in Dynamic Web Pages and its Impact on Caching, IEEE Transactions on Knowledge and Data Engineering Vol. 17 No. 6, June [15] Jim Challenger, Paul Dantzig, Karen Witting, Arun Iyengar, A Fragment-Based Approach for Efficiently Creating Dynamic Web Content, ACM Transactions on Internet Technology Vol. 5 No. 2, May [16] Raihan Al-Ekram, Archana Adma, Olga Baysal, diffx: An Algorithm to Detect Changes in Multi- Version XML Documents, Conference of the Centre for Advanced Studies on Collaborative research, [17] Ala a Q. Al-Namiy, Faris S. Majeed, Towards Automatic Extracted Semantic Annotation (ESA) for Web Documents, APCIP 2009 Vol.2, [18] Rodrigo Cordeirodos Santos, Carmem S. Hara, A Semantical Change Detection Algorithm for XML, SEKE 2007, [19] Hyun-Joo Moon, Jae-Woo Yoo, Free-Traversing Syntactic and Semantic Comparison on Semistructured Languages, Convergence and Hybrid Information Technology, ICHIT [20] Chakravarthy, S., Hara, S.C.H., Automating Change detection and Notification of Web Pages,DEXA '06. 17th International Workshop on Database and Expert Systems Applications, [21] Mikhaiel, R., Stroulia, E., Accurate and Efficient HTML differencing, 13th IEEE International Workshop on Software Technology and Engineering Practice, [22] RFC Hypertext Transfer Protocol -- HTTP/1.1 [23] E. Ukkonen, Algorithms for Approximate String Matching, Information and Control Vol. 64, 1985, pp