Aleks855 » 10/01-2019 22:39
Du har sikkert sett det allerede, men merk deg whitespacen i tweetene. Det ligger litt grunt-work foran deg, med mindre du skriver en fiffig liten JS i browser-konsollen. Men hvis du ser hva meninga er, så kan jeg spare deg litt tid ved å gi deg koden. Det er snakk om ei linje som bare sparer litt tid, og ikke mer.
Når det gjelder ROBOTS.txt, så er dette ei fil som leses av crawlere (for eksempel søkemotorer som skal indeksere innhold). Her er eksempelvis mi:
https://udl.no/robots.txtHvis jeg for eksempel ville unngått at crawlere laster spesielt tunge sider, så hadde jeg fylt den ut, men slik det står så har jeg ingen spesielt krevende sider, så de får gjøre som de vil. Hvis jeg hadde ei side som tillot brukeren å laste ned alle mine videoer på mange, mange GB, så hadde jeg lagt det til i robots.txt slik at crawlere (som det finnes mange av) ikke overbelaster serveren.
Du har sikkert sett det allerede, men merk deg whitespacen i tweetene. Det ligger litt grunt-work foran deg, med mindre du skriver en fiffig liten JS i browser-konsollen. Men hvis du ser hva meninga er, så kan jeg spare deg litt tid ved å gi deg koden. Det er snakk om ei linje som bare sparer litt tid, og ikke mer.
Når det gjelder ROBOTS.txt, så er dette ei fil som leses av crawlere (for eksempel søkemotorer som skal indeksere innhold). Her er eksempelvis mi: https://udl.no/robots.txt
Hvis jeg for eksempel ville unngått at crawlere laster spesielt tunge sider, så hadde jeg fylt den ut, men slik det står så har jeg ingen spesielt krevende sider, så de får gjøre som de vil. Hvis jeg hadde ei side som tillot brukeren å laste ned alle mine videoer på mange, mange GB, så hadde jeg lagt det til i robots.txt slik at crawlere (som det finnes mange av) ikke overbelaster serveren.