freifunksearch

Moved to https://github.com/FreifunkSearchProjekt
git clone git://archive.git.mtrnord.blog/MTRNord/freifunksearch.git
Log | Files | Refs | README | LICENSE

README.md (411B)

      1 # Webcrawler
      2 
      3 Hier entsteht ein nodejs basierter Webseiten Sammler. Dieser wird zudem die bekannte robots.txt beachten und als Funktion haben aus den Headern der Webseite die SEO tags sammeln und indexieren.
      4 
      5 ## Infos
      6 - https://github.com/behroozk/node-elasticsearch-tutorial/blob/master/index.js  <--- Hinzufügen von Datensätzen
      7 - https://github.com/cgiffard/node-simplecrawler  <--- Libary für den Crawler