commit 432b7e35dcb2b673990460e71faa19b5f635323a parent d4d34cc1f6f58718bc01d160e8edd02edce73658 Author: Marcel <MTRNord@users.noreply.github.com> Date: Thu, 22 Dec 2016 11:40:16 +0100 Create README.md Diffstat:
| A | crawler/README.md | | | 7 | +++++++ |
1 file changed, 7 insertions(+), 0 deletions(-)
diff --git a/crawler/README.md b/crawler/README.md @@ -0,0 +1,7 @@ +# Webcrawler + +Hier entsteht ein nodejs basierter Webseiten Sammler. Dieser wird zudem die bekannte robots.txt beachten und als Funktion haben aus den Headern der Webseite die SEO tags sammeln und indexieren. + +## Infos +- https://github.com/behroozk/node-elasticsearch-tutorial/blob/master/index.js <--- Hinzufügen von Datensätzen +- https://github.com/cgiffard/node-simplecrawler <--- Libary für den Crawler