# robots.txt for http://*.topothek.at/ # global User-agent: * Disallow: /data Disallow: /orig Disallow: /tools Disallow: /documents.php Disallow: /login.php Disallow: /*2.php Allow: /data/*/files*/file*.jpg$ Allow: /data/*/files*/file*.pdf$ Allow: /data/*/files*/file*.mp4$ Allow: /data/*/files*/file*.mp3$ Allow: /data/*/files*/file*.webm$ Allow: /data/*/files*/file*.ogv$ Allow: /data/*/files*/file*.jpg? Allow: /data/*/files*/file*.pdf? Allow: /data/*/files*/file*.mp4? Allow: /data/*/files*/file*.mp3? Allow: /data/*/files*/file*.webm? Allow: /data/*/files*/file*.ogv?