.:: 2024/05/15 ROBOTOOLS переехал на более мощный сервер
 
.:BLOG▪ 
//\(oo)/\

Как с помощью wget скачать @-->--->--- сайт целиком и вместе со структурой?

▪ 9 мес. назад

Как скачивать Сайты при помощи wget ?



wget: это утилита командной строки, доступная на многих операционных системах, включая: Linux, macOS и "с каждым выпуском все более обнаглевающий" Windows.

1. Простая загрузка сайта:



bash
wget -r -np http://example.com


загрузит веб-сайт http://example.com и рекурсивно пройдется по всей его структуре. -r указывает на рекурсивное скачивание, а -np запрещает переход на родительские каталоги

2. Загрузка без изображений:



bash
wget -r --no-parent --reject=jpg,jpeg,png,gif http://example.com


команда загрузит сайт http://example.com, исключив из скачивания файлы с расширениями jpg, jpeg, png и gif.

3. Игнорирование robots.txt:



bash
wget -r -e robots=off http://example.com


команда отключит уважение правил robots.txt и загрузит содержимое сайта http://example.com , но уже без уважения.

4. Задание лимита на глубину рекурсии:



bash
wget -r -l 2 http://example.com


команда загрузит веб-сайт http://example.com, ограничив глубину рекурсии до 2 уровней.

5. Ограничение скорости загрузки:



bash
wget --limit-rate=100k http://example.com


команда ограничит скорость загрузки до 100 килобайт в секунду.

6. Загрузка через прокси-сервер:



bash
wget --proxy=on --proxy=http://proxy.example.com:8080 http://example.com


команда использует прокси-сервер http://proxy.example.com:8080 для загрузки веб-сайта http://example.com

7. Скачивание с авторизацией:



bash
wget --user=username --password=hui http://example.com


команда загрузит сайт http://example.com, предоставив имя пользователя и пароль для авторизации.

8. Загрузка с использованием cookies:



bash
wget --load-cookies=cookies.txt http://example.com


команда загрузит сайт http://example.com, используя cookies, сохраненные в файле cookies.txt

9. "Простая" имитация нужная типа браузера:



bash
wget --user-agent="Mudzilla/5.0 (Windows NT 10.0; Win64; x64)" http://example.com


команда отправит пользовательский агент, имитируя несуществующий браузер

10. Скачивание в фоновом режиме:



bash
wget -b http://example.com


команда скачает http://example.com в фоновом режиме, позволяя вам продолжать работу в терминале

11. Загрузка + ограничение количества попыток:





bash
wget --tries=3 http://example.com


команда ограничит количество попыток загрузки до 3

Как вы понимаете, данные примеры демонстрируют лишь малую часть возможностей wget, а сама утилита предоставляет гораздо больше параметров и настроек.



+------------------------------------------------+



+--------------------------------------------------------+
 }  .: End of Scroll ^  |   Сайт использует $COOKIES   {
+--------------------------------------------------------+