//\(oo)/\

Как с помощью wget скачать @-->--->--- сайт целиком и вместе со структурой?

▪ один год назад

Как скачивать Сайты при помощи wget ?

wget: это утилита командной строки, доступная на многих операционных системах, включая: Linux, macOS и Windows (не рекомендуется).

1. Простая загрузка сайта:

bash

---

wget -r -np http://example.com


загрузит веб-сайт http://example.com и рекурсивно пройдется по всей его структуре. -r указывает на рекурсивное скачивание, а -np запрещает переход на родительские каталоги

2. Загрузка без изображений:

bash

---

wget -r --no-parent --reject=jpg,jpeg,png,gif http://example.com


команда загрузит сайт http://example.com, исключив из скачивания файлы с расширениями jpg, jpeg, png и gif.

3. Игнорирование robots.txt:

bash

---

wget -r -e robots=off http://example.com


команда отключит уважение правил robots.txt и загрузит содержимое сайта http://example.com , но уже без уважения.

4. Задание лимита на глубину рекурсии:

bash

---

wget -r -l 2 http://example.com


команда загрузит веб-сайт http://example.com, ограничив глубину рекурсии до 2 уровней.

5. Ограничение скорости загрузки:

bash

---

wget --limit-rate=100k http://example.com


команда ограничит скорость загрузки до 100 килобайт в секунду.

6. Загрузка через прокси-сервер:

bash

---

wget --proxy=on --proxy=http://proxy.example.com:8080 http://example.com


команда использует прокси-сервер http://proxy.example.com:8080 для загрузки веб-сайта http://example.com

7. Скачивание с авторизацией:

bash

---

wget --user=username --password=hui http://example.com


команда загрузит сайт http://example.com, предоставив имя пользователя и пароль для авторизации.

8. Загрузка с использованием cookies:

bash

---

wget --load-cookies=cookies.txt http://example.com


команда загрузит сайт http://example.com, используя cookies, сохраненные в файле cookies.txt

9. "Простая" имитация нужная типа браузера:

bash

---

wget --user-agent="Mudzilla/5.0 (Windows NT 10.0; Win64; x64)" http://example.com


команда отправит пользовательский агент, имитируя несуществующий браузер

10. Скачивание в фоновом режиме:

bash

---

wget -b http://example.com


команда скачает http://example.com в фоновом режиме, позволяя вам продолжать работу в терминале

11. Загрузка + ограничение количества попыток:

bash

---

wget --tries=3 http://example.com


команда ограничит количество попыток загрузки до 3

Как вы понимаете, данные примеры демонстрируют лишь малую часть возможностей wget, а сама утилита предоставляет гораздо больше параметров и настроек.

+------------------------------------------+