Время на прочтение9 мин
Количество просмотров224K
Curl (client URL) — это инструмент командной строки на основе библиотеки libcurl для передачи данных с сервера и на сервер при помощи различных протоколов, в том числе HTTP, HTTPS, FTP, FTPS, IMAP, IMAPS, POP3, POP3S, SMTP и SMTPS. Он очень популярен в сфере автоматизации и скриптов благодаря широкому диапазону функций и поддерживаемых протоколов. В этой статье мы расскажем, как использовать curl в Windows на различных примерах.
▍ Установка в Windows
Во всех современных версиях Windows, начиная с Windows 10 (версия 1803) и Server 2019, исполняемый файл curl поставляется в комплекте, поэтому ручная установка не требуется. Чтобы определить местоположение curl и его версию в системе, можно использовать следующие команды:
where curl
curl --version
Определение местоположения и версии curl в Windows
Команда curl —version также выводит список протоколов и функций, поддерживаемых текущей версией curl. Как видно из показанного выше скриншота, к использованию встроенной утилиты curl всё готово. Если вместо этого отображается сообщение об ошибке, curl может быть недоступен потому, что вы используете более раннюю версию Windows (например, Windows 8.1 или Server 2016). В таком случае вам потребуется установить curl в Windows вручную.
▍ Синтаксис curl
Команда curl использует следующий синтаксис:
curl [options...] [url]Инструмент поддерживает различные опции, которые мы рассмотрим ниже. Как и в любом инструменте командной строки, вы можете использовать для получения справки команду curl —help.
Получение справки при помощи команды curl
Для получения подробной справки можно использовать команду curl —help all. Справка разделена на категории, поэтому при помощи curl —help category можно просмотреть все темы.
Ознакомившись с синтаксисом curl, давайте рассмотрим различные способы применения этого инструмента на примерах.
▍ HTTP-запрос GET
При использовании curl с URL и без указания опций запрос по умолчанию использует метод GET протокола HTTP. Попробуйте выполнить такую команду:
curl https://4sysops.comПриведённая выше команда по сути эквивалентна curl —request GET 4sysops.com, отправляющей запрос GET к 4sysops.com по протоколу HTTPS. Чтобы указать версию протокола HTTP (например, http/2), используйте опцию —http2:
curl --http2 https://4sysops.comВ случае URL, начинающихся с HTTPS, curl сначала пытается установить соединение http/2 и автоматически откатывается к http/1.1, если это не удаётся. Также он поддерживает другие методы, например, HEAD, POST, PUT и DELETE. Для использования этих методов вместе с командой curl нужно указать опцию —request (или -X), за которой следует указание метода. Стоит заметить, что список доступных методов зависит от используемого протокола.
▍ Получение информации об удалённом файле
Если вы администратор, то иногда вам могут быть интересны только заголовки HTTP. Их можно получить при помощи опции —head (или -I). Иногда URL может перенаправлять пользователя в другую точку. В таком случае опция —location (или -L) позволяет curl выполнять перенаправления. Также можно использовать —insecure (или -k), чтобы разрешить незащищённые подключения и избежать ошибок с сертификатом TLS в случае, если целевой URL использует самоподписанный сертификат. Пользуйтесь этой опцией только при абсолютной необходимости. Все эти три опции можно скомбинировать в одну краткую запись, как показано в следующей команде:
curl -kIL 4sysops.com
Опции просмотра заголовков запросов, включения незащищённого соединения и использования перенаправлений
Как можно заметить, такая краткая запись особенно полезна для комбинирования нескольких опций. Приведённая выше команда по сути эквивалентна команде curl —insecure —head —location 4sysops.com.
Опция —head (или -I) также даёт основную информацию об удалённом файле без его скачивания. Как показано на скриншоте ниже, при использовании curl с URL удалённого файла он отображает различные заголовки, дающие информацию об удалённом файле.
curl -IL https://curl.se/windows/dl-7.85.0_5/curl-7.85.0_5-win64-mingw.zip
Использование curl для просмотра основной информации удалённых файлов
Заголовок Content-Length обозначает размер файла (в байтах), Content-Type сообщает о типе медиафайла (например, image/png, text/html), Server обозначает тип серверного приложения (Apache, Gunicorn и так далее), Last-Modified показывает дату последнего изменения файла на сервере, а заголовок Accept-Ranges обозначает поддержку частичных запросов для скачивания от клиента, что по сути определяет возможность продолжения прерванной загрузки.
▍ Скачивание файла
Для скачивания файла и сохранения с тем же именем, что и на сервере, можно использовать curl с опцией —remote-name (или -O). Показанная ниже команда скачивает последнюю версию curl для Windows с официального сайта:
curl -OL https://curl.se/windows/latest.cgi?p=win64-mingw.zip
Скачивание файла с именем по умолчанию и индикатором прогресса
При необходимости для нахождения ресурса добавляется опция -L, разрешающая перенаправления. Если нужно сохранить файл с новым именем, используйте опцию —output (или -o). Кроме того, при использовании команды curl в скрипте может понадобиться отключить индикатор прогресса, что можно сделать при помощи опции —silent (или -s). Эти две опции можно скомбинировать:
curl -sLo curl.zip https://curl.se/windows/latest.cgi?p=win64-mingw.zip
Скачивание файла без индикатора и сохранение под произвольным именем
▍ Продолжение прерванного скачивания
Наличие Accept-Ranges: bytes в заголовке ответа в буквальном смысле обозначает, что сервер поддерживает скачивания с возможностью продолжения. Чтобы продолжить прерванное скачивание, можно использовать опцию —continue-at (или -C), получающую смещение (в байтах). Обычно указывать смещение непросто, поэтому curl предоставляет простой способ продолжения прерванной загрузки:
curl -OLC - https://releases.ubuntu.com/22.04/ubuntu-22.04.1-desktop-amd64.isoПродолжение прерванного скачивания
Как видно из скриншота, я скачивал iso-файл Ubuntu, но скачивание было прервано. Затем я снова запустил команду curl с опцией -C, и передача продолжилась с того диапазона байтов, на котором была прервана. Знак минус (—) рядом с -C позволяет curl автоматически определить, как и где продолжить прерванное скачивание.
▍ Аутентификация с Curl
Также Curl поддерживает аутентификацию, что позволяет скачать защищённый файл, предоставив учётные данные при помощи опции —user (or -u), принимающей имя пользователя и пароль в формате username:password. Если не вводить пароль, curl попросит ввести его в режиме no-echo.
curl -u surender -OL https://techtutsonline.com/secretFiles/sample.zip
Скачивание файла с аутентификацией по имени пользователя и паролю
Если вы используете Basic authentication, то необходимо передать имя пользователя и пароль, а значит, воспользоваться защищённым протоколом наподобие HTTPS (вместо HTTP) или FTPS (вместо FTP). Если по каким-то причинам приходится использовать протокол без шифрования, то убедитесь, что вы используете способ аутентификации, не передающий учётные данные в виде простого текста (например, аутентификацию Digest, NTLM или Negotiate).
Также curl поддерживает использование файлов конфигурации .curlrc, _curlrc и .netrc, позволяющих задавать различные опции curl в файле, а затем добавлять файл в команду при помощи опции curl —config (или curl -K), что особенно полезно при написании скриптов.
▍ Выгрузка файла
Опция —upload-file (или -T) позволяет выгружать локальный файл на удалённый сервер. Показанная ниже команда выгружает файл из локальной системы на удалённый веб-сервер по протоколу FTPS:
curl -kT C:\Users\Surender\Downloads\sample1.zip -u testlab\surender ftps://192.168.0.80/awesomewebsite.com/files/
Выгрузка файла на удалённый сервер
Опция -k добавляется для устранения проблем с сертификатами на случай, если веб-сервер использует самоподписанный сертификат. Наклонная черта в конце URL сообщает curl, что конечная точка является папкой. Можно указать несколько имён файлов, например «{sample1.zip,sample2.zip}». Ниже показано, как с помощью одной команды curl можно выгрузить на сервер несколько файлов:
curl -kT sample[1-5].zip -u testlab\surender ftps://192.168.0.80/awesomewebsite.com/files/
Выгрузка нескольких файлов на сервер
▍ Последовательность команд
Как говорилось ранее, curl поддерживает различные методы в зависимости от используемого протокола. Дополнительные команды можно отправлять при помощи —quote (или -Q) для выполнения операции до или после обычной операции curl. Например, можно скачать файл с удалённого сервера по протоколу FTPS и удалить файл с сервера после успешного скачивания. Для этого нужно выполнить следующую команду:
curl -u testlab\surender -kO "ftps://192.168.0.80/awesomewebsite.com/files/sample1.zip" -Q "-DELE sample1.zip"
Удаление файла после успешного скачивания
В показанном выше примере я скачал файл sample1.zip с FTPS-сервера при помощи опции -O. После опции -Q я добавил минус (-) перед командой DELE, что заставляет curl отправить команду DELE sample1.zip сразу после успешного скачивания файла. Аналогично, если вы хотите отправить команду на сервер до выполнения операции curl, используйте плюс (+) вместо минуса.
▍ Изменение user-agent
Информация user-agent сообщает серверу тип клиента, отправляющего запрос. При отправке запроса curl на сервер по умолчанию используется user-agent curl/<version>. Если сервер настроен так, чтобы блокировать запросы curl, можно задать собственный user-agent при помощи опции —user-agent (или -A). Показанная ниже команда отправляет стандартный user-agent Google Chrome:
curl -kIA "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0" https://awesomewebsite.com/files/secretFile.zip
Использование собственного user-agent с командой curl, чтобы избежать блокировки сервером
На показанном выше скриншоте видно, что обычный запрос curl был отклонён веб-сервером (с ответом 403 Forbidden), но при передаче другого user-agent запрос выполняется успешно, возвращая ответ 200 OK.
▍ Отправка куки
По умолчанию запрос curl не отправляет и не сохраняет куки. Для записи куки можно использовать опцию —cookie-jar (или -c), а отправить куки можно опцией —cookie (or -b):
curl -c /path/cookie_file https://awesomewebsite.com/
curl -b /path/cookie_file https://awesomewebsite.com/Первая команда записывает файл куки, а вторая отправляет куки с запросом curl. Также можно отправить куки в формате ‘name = value’:
curl -b 'session=abcxyz' -b 'loggedin=true' http://echo.hoppscotch.io
Отправка нескольких куки командой curl
Я воспользовался веб-сайтом echo.hoppscotch.io для демонстрации заголовков HTTP-запросов, которые обычно невидимы клиентам, отправляющим запрос. Если вы не хотите пользоваться этим веб-сайтом, то можете применить опцию –verbose (или -v) для отображения запроса в сыром виде (который отображает и заголовки запросов).
▍ Использование прокси-сервера
Если вы пользуетесь прокси-сервером для подключения к интернету, в curl можно указать прокси опцией —proxy (или -x). Если прокси-сервер требует аутентификации, то добавьте —proxy-user (или -U):
curl -x 192.168.0.250:8088 -U username:password https://awesomewebsite.com/Прокси-сервер указывается в формате server:port, а пользователь прокси — в формате username:password. Можно не вводить пароль пользователя прокси, тогда curl попросит ввести его в режиме no-echo.
Использование прокси-сервера и аутентификации
▍ Дополнительные заголовки запросов
Иногда вместе с запросом к серверу необходимо отправить дополнительную информацию. В curl это можно сделать при помощи —header (или -H), как показано в следующей команде:
curl -vkIH "x-client-os: Windows 11 Enterprise (x64)" https://awesomewebsite.com
Указание дополнительных заголовков для запроса curl
Можно отправлять любую информацию, недоступную через стандартные заголовки HTTP-запросов. В этом примере я отправил название своей операционной системы. Также я добавил опцию -v для включения verbose-вывода, отображающего дополнительный заголовок, отправляемый вместе с каждым моим запросом curl.
▍ Отправка электронного письма
Так как curl поддерживает протокол SMTP, его можно использовать для отправки электронного письма. Показанная ниже команда позволяет отправить электронное письмо при помощи curl:
curl --insecure --ssl-reqd smtps://mail.yourdomain.com –-mail-from sender@yourdomain.com –-mail-rcpt receiver@company.com --user sender@yourdomain.com --upload-file email_msg.txt
Отправка электронного письма командой curl
Давайте вкратце перечислим использованные здесь опции:
- Опция —insecure (или -k) используется, чтобы избежать ошибки сертификата SSL. Мы уже применяли её ранее.
- Опция —ssl-reql используется для апгрейда соединения передачи простого текста до зашифрованного соединения, если оно поддерживается SMTP-сервером. Если вы уверены, что ваш SMTP-сервер поддерживает SSL, то можно использовать непосредственно имя сервера smtps (например, smtps://smtp.yourdomain.com), как показано на скриншоте.
- Опция —mail-from используется для указания адреса электронной почты отправителя.
- Опция mail-rcpt указывает адрес электронной почты получателя.
- Опция —user (или -u) отправляет имя пользователя для аутентификации, оно должно совпадать с адресом mail-from, потому что в противном случае письмо может быть отклонено или помечено как спам.
- Опция —upload-file (или -T) используется для указания файла, в котором находится отправляемое письмо.
На скриншоте ниже показано письмо, полученное мной во входящие:
Просмотр письма, отправленного с помощью curl
Это всего лишь несколько примеров использования curl — на самом деле их гораздо больше. Я настоятельно рекомендую проверить справку по curl и поэкспериментировать с ней.
А вы используете curl? И если да, то для чего?
Telegram-канал с полезностями и уютный чат
#статьи
-
0
Осваиваем швейцарский нож для взаимодействия с сетевыми протоколами.
Иллюстрация: Оля Ежак для Skillbox Media
Филолог и технарь, пишет об IT так, что поймут даже новички. Коммерческий редактор, автор технических статей для vc.ru и «Хабра».
Curl (Client URL, или «Клиентский URL») — это инструмент командной строки, предназначенный для передачи данных по различным сетевым протоколам. Он помогает разработчикам, системным администраторам и другим специалистам выполнять HTTP-запросы, загружать файлы, тестировать API и решать множество задач по отладке веб-приложений.
Давайте сразу проверим Curl в действии. Для этого откройте на своём компьютере терминал, скопируйте следующую команду и нажмите Enter:
curl https://httpbin.org/ip
После ввода команды Curl отправит GET-запрос на сервис httpbin.org, который обработает запрос и вернёт ваш текущий IP-адрес в формате JSON:
C:\Users\user>curl https://httpbin.org/ip
{
"origin": "95.165.134.78"
}
Похожим образом Curl позволяет легко взаимодействовать с различными API и получать нужную информацию. Теперь поговорим об этом подробней.
Содержание
- Описание Curl
- Установка и запуск
- Синтаксис команд
- Использование Curl
- GET-запрос
- POST-запрос
- Скачивание файла
- Вывод заголовков
- Аутентификация
- Следование редиректам
- Загрузка файла
- Подборка ресурсов для работы с Curl
В 1997 году шведский программист Даниэль Стенберг разработал утилиту httpget — инструмент для загрузки валютных курсов через IRC-бота. Если вы хотели узнать текущий курс доллара, процесс выглядел примерно так:
- Бот подключался к сайту с актуальными курсами валют.
- Программа httpget загружала страницу и извлекала нужные данные о курсе доллара. Например, 1 USD = 30 RUB ?
- Затем она передавала эту информацию IRC-боту, который отвечал на ваш запрос в IRC-чате.
Проект привлёк внимание многих разработчиков, поскольку решал актуальную проблему того времени — загрузку данных из интернета. До появления httpget разработчикам приходилось создавать отдельные скрипты для каждого случая получения данных. Программа позволяла получить нужную информацию всего несколькими простыми командами.
Со временем проект HTTPget сменил название на Urlget, а затем на Curl. Сегодня Curl — это кросс-платформенная утилита командной строки, которая позволяет передавать или загружать данные с сервера, устанавливая подключение через различные протоколы: HTTP, HTTPS, FTP, SFTP, TFTP, SCP, Telnet, DICT, LDAP, POP3, IMAP, SMTP и другие.
Сейчас, помимо Curl, существуют и другие инструменты для работы с HTTP-запросами. Вот некоторые из популярных:
- Wget — утилита командной строки для загрузки файлов, удобная для рекурсивной загрузки и работы с FTP-протоколом.
- Postman — графический инструмент для тестирования API. Он лучше Curl подходит для сложных запросов и визуализации ответов, однако уступает в гибкости при автоматизации задач.
- HTTPie — это современный аналог Curl с упрощённым синтаксисом, цветным выводом результатов и менее широким набором функций.
- Axios — это JavaScript-библиотека для выполнения HTTP-запросов. Она удобна для веб-разработки, но ограничена средой JavaScript: Axios можно использовать только в браузерах для HTTP-запросов на стороне клиента и в Node.js для запросов на стороне сервера.
Несмотря на множество альтернатив, Curl остаётся популярным инструментом благодаря своей универсальности, широкой поддержке протоколов и кросс-платформенности. Давайте перейдём к его установке.
? Возможности Curl и других бесплатных инструментов для передачи данных: сравнительная таблица
В современных операционных системах утилита Curl обычно установлена по умолчанию. Для проверки откройте терминал и введите команду:
curl --version
Должен отобразиться номер версии и поддерживаемые протоколы:
Скриншот: Windows 10 / Skillbox Media
Если Curl не установлен, в терминале появится сообщение об ошибке:
'curl' is not recognized as an internal or external command,
operable program or batch file.
Если вы видите подобное сообщение, значит, программа Curl недоступна и её нужно загрузить. Способ установки зависит от операционной системы.
Если у вас macOS, установите менеджер пакетов Homebrew и выполните в терминале следующую команду:
brew install curl
После завершения установки проверьте версию Curl:
curl --version
Если у вас Linux, то способ установки будет зависеть от дистрибутива. Для Ubuntu или Debian выполните последовательно следующие команды:
sudo apt-get update sudo apt-get install curl
Для Fedora:
sudo dnf install curl
Для CentOS или RHEL:
sudo yum install curl
Для Arch Linux:
sudo pacman -S curl
После установки проверьте версию Curl командой:
curl --version
Если у вас Windows 10 или 11, откройте PowerShell или командную строку от имени администратора и установите Curl через менеджер пакетов:
winget install curl
После установки перезапустите PowerShell или командную строку и проверьте установку:
curl --version
Если у вас Windows 7, 8 или 8.1, скачайте архив с утилитой с сайта curl.se через браузер Pale Moon. Современные браузеры могут не поддерживаться устаревшими версиями Windows или блокировать загрузку по соображениям безопасности. Pale Moon — это легковесный браузер, позволяющий загружать сторонние файлы без подобных ограничений.
После загрузки распакуйте папку из архива, переименуйте её в Curl и поместите в удобное место. Например, наша папка находится по пути: C:/Program Files/Curl. Затем откройте папку Curl, перейдите в подпапку bin и скопируйте полный путь к этому каталогу:
Не выходя из проводника, щёлкните правой кнопкой мыши по разделу Компьютер и в появившемся меню выберите пункт Свойства:
Откроется информационное окно со сведениями о вашем компьютере. В левой панели щёлкните на пункт Дополнительные параметры системы:
В открывшемся окне нажмите кнопку Переменные среды:
В разделе Системные переменные найдите пункт Path, выделите его и нажмите кнопку Изменить:
Появится окно Изменение системной переменной, в котором вам нужна строка Значение переменной. Поставьте точку с запятой в конце текущего значения и сразу после него без пробела вставьте скопированный путь к каталогу. Нажмите ОК во всех открытых окнах и перезагрузите компьютер:
После перезагрузки откройте командную строку и выполните проверку:
curl --version
Если отобразилась версия утилиты, значит, всё правильно. Если появилось сообщение об ошибке или команда не распознана, попробуйте следующее:
- Проверьте путь к Curl в разделе Переменные среды Path — убедитесь, что вы добавили его согласно инструкции.
- Перезапустите командную строку или PowerShell.
- Если проблема сохраняется, перезагрузите компьютер ещё раз.
- Если ничего не помогло, повторите процедуру установки.
Общий синтаксис Curl-команд выглядит следующим образом:
curl [параметры] [URL]
Базовые команды можно выполнять без параметров по указанию URL-адреса. Например, с помощью следующей команды вы сможете загрузить HTML-структуру выбранного сайта в свой терминал:
# Замените example.com на адрес любого сайта
curl https://www.example.com
Хотя параметры необязательны, они позволяют точно настроить поведение Curl и расширить его функциональность. Вот несколько частых параметров:
- -O: сохраняет скачиваемый файл с его оригинальным именем;
- -o: сохраняет файл с указанным вами именем;
- -I: получает только HTTP-заголовки ответа сервера;
- -L: следует редиректам. Например, если сайт перенаправляет запрос с http://example.com на https://example.com, curl с параметром -L автоматически выполнит это перенаправление.
Параметры всегда должны располагаться перед URL и их можно комбинировать. Вот пример комбинированной команды:
curl -LO <https://example.com/file.zip>
# Эта команда следует редиректам (-L) и сохраняет файл с оригинальным именем (-O)
Для просмотра всех доступных параметров используйте команду:
curl --help all
В следующем разделе мы рассмотрим основные сценарии использования Curl и попрактикуемся применять команды с различными параметрами.
Рассмотрим команды для основных сценариев использования Curl:
- GET-запрос: curl https://example.com
- POST-запрос: curl -X POST -d «data» https://example.com
- Скачивание файла: curl -O https://example.com/file.zip
- Вывод заголовков: curl -I https://example.com
- Аутентификация: curl -u username:password https://example.com
- Следование редиректам: curl -L https://example.com
- Загрузка файла: curl -T file.txt https://example.com/upload
Для закрепления этих команд воспользуемся сервисом JSONPlaceholder. Это бесплатный онлайн REST API, предоставляющий фиктивные данные для обучения и тестирования. Данный ресурс позволяет практиковаться в работе с API без настройки собственного сервера.
Эта команда позволяет получать данные с сервера без их изменения. С её помощью вы можете просматривать содержимое ресурса, проверять доступность API или проводить отладку приложения.
Отправим GET-запрос для получения информации о посте:
curl https://jsonplaceholder.typicode.com/posts/1
В результате мы получим примерно такой JSON-объект:
{
"userId": 1,
"id": 1,
"title": "sunt aut facere repellat provident occaecati excepturi optio reprehenderit",
"body": "quia et suscipit\nsuscipit recusandae consequuntur expedita et cum\nreprehenderit molestiae ut ut quas totam\nnostrum rerum est autem sunt rem eveniet architecto"
}
В ответе содержится информация о посте: идентификатор пользователя (userId), идентификатор поста (id), заголовок (title) и содержание (body). Поскольку сервис JSONPlaceholder предоставляет фиктивные данные, содержимое вашего поста может отличаться от приведённого примера.
Эта команда применяется для передачи данных на сервер при заполнении веб-форм, отправке сообщений или создании новых записей в базе данных.
Создадим новый пост и отправим на сервер следующие JSON-данные:
{
"title": "Заголовок поста",
"body": "Здесь мы добавляем содержание поста",
"userId": 1
}
Выполним Curl-команду:
curl -X POST -H "Content-Type: application/json" -d "{\"title\": \"Заголовок поста\", \"body\": \"Здесь мы добавляем содержание поста\", \"userId\": 1}" "https://jsonplaceholder.typicode.com/posts"
После обработки запроса сервер вернёт ответ, в котором содержится информация о созданном посте с его уникальным идентификатором:
{
"title": "Заголовок поста",
"body": "Здесь мы добавляем содержание поста",
"userId": 1,
"id": 101
}
Эта команда позволяет сохранить полученные данные в файл на вашем компьютере. Это удобно при работе с большими объёмами данных или когда требуется дальнейшая обработка полученной информации.
Сохраним JSON-ответ в файл post.json в нашей текущей директории:
curl -o post.json https://jsonplaceholder.typicode.com/posts/1
Результат вывода:
C:\Users\user>curl -o post.json https://jsonplaceholder.typicode.com/posts/1 % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 100 292 100 292 0 0 380 0 --:--:-- --:--:-- --:--:-- 382
Файл post.json сохранён в директории C:\Users\user. Вывод также содержит статистику загрузки данных:
- Общий размер файла: 292 байта.
- Процент загрузки: 100%.
- Скорость загрузки: 380 байт/с.
- Время выполнения: мгновенно (—:—:—).
Эта команда позволяет получить заголовки HTTP-ответов без тела сообщения. Это полезно для проверки статуса ответа, типа содержимого, заголовков кэширования и других метаданных с запрашиваемого ресурса.
Отправим запрос для получения HTTP-заголовков из нашего сервиса:
curl -I https://jsonplaceholder.typicode.com/posts/1
Пример ответа:
HTTP/1.1 200 OK Date: Wed, 23 Oct 2024 07:34:44 GMT Content-Type: application/json; charset=utf-8 Content-Length: 292 Connection: keep-alive Report-To: {"group":"heroku-nel","max_age":3600,"endpoints":[{"url":"https://nel.heroku.com/reports?ts=1729551695&sid=e11707d5-02a7-43ef-b45e-2cf4d2036f7d&s=T06zv%2Bip6vp%2FcW6OahKqDwFYY1PQhd6eXYmDv1DMf3g%3D"}]} Reporting-Endpoints: heroku-nel=https://nel.heroku.com/reports?ts=1729551695&sid=e11707d5-02a7-43ef-b45e-2cf4d2036f7d&s=T06zv%2Bip6vp%2FcW6OahKqDwFYY1PQhd6eXYmDv1DMf3g%3D Nel: {"report_to":"heroku-nel","max_age":3600,"success_fraction":0.005,"failure_fraction":0.05,"response_headers":["Via"]} X-Powered-By: Express X-Ratelimit-Limit: 1000 X-Ratelimit-Remaining: 999 X-Ratelimit-Reset: 1729551747 Vary: Origin, Accept-Encoding Access-Control-Allow-Credentials: true Cache-Control: max-age=43200 Pragma: no-cache Expires: -1 X-Content-Type-Options: nosniff Etag: W/"124-yiKdLzqO5gfBrJFrcdJ8Yq0LGnU" Via: 1.1 vegur CF-Cache-Status: HIT Age: 1983 Accept-Ranges: bytes Server: cloudflare CF-RAY: 8d700bdd4a385b4f-VIE alt-svc: h3=":443"; ma=86400 server-timing: cfL4;desc="?proto=TCP&rtt=25362&sent=5&recv=6&lost=0&retrans=0&sent_bytes=3130&recv_bytes=510&delivery_rate=144240&cwnd=252&unsent_bytes=0&cid=748ae82f39ab1e32&ts=71&x=0"
Этот вывод содержит важную информацию для анализа ответов API и отладки запросов. В нём есть статус ответа (200 OK), тип содержимого (например, application/json), длина контента, а также заголовки кэширования, безопасности и ограничения скорости. Такие сведения помогают разработчикам лучше понять взаимодействие с сервером и выявить потенциальные проблемы.
Аутентификация обеспечивает доступ к частным или защищённым ресурсам. Сервис JSONPlaceholder не требует аутентификации, однако вы можете выполнить команду, демонстрирующую передачу данных при работе с защищёнными API. В нашем примере сервер вернёт список постов, а в реальном сценарии такой запрос открыл бы доступ к закрытому ресурсу:
curl -u username:password https://jsonplaceholder.typicode.com/posts
Редиректы полезны при работе с URL-адресами, которые могут перенаправлять на другие ресурсы. JSONPlaceholder не использует редиректы, поэтому команда ниже эмулирует этот процесс, позволяя Curl автоматически следовать по цепочке переадресаций сайтов. При реальном запросе вы получите конечный ресурс после различных перенаправлений:
curl -L https://jsonplaceholder.typicode.com/posts/1
Вы можете отправлять POST-запросы для передачи больших объёмов данных или заранее подготовленной информации. Создадим файл newpost.json и сразу отправим его содержимое на JSONPlaceholder.
Добавим кодировку UTF-8, чтобы избежать ошибок при отображении данных на русском языке:
chcp 65001
Создадим файл newpost.json:
echo {"title": "Загруженный пост", "body": "Содержимое поста", "userId": 1} > newpost.json
curl -X POST -H "Content-Type: application/json" -d @newpost.json https://jsonplaceholder.typicode.com/posts
Получаем ответ от сервера, подтверждающий выполнение запроса:
C:\Users\user>curl -X POST -H "Content-Type: application/json" -d @newpost.json https://jsonplaceholder.typicode.com/posts { "title": "Загруженный пост", "body": "Содержимое поста", "userId": 1, "id": 101 }
Вы познакомились с возможностями Curl, и, если считаете, что этот инструмент может пригодиться в работе, рекомендуем следующие ресурсы:
- Everything curl — бесплатная онлайн-версия книги от создателя Curl, в которой он подробно рассказывает об устройстве технологии.
- Официальная документация с описанием всех опций и команд Curl.
- Блог Даниэля Стенберга, где он часто пишет о Curl и смежных технологиях.
- GitHub-репозиторий Curl — позволяет отслеживать разработку проекта, сообщать о проблемах и вносить свой вклад в развитие Curl.
- Curl Сookbook — сборник практических примеров использования Curl для решения различных задач.
Научитесь: Старт в DevOps: системное администрирование для начинающих
Узнать больше
Edit me
Хотя Postman удобен, его трудно использовать для представления в документации, как совершать запросы с его помощью. Кроме того, разные пользователи, вероятно, используют разные клиенты с графическим интерфейсом или вообще не используют их (предпочитая командную строку)
Вместо того, чтобы описывать, как выполнять REST-запросы с использованием GUI-клиента, такого как Postman, наиболее традиционный метод документирования синтаксиса запроса — использовать curl.
curl — это утилита командной строки, которая позволяет выполнять HTTP-запросы с различными параметрами и методами. Вместо того, чтобы переходить к веб-ресурсам в адресной строке браузера, можно использовать командную строку, чтобы получить те же ресурсы, извлеченные в виде текста.
Установка curl
curl доступен на MacOS по умолчанию, для Windows требуется установка. Ниже представлены инструкции по установке curl.
Установка на MacOS
Проверить установлен ли curl на MacOS можно так:
- Открываем Терминал (нажимаем
Cmd+spacebarдля открытия Спотлайт и вводим Terminal). - В терминале пишем
curl -V. Ответ должен быть примерно таким:
curl 7.54.0 (x86_64-apple-darwin16.0) libcurl/7.54.0 SecureTransport zlib/1.2.8
Protocols: dict file ftp ftps gopher http https imap imaps ldap ldaps pop3 pop3s rtsp smb smbs smtp smtps telnet tftp Features: AsynchDNS IPv6 Largefile GSS-API Kerberos SPNEGO NTLM NTLM_WB SSL libz UnixSockets
Если такого ответа нет, то curl необходимо скачать и установить
Установка на Windows
Установка curl в Windows включает другие шаги. Сначала определяем версию windows: 32-разрядная или 64-разрядная версия Windows, щелкнув правой кнопкой мыши Компьютер и выбрав Свойства. Затем следуем инструкциям на этой странице. Нужно выбрать одну из бесплатных версий с правами Администратора.
После установки проверяем версию установленной curl;
- Открываем командную строку нажав кнопку
Пуски введяcmd - В строке пишем
curl -V
Ответ должен быть примерно таким:
curl 7.54.0 (x86_64-apple-darwin14.0) libcurl/7.37.1 SecureTransport zlib/1.2.5
Protocols: dict file ftp ftps gopher http https imap imaps ldap ldaps pop3 pop3s rtsp smtp smtps telnet tftp
Features: AsynchDNS GSS-Negotiate IPv6 Largefile NTLM NTLM_WB SSL libz
Создание тестового вызова API
После установки curl делаем тестовый вызов API
curl -X GET "https://api.openweathermap.org/data/2.5/weather?zip=95050&appid=fd4698c940c6d1da602a70ac34f0b147&units=imperial"
В ответ должен вернуться минимизированный JSON:
{"coord":{"lon":-121.96,"lat":37.35},"weather":[{"id":701,"main":"Mist","description":"mist","icon":"50d"}],"base":"stations","main":{"temp":66.92,"pressure":1017,"humidity":50,"temp_min":53.6,"temp_max":75.2},"visibility":16093,"wind":{"speed":10.29,"deg":300},"clouds":{"all":75},"dt":1522526400,"sys":{"type":1,"id":479,"message":0.0051,"country":"US","sunrise":1522504404,"sunset":1522549829},"id":420006397,"name":"Santa Clara","cod":200}
curl и Windows
Если вы используете Windows, обратите внимание на следующие требования к форматированию при использовании curl:
- Используйте двойные кавычки в командной строке Windows. (Windows не поддерживает одинарные кавычки.);
- Не используйте обратную косую черту
\для разделения строк. (Это только для удобства чтения и не влияет на вызов на Mac.) - Добавив -k в команду curl, вы можете обойти сертификат безопасности curl, который может быть необходимым.
🔙
Go next ➡
The cURL command, or “Client for URLs“, is a useful tool you can use to move data around on the internet, working with lots of different ways of communicating online like HTTP, HTTPS, FTP, and more. It’s very useful for users who work with networks and computers a lot.
If you’re using Windows 10 or Windows 11, you can use cURL directly in the Command Prompt; you don’t need to install anything else. This guide will show you how to use cURL on Windows 11 to do all sorts of things like downloading and uploading files, sending emails, dealing with cookies and HTTP headers, and handling SSL certificates.
Checking if cURL is ready on Windows 11
First, we will make sure whether cURL already exists on your computer. Just open Command Prompt and type this:
curl --version
This command will tell you which version of cURL you have. If the command doesn’t show anything but returns an error, it means your PC does not have cURL installed yet.
Also see: How to use FTP via Command Line (CMD) on Windows 11
How to download files with cURL
One of the first things people use cURL for is to download files from the internet. It’s pretty straightforward. To download a file, you just use the -O (or --remote-name) option with the file’s URL:
curl -O https://example.com/myfile.txt
This command pulls the file myfile.txt from example.com and puts it where you are right now on your computer.
If you want to save the file under a different name, just use the -o (or --output) option like this:
curl -o renamedfile.txt https://example.com/myfile.txt
With the -o option and a new filename, you can choose what the downloaded file is called.
Related resource: How to Download an FTP File Using CMD in Windows 11/10
Uploading files with cURL
cURL also lets you send (upload) files to a server using different methods like FTP. The following steps will show you how to do it with FTP:
curl -T localfile.txt ftp://example.com/ --user username:password
This command line will upload localfile.txt from your computer to example.com. Just replace username:password with your login info for the FTP server.
Sending emails with cURL
You can also use cURL to send emails using the SMTP protocol, which is very good for automated emails. Below a quick example:
curl --url smtps://smtp.example.com --ssl-reqd --mail-from [email protected] --mail-rcpt [email protected] --upload-file email.txt --user username:password
In this case, email.txt is a file that has your email’s subject, headers, and body. Just swap in your details for the SMTP server and the email addresses.
Handling cookies with cURL
When you need to work with cookies, cURL can also do that. You can send cookies with the -b (or --cookie) option, and save them with the -c (or --cookie-jar) option. Here’s how to send a cookie:
curl -b "name=value" https://example.com
And to save cookies from a server into a file, do this:
curl -c cookies.txt https://example.com
Setting up HTTP headers with cURL
Sometimes you need to tell the server more about what you’re sending, and that’s where HTTP headers come in. With cURL, you can add these headers to your request like so:
curl -H "Content-Type: application/json" -H "Authorization: Bearer your_token" https://api.example.com
Checking SSL certificates
cURL can help you make sure SSL certificates are valid, which is important for secure web browsing. To check a certificate, you can use this:
curl -vI https://example.com 2>&1 | findstr "expire date"
This command gets the SSL certificate details from the server and looks for the expiration date, helping you ensure everything’s up to date and secure.
Linked issue: Fixing Website’s Security Certificate Error on Windows 11/10
Making POST requests with cURL
When you need to send data to a server, you might use a POST request. Doing this with cURL is easy. For example, if you want to send JSON data to an API, you could do it like this:
curl -d "{'key1':'value1', 'key2':'value2'}" -H "Content-Type: application/json" -X POST https://api.example.com
The -d option lets you specify the data you’re sending, and the -H option tells the server it’s in JSON format. The -X tells cURL this is a POST request.
cURL and REST APIs
cURL is also very useful for working with REST APIs, which use standard web methods like GET, POST, PUT, and DELETE. We’ve looked at GET (for downloading files) and POST (for sending data). Now for updating things, you’d use a PUT request like this:
curl -d "{'key1':'value1', 'key2':'value2'}" -H "Content-Type: application/json" -X PUT https://api.example.com/resource/1
And if you need to remove something, a DELETE request does the job:
curl -X DELETE https://api.example.com/resource/1
Some final thoughts
Using cURL from the Command Prompt in Windows 11 is not just easy; it’s a powerful way to talk directly with web services from your computer. Whether you’re automating tasks, testing servers, or doing a whole bunch of other web-related activities, cURL is a very useful tool that’s available across different platforms, making your work portable and widely usable.
If you ever get stuck with a cURL command or need a quick reminder on how to use it, just pop open the command line and type curl --help. Think of it as a mini-guide that’s always there when you need it, showing you all the commands and parameters you can use with curl.
Утилита curl нужна для работы с веб-ресурсами через сетевые протоколы, тестирования и отладки веб-приложений и серверов, автоматизации мониторинга, обработки данных. Рассказываем, как установить ее на разные операционные системы, описываем основные команды, приводим примеры практических задач с использованием утилиты.
Утилита curl — универсальный инструмент командной строки для работы с веб-ресурсами. Она позволяет загружать файлы, тестировать доступность сайтов и исследовать их заголовки. Curl особенно полезен, когда требуется автоматизировать задачи или эмулировать действия пользователя на веб-странице. В этой статье мы рассмотрим основы использования curl и ее основные возможности.
Что такое cURL
Curl — мощный инструмент командной строки для взаимодействия с веб-серверами и другими ресурсами через HTTP, HTTPS и другие протоколы (FTP, IMAP, SMTP и т.д.). Его популярность в автоматизации обусловлена универсальностью и широким функционалом.
Библиотека libcurl интегрирована во многие языки программирования, а утилита командной строки — самостоятельный инструмент, предоставляющий доступ к функциям libcurl.
В веб-разработке Curl незаменим для тестирования API и отладки приложений. Он позволяет отправлять запросы, анализировать ответы и имитировать действия пользователей.
В системном администрировании он автоматизирует задачи мониторинга, резервного копирования и управления серверами. Его легко интегрировать в скрипты для автоматизации рутинных операций.
В автоматизации утилита используется для загрузки файлов, отправки данных на веб-формы и взаимодействия с базами данных. Она часто применяется в системах автоматизированного тестирования.
Curl эффективно используется для тестирования производительности веб-серверов, а также в скриптинге для обработки данных, извлекаемых из ответов сервера. Она часто комбинируется с другими утилитами командной строки для расширения функциональности. В области безопасности он помогает с аудитом веб-приложений, хотя сам по себе не является инструментом защиты.
Установка curl
Установка утилиты зависит от операционной системы. В Windows процесс несколько сложнее, чем в Linux или macOS, где она часто входит в стандартный набор утилит или легко устанавливается через менеджер пакетов. Рассмотрим подробнее действия для каждой ОС.
Windows
В Windows cURL — не стандартный компонент. Самый распространенный метод установки — загрузка бинарного дистрибутива с официального сайта проекта. Необходимо распаковать архив в желаемое местоположение. Для удобства использования рекомендуется добавить директорию, содержащую исполняемый файл curl.exe, в переменную окружения PATH. Это позволит запускать установочный файл из любой директории в командной строке.
На сайте доступны разные версии cURL для 32-битных и 64-битных систем, поэтому следует загрузить версию, соответствующую вашей архитектуре. После добавления пути к исполняемому файлу в переменные окружения, перезапустите командную строку или терминал для принятия изменений.
Linux
В большинстве дистрибутивов Linux (Debian, Ubuntu, Fedora, CentOS) cURL устанавливают с помощью менеджера пакетов. Для Debian-подобных систем (Ubuntu, Mint) используется apt: sudo apt update (для обновления списка пакетов), затем sudo apt install curl. В Fedora и CentOS (и других системах на основе RPM) используется dnf или yum: sudo dnf install curl или sudo yum install curl. После выполнения этих команд утилита будет установлена, и вы сможете использовать ее в терминале. Менеджеры пакетов автоматически установят все необходимые зависимости.
macOS
В macOS cURL может быть установлен несколькими способами. Самый простой способ — использование Homebrew, популярного менеджера пакетов для macOS. Если Homebrew еще не установлен, это нужно сделать, следуя инструкциям на официальном сайте. После установки Homebrew последняя стабильная версия cURL устанавливается командой brew install curl.
Как альтернативу можно использовать MacPorts, другой популярный менеджер пакетов. Процесс установки аналогичен Homebrew: сначала устанавливаем MacPorts, а затем используем его для установки cURL. В некоторых случаях утилита может быть доступна через команду softwareupdate.
Проверка
После установки в любой операционной системе проверьте работу приложения, выполнив в терминале команду curl —version. Эта команда выведет информацию о версии установленного cURL, одновременно подтверждая успешную установку. Если команда выполняется успешно и выводится информация о версии, значит, cURL установлен и готов к использованию.
Весь процесс занимает несколько минут. Выбор метода установки зависит от операционной системы, и все описанные выше способы обеспечивают надежную и стабильную работу утилиты. Не забудьте обновить список пакетов перед установкой, если используете менеджеры пакетов. Это гарантирует, что вы устанавливаете последнюю версию программы и все необходимые зависимости.
Основные команды curl
Curl управляется простым синтаксисом: curl [options] [URL]. Базовый вызов — это указание URL-адреса. Например, команда curl https://www.example.com загрузит и отобразит исходный HTML-код страницы непосредственно в вашем терминале.
Хотя параметры не являются обязательными, они значительно расширяют функциональность Curl, позволяя тонко настраивать его поведение. Рассмотрим несколько наиболее часто используемых опций:
- -O сохраняет загружаемый файл, используя его оригинальное имя файла, указанное на сервере. Это особенно полезно при загрузке файлов с неизвестными или сложными именами;
- -O <имя_файла> сохраняет загружаемый файл под указанным вами именем. Позволяет контролировать имя сохраняемого файла независимо от имени на сервере;
- -I запрашивает только HTTP-заголовки ответа сервера. Это полезно для диагностики проблем с подключением или анализа ответа сервера без загрузки всего содержимого;
- -L автоматически следует HTTP-редиректам (перенаправлениям). Если сервер перенаправляет запрос (например, с http://example.com на https://example.com), curl с опцией -L автоматически выполнит перенаправление, следуя за ним.
Опции всегда предшествуют URL-адресу, и их можно комбинировать друг с другом. Например, команда curl -LO https://example.com/file.zip загрузит файл file.zip с example.com, следуя всем редиректам (-L) и сохраняя файл под его оригинальным именем (-O).
Для получения исчерпывающего списка всех доступных опций и их описания используйте команду curl —help all. Это позволит вам освоить весь потенциал этого инструмента.
Как пользоваться curl
Освоив работу с Curl, вы сможете значительно упростить многие рутинные задачи. Приведем примеры с пояснениями.
1. Простой запрос и вывод в консоль. Самый простой способ использования Curl — отправка запроса к URL и вывод ответа в консоль. Например, команда curl https://www.example.com отправит запрос к example.com и выведет HTML-код страницы в терминал. Это полезно для быстрого просмотра содержимого веб-страницы или анализа ее структуры.
2. Загрузка файла: Curl позволяет легко загружать файлы с веб-серверов. Для этого используется опция -O (сохранение с оригинальным именем) или -o (сохранение с заданным именем). Например, curl -O https://example.com/file.zip скачает файл file.zip и сохранит его под этим именем в текущем каталоге. Команда curl -o my_download.zip https://example.com/file.zip скачает тот же файл, но сохранит его как my_download.zip.
3. Получение только заголовков. Иногда нужно получить только HTTP-заголовки ответа, без самого содержимого страницы. Для этого служит опция -I: curl -I https://www.example.com. Это полезно для проверки кода ответа (например, 200 OK, 404 Not Found), типа контента и других метаданных.
4. Отправка POST-запроса: Curl позволяет отправлять данные методом POST, что необходимо для взаимодействия с формами и API. Опция -d используется для передачи данных: curl -d «name=John&age=30» https://example.com/submit. В этом примере отправляется POST-запрос с данными name=John и age=30.
5. Работа с аутентификацией. Для доступа к защищенным ресурсам часто требуется аутентификация. Curl поддерживает различные методы аутентификации, включая Basic Authentication. Для этого используется опция -u: curl -u username:password https://protected.example.com. Замените username и password на ваши учетные данные.
6. Следование редиректам. Многие сайты используют HTTP-редиректы. Опция -L (или —location) заставляет Curl следовать редиректам: curl -L https://example.com. Без этой опции Curl остановится на первом редиректе.
7. Указание типа контента. Иногда необходимо указать тип контента, который отправляется на сервер. Это делается с помощью опции -H: curl -H «Content-Type: application/json» -d ‘{«key»: «value»}’ https://api.example.com. Этот пример показывает отправку JSON-данных.
8. Таймаут. Для предотвращения длительного ожидания ответа, можно указать таймаут с помощью опции —connect-timeout для времени подключения и —max-time для общего времени запроса. Например: curl —connect-timeout 5 —max-time 10 https://example.com.
9. Проверка кода ответа. Проверить код ответа сервера можно с помощью опции —silent и проверки выхода команды:
curl —silent —head —fail https://example.com
echo $?
Команда echo $? вернет 0 при успешном запросе (код 200) и ненулевое значение при ошибке.
Curl — универсальный инструмент, возможности которого намного шире, чем описано здесь. Изучение дополнительных опций и параметров позволит вам использовать его для решения самых разнообразных задач, связанных с передачей данных по сети. Ознакомьтесь с официальной документацией Curl для более подробной информации и полного списка доступных параметров.