Время на прочтение9 мин
Количество просмотров224K
Curl (client URL) — это инструмент командной строки на основе библиотеки libcurl для передачи данных с сервера и на сервер при помощи различных протоколов, в том числе HTTP, HTTPS, FTP, FTPS, IMAP, IMAPS, POP3, POP3S, SMTP и SMTPS. Он очень популярен в сфере автоматизации и скриптов благодаря широкому диапазону функций и поддерживаемых протоколов. В этой статье мы расскажем, как использовать curl в Windows на различных примерах.
▍ Установка в Windows
Во всех современных версиях Windows, начиная с Windows 10 (версия 1803) и Server 2019, исполняемый файл curl поставляется в комплекте, поэтому ручная установка не требуется. Чтобы определить местоположение curl и его версию в системе, можно использовать следующие команды:
where curl
curl --version
Определение местоположения и версии curl в Windows
Команда curl —version также выводит список протоколов и функций, поддерживаемых текущей версией curl. Как видно из показанного выше скриншота, к использованию встроенной утилиты curl всё готово. Если вместо этого отображается сообщение об ошибке, curl может быть недоступен потому, что вы используете более раннюю версию Windows (например, Windows 8.1 или Server 2016). В таком случае вам потребуется установить curl в Windows вручную.
▍ Синтаксис curl
Команда curl использует следующий синтаксис:
curl [options...] [url]Инструмент поддерживает различные опции, которые мы рассмотрим ниже. Как и в любом инструменте командной строки, вы можете использовать для получения справки команду curl —help.
Получение справки при помощи команды curl
Для получения подробной справки можно использовать команду curl —help all. Справка разделена на категории, поэтому при помощи curl —help category можно просмотреть все темы.
Ознакомившись с синтаксисом curl, давайте рассмотрим различные способы применения этого инструмента на примерах.
▍ HTTP-запрос GET
При использовании curl с URL и без указания опций запрос по умолчанию использует метод GET протокола HTTP. Попробуйте выполнить такую команду:
curl https://4sysops.comПриведённая выше команда по сути эквивалентна curl —request GET 4sysops.com, отправляющей запрос GET к 4sysops.com по протоколу HTTPS. Чтобы указать версию протокола HTTP (например, http/2), используйте опцию —http2:
curl --http2 https://4sysops.comВ случае URL, начинающихся с HTTPS, curl сначала пытается установить соединение http/2 и автоматически откатывается к http/1.1, если это не удаётся. Также он поддерживает другие методы, например, HEAD, POST, PUT и DELETE. Для использования этих методов вместе с командой curl нужно указать опцию —request (или -X), за которой следует указание метода. Стоит заметить, что список доступных методов зависит от используемого протокола.
▍ Получение информации об удалённом файле
Если вы администратор, то иногда вам могут быть интересны только заголовки HTTP. Их можно получить при помощи опции —head (или -I). Иногда URL может перенаправлять пользователя в другую точку. В таком случае опция —location (или -L) позволяет curl выполнять перенаправления. Также можно использовать —insecure (или -k), чтобы разрешить незащищённые подключения и избежать ошибок с сертификатом TLS в случае, если целевой URL использует самоподписанный сертификат. Пользуйтесь этой опцией только при абсолютной необходимости. Все эти три опции можно скомбинировать в одну краткую запись, как показано в следующей команде:
curl -kIL 4sysops.com
Опции просмотра заголовков запросов, включения незащищённого соединения и использования перенаправлений
Как можно заметить, такая краткая запись особенно полезна для комбинирования нескольких опций. Приведённая выше команда по сути эквивалентна команде curl —insecure —head —location 4sysops.com.
Опция —head (или -I) также даёт основную информацию об удалённом файле без его скачивания. Как показано на скриншоте ниже, при использовании curl с URL удалённого файла он отображает различные заголовки, дающие информацию об удалённом файле.
curl -IL https://curl.se/windows/dl-7.85.0_5/curl-7.85.0_5-win64-mingw.zip
Использование curl для просмотра основной информации удалённых файлов
Заголовок Content-Length обозначает размер файла (в байтах), Content-Type сообщает о типе медиафайла (например, image/png, text/html), Server обозначает тип серверного приложения (Apache, Gunicorn и так далее), Last-Modified показывает дату последнего изменения файла на сервере, а заголовок Accept-Ranges обозначает поддержку частичных запросов для скачивания от клиента, что по сути определяет возможность продолжения прерванной загрузки.
▍ Скачивание файла
Для скачивания файла и сохранения с тем же именем, что и на сервере, можно использовать curl с опцией —remote-name (или -O). Показанная ниже команда скачивает последнюю версию curl для Windows с официального сайта:
curl -OL https://curl.se/windows/latest.cgi?p=win64-mingw.zip
Скачивание файла с именем по умолчанию и индикатором прогресса
При необходимости для нахождения ресурса добавляется опция -L, разрешающая перенаправления. Если нужно сохранить файл с новым именем, используйте опцию —output (или -o). Кроме того, при использовании команды curl в скрипте может понадобиться отключить индикатор прогресса, что можно сделать при помощи опции —silent (или -s). Эти две опции можно скомбинировать:
curl -sLo curl.zip https://curl.se/windows/latest.cgi?p=win64-mingw.zip
Скачивание файла без индикатора и сохранение под произвольным именем
▍ Продолжение прерванного скачивания
Наличие Accept-Ranges: bytes в заголовке ответа в буквальном смысле обозначает, что сервер поддерживает скачивания с возможностью продолжения. Чтобы продолжить прерванное скачивание, можно использовать опцию —continue-at (или -C), получающую смещение (в байтах). Обычно указывать смещение непросто, поэтому curl предоставляет простой способ продолжения прерванной загрузки:
curl -OLC - https://releases.ubuntu.com/22.04/ubuntu-22.04.1-desktop-amd64.isoПродолжение прерванного скачивания
Как видно из скриншота, я скачивал iso-файл Ubuntu, но скачивание было прервано. Затем я снова запустил команду curl с опцией -C, и передача продолжилась с того диапазона байтов, на котором была прервана. Знак минус (—) рядом с -C позволяет curl автоматически определить, как и где продолжить прерванное скачивание.
▍ Аутентификация с Curl
Также Curl поддерживает аутентификацию, что позволяет скачать защищённый файл, предоставив учётные данные при помощи опции —user (or -u), принимающей имя пользователя и пароль в формате username:password. Если не вводить пароль, curl попросит ввести его в режиме no-echo.
curl -u surender -OL https://techtutsonline.com/secretFiles/sample.zip
Скачивание файла с аутентификацией по имени пользователя и паролю
Если вы используете Basic authentication, то необходимо передать имя пользователя и пароль, а значит, воспользоваться защищённым протоколом наподобие HTTPS (вместо HTTP) или FTPS (вместо FTP). Если по каким-то причинам приходится использовать протокол без шифрования, то убедитесь, что вы используете способ аутентификации, не передающий учётные данные в виде простого текста (например, аутентификацию Digest, NTLM или Negotiate).
Также curl поддерживает использование файлов конфигурации .curlrc, _curlrc и .netrc, позволяющих задавать различные опции curl в файле, а затем добавлять файл в команду при помощи опции curl —config (или curl -K), что особенно полезно при написании скриптов.
▍ Выгрузка файла
Опция —upload-file (или -T) позволяет выгружать локальный файл на удалённый сервер. Показанная ниже команда выгружает файл из локальной системы на удалённый веб-сервер по протоколу FTPS:
curl -kT C:\Users\Surender\Downloads\sample1.zip -u testlab\surender ftps://192.168.0.80/awesomewebsite.com/files/
Выгрузка файла на удалённый сервер
Опция -k добавляется для устранения проблем с сертификатами на случай, если веб-сервер использует самоподписанный сертификат. Наклонная черта в конце URL сообщает curl, что конечная точка является папкой. Можно указать несколько имён файлов, например «{sample1.zip,sample2.zip}». Ниже показано, как с помощью одной команды curl можно выгрузить на сервер несколько файлов:
curl -kT sample[1-5].zip -u testlab\surender ftps://192.168.0.80/awesomewebsite.com/files/
Выгрузка нескольких файлов на сервер
▍ Последовательность команд
Как говорилось ранее, curl поддерживает различные методы в зависимости от используемого протокола. Дополнительные команды можно отправлять при помощи —quote (или -Q) для выполнения операции до или после обычной операции curl. Например, можно скачать файл с удалённого сервера по протоколу FTPS и удалить файл с сервера после успешного скачивания. Для этого нужно выполнить следующую команду:
curl -u testlab\surender -kO "ftps://192.168.0.80/awesomewebsite.com/files/sample1.zip" -Q "-DELE sample1.zip"
Удаление файла после успешного скачивания
В показанном выше примере я скачал файл sample1.zip с FTPS-сервера при помощи опции -O. После опции -Q я добавил минус (-) перед командой DELE, что заставляет curl отправить команду DELE sample1.zip сразу после успешного скачивания файла. Аналогично, если вы хотите отправить команду на сервер до выполнения операции curl, используйте плюс (+) вместо минуса.
▍ Изменение user-agent
Информация user-agent сообщает серверу тип клиента, отправляющего запрос. При отправке запроса curl на сервер по умолчанию используется user-agent curl/<version>. Если сервер настроен так, чтобы блокировать запросы curl, можно задать собственный user-agent при помощи опции —user-agent (или -A). Показанная ниже команда отправляет стандартный user-agent Google Chrome:
curl -kIA "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0" https://awesomewebsite.com/files/secretFile.zip
Использование собственного user-agent с командой curl, чтобы избежать блокировки сервером
На показанном выше скриншоте видно, что обычный запрос curl был отклонён веб-сервером (с ответом 403 Forbidden), но при передаче другого user-agent запрос выполняется успешно, возвращая ответ 200 OK.
▍ Отправка куки
По умолчанию запрос curl не отправляет и не сохраняет куки. Для записи куки можно использовать опцию —cookie-jar (или -c), а отправить куки можно опцией —cookie (or -b):
curl -c /path/cookie_file https://awesomewebsite.com/
curl -b /path/cookie_file https://awesomewebsite.com/Первая команда записывает файл куки, а вторая отправляет куки с запросом curl. Также можно отправить куки в формате ‘name = value’:
curl -b 'session=abcxyz' -b 'loggedin=true' http://echo.hoppscotch.io
Отправка нескольких куки командой curl
Я воспользовался веб-сайтом echo.hoppscotch.io для демонстрации заголовков HTTP-запросов, которые обычно невидимы клиентам, отправляющим запрос. Если вы не хотите пользоваться этим веб-сайтом, то можете применить опцию –verbose (или -v) для отображения запроса в сыром виде (который отображает и заголовки запросов).
▍ Использование прокси-сервера
Если вы пользуетесь прокси-сервером для подключения к интернету, в curl можно указать прокси опцией —proxy (или -x). Если прокси-сервер требует аутентификации, то добавьте —proxy-user (или -U):
curl -x 192.168.0.250:8088 -U username:password https://awesomewebsite.com/Прокси-сервер указывается в формате server:port, а пользователь прокси — в формате username:password. Можно не вводить пароль пользователя прокси, тогда curl попросит ввести его в режиме no-echo.
Использование прокси-сервера и аутентификации
▍ Дополнительные заголовки запросов
Иногда вместе с запросом к серверу необходимо отправить дополнительную информацию. В curl это можно сделать при помощи —header (или -H), как показано в следующей команде:
curl -vkIH "x-client-os: Windows 11 Enterprise (x64)" https://awesomewebsite.com
Указание дополнительных заголовков для запроса curl
Можно отправлять любую информацию, недоступную через стандартные заголовки HTTP-запросов. В этом примере я отправил название своей операционной системы. Также я добавил опцию -v для включения verbose-вывода, отображающего дополнительный заголовок, отправляемый вместе с каждым моим запросом curl.
▍ Отправка электронного письма
Так как curl поддерживает протокол SMTP, его можно использовать для отправки электронного письма. Показанная ниже команда позволяет отправить электронное письмо при помощи curl:
curl --insecure --ssl-reqd smtps://mail.yourdomain.com –-mail-from sender@yourdomain.com –-mail-rcpt receiver@company.com --user sender@yourdomain.com --upload-file email_msg.txt
Отправка электронного письма командой curl
Давайте вкратце перечислим использованные здесь опции:
- Опция —insecure (или -k) используется, чтобы избежать ошибки сертификата SSL. Мы уже применяли её ранее.
- Опция —ssl-reql используется для апгрейда соединения передачи простого текста до зашифрованного соединения, если оно поддерживается SMTP-сервером. Если вы уверены, что ваш SMTP-сервер поддерживает SSL, то можно использовать непосредственно имя сервера smtps (например, smtps://smtp.yourdomain.com), как показано на скриншоте.
- Опция —mail-from используется для указания адреса электронной почты отправителя.
- Опция mail-rcpt указывает адрес электронной почты получателя.
- Опция —user (или -u) отправляет имя пользователя для аутентификации, оно должно совпадать с адресом mail-from, потому что в противном случае письмо может быть отклонено или помечено как спам.
- Опция —upload-file (или -T) используется для указания файла, в котором находится отправляемое письмо.
На скриншоте ниже показано письмо, полученное мной во входящие:
Просмотр письма, отправленного с помощью curl
Это всего лишь несколько примеров использования curl — на самом деле их гораздо больше. Я настоятельно рекомендую проверить справку по curl и поэкспериментировать с ней.
А вы используете curl? И если да, то для чего?
Telegram-канал с полезностями и уютный чат
#статьи
-
0
Осваиваем швейцарский нож для взаимодействия с сетевыми протоколами.
Иллюстрация: Оля Ежак для Skillbox Media
Филолог и технарь, пишет об IT так, что поймут даже новички. Коммерческий редактор, автор технических статей для vc.ru и «Хабра».
Curl (Client URL, или «Клиентский URL») — это инструмент командной строки, предназначенный для передачи данных по различным сетевым протоколам. Он помогает разработчикам, системным администраторам и другим специалистам выполнять HTTP-запросы, загружать файлы, тестировать API и решать множество задач по отладке веб-приложений.
Давайте сразу проверим Curl в действии. Для этого откройте на своём компьютере терминал, скопируйте следующую команду и нажмите Enter:
curl https://httpbin.org/ip
После ввода команды Curl отправит GET-запрос на сервис httpbin.org, который обработает запрос и вернёт ваш текущий IP-адрес в формате JSON:
C:\Users\user>curl https://httpbin.org/ip
{
"origin": "95.165.134.78"
}
Похожим образом Curl позволяет легко взаимодействовать с различными API и получать нужную информацию. Теперь поговорим об этом подробней.
Содержание
- Описание Curl
- Установка и запуск
- Синтаксис команд
- Использование Curl
- GET-запрос
- POST-запрос
- Скачивание файла
- Вывод заголовков
- Аутентификация
- Следование редиректам
- Загрузка файла
- Подборка ресурсов для работы с Curl
В 1997 году шведский программист Даниэль Стенберг разработал утилиту httpget — инструмент для загрузки валютных курсов через IRC-бота. Если вы хотели узнать текущий курс доллара, процесс выглядел примерно так:
- Бот подключался к сайту с актуальными курсами валют.
- Программа httpget загружала страницу и извлекала нужные данные о курсе доллара. Например, 1 USD = 30 RUB ?
- Затем она передавала эту информацию IRC-боту, который отвечал на ваш запрос в IRC-чате.
Проект привлёк внимание многих разработчиков, поскольку решал актуальную проблему того времени — загрузку данных из интернета. До появления httpget разработчикам приходилось создавать отдельные скрипты для каждого случая получения данных. Программа позволяла получить нужную информацию всего несколькими простыми командами.
Со временем проект HTTPget сменил название на Urlget, а затем на Curl. Сегодня Curl — это кросс-платформенная утилита командной строки, которая позволяет передавать или загружать данные с сервера, устанавливая подключение через различные протоколы: HTTP, HTTPS, FTP, SFTP, TFTP, SCP, Telnet, DICT, LDAP, POP3, IMAP, SMTP и другие.
Сейчас, помимо Curl, существуют и другие инструменты для работы с HTTP-запросами. Вот некоторые из популярных:
- Wget — утилита командной строки для загрузки файлов, удобная для рекурсивной загрузки и работы с FTP-протоколом.
- Postman — графический инструмент для тестирования API. Он лучше Curl подходит для сложных запросов и визуализации ответов, однако уступает в гибкости при автоматизации задач.
- HTTPie — это современный аналог Curl с упрощённым синтаксисом, цветным выводом результатов и менее широким набором функций.
- Axios — это JavaScript-библиотека для выполнения HTTP-запросов. Она удобна для веб-разработки, но ограничена средой JavaScript: Axios можно использовать только в браузерах для HTTP-запросов на стороне клиента и в Node.js для запросов на стороне сервера.
Несмотря на множество альтернатив, Curl остаётся популярным инструментом благодаря своей универсальности, широкой поддержке протоколов и кросс-платформенности. Давайте перейдём к его установке.
? Возможности Curl и других бесплатных инструментов для передачи данных: сравнительная таблица
В современных операционных системах утилита Curl обычно установлена по умолчанию. Для проверки откройте терминал и введите команду:
curl --version
Должен отобразиться номер версии и поддерживаемые протоколы:
Скриншот: Windows 10 / Skillbox Media
Если Curl не установлен, в терминале появится сообщение об ошибке:
'curl' is not recognized as an internal or external command,
operable program or batch file.
Если вы видите подобное сообщение, значит, программа Curl недоступна и её нужно загрузить. Способ установки зависит от операционной системы.
Если у вас macOS, установите менеджер пакетов Homebrew и выполните в терминале следующую команду:
brew install curl
После завершения установки проверьте версию Curl:
curl --version
Если у вас Linux, то способ установки будет зависеть от дистрибутива. Для Ubuntu или Debian выполните последовательно следующие команды:
sudo apt-get update sudo apt-get install curl
Для Fedora:
sudo dnf install curl
Для CentOS или RHEL:
sudo yum install curl
Для Arch Linux:
sudo pacman -S curl
После установки проверьте версию Curl командой:
curl --version
Если у вас Windows 10 или 11, откройте PowerShell или командную строку от имени администратора и установите Curl через менеджер пакетов:
winget install curl
После установки перезапустите PowerShell или командную строку и проверьте установку:
curl --version
Если у вас Windows 7, 8 или 8.1, скачайте архив с утилитой с сайта curl.se через браузер Pale Moon. Современные браузеры могут не поддерживаться устаревшими версиями Windows или блокировать загрузку по соображениям безопасности. Pale Moon — это легковесный браузер, позволяющий загружать сторонние файлы без подобных ограничений.
После загрузки распакуйте папку из архива, переименуйте её в Curl и поместите в удобное место. Например, наша папка находится по пути: C:/Program Files/Curl. Затем откройте папку Curl, перейдите в подпапку bin и скопируйте полный путь к этому каталогу:
Не выходя из проводника, щёлкните правой кнопкой мыши по разделу Компьютер и в появившемся меню выберите пункт Свойства:
Откроется информационное окно со сведениями о вашем компьютере. В левой панели щёлкните на пункт Дополнительные параметры системы:
В открывшемся окне нажмите кнопку Переменные среды:
В разделе Системные переменные найдите пункт Path, выделите его и нажмите кнопку Изменить:
Появится окно Изменение системной переменной, в котором вам нужна строка Значение переменной. Поставьте точку с запятой в конце текущего значения и сразу после него без пробела вставьте скопированный путь к каталогу. Нажмите ОК во всех открытых окнах и перезагрузите компьютер:
После перезагрузки откройте командную строку и выполните проверку:
curl --version
Если отобразилась версия утилиты, значит, всё правильно. Если появилось сообщение об ошибке или команда не распознана, попробуйте следующее:
- Проверьте путь к Curl в разделе Переменные среды Path — убедитесь, что вы добавили его согласно инструкции.
- Перезапустите командную строку или PowerShell.
- Если проблема сохраняется, перезагрузите компьютер ещё раз.
- Если ничего не помогло, повторите процедуру установки.
Общий синтаксис Curl-команд выглядит следующим образом:
curl [параметры] [URL]
Базовые команды можно выполнять без параметров по указанию URL-адреса. Например, с помощью следующей команды вы сможете загрузить HTML-структуру выбранного сайта в свой терминал:
# Замените example.com на адрес любого сайта
curl https://www.example.com
Хотя параметры необязательны, они позволяют точно настроить поведение Curl и расширить его функциональность. Вот несколько частых параметров:
- -O: сохраняет скачиваемый файл с его оригинальным именем;
- -o: сохраняет файл с указанным вами именем;
- -I: получает только HTTP-заголовки ответа сервера;
- -L: следует редиректам. Например, если сайт перенаправляет запрос с http://example.com на https://example.com, curl с параметром -L автоматически выполнит это перенаправление.
Параметры всегда должны располагаться перед URL и их можно комбинировать. Вот пример комбинированной команды:
curl -LO <https://example.com/file.zip>
# Эта команда следует редиректам (-L) и сохраняет файл с оригинальным именем (-O)
Для просмотра всех доступных параметров используйте команду:
curl --help all
В следующем разделе мы рассмотрим основные сценарии использования Curl и попрактикуемся применять команды с различными параметрами.
Рассмотрим команды для основных сценариев использования Curl:
- GET-запрос: curl https://example.com
- POST-запрос: curl -X POST -d «data» https://example.com
- Скачивание файла: curl -O https://example.com/file.zip
- Вывод заголовков: curl -I https://example.com
- Аутентификация: curl -u username:password https://example.com
- Следование редиректам: curl -L https://example.com
- Загрузка файла: curl -T file.txt https://example.com/upload
Для закрепления этих команд воспользуемся сервисом JSONPlaceholder. Это бесплатный онлайн REST API, предоставляющий фиктивные данные для обучения и тестирования. Данный ресурс позволяет практиковаться в работе с API без настройки собственного сервера.
Эта команда позволяет получать данные с сервера без их изменения. С её помощью вы можете просматривать содержимое ресурса, проверять доступность API или проводить отладку приложения.
Отправим GET-запрос для получения информации о посте:
curl https://jsonplaceholder.typicode.com/posts/1
В результате мы получим примерно такой JSON-объект:
{
"userId": 1,
"id": 1,
"title": "sunt aut facere repellat provident occaecati excepturi optio reprehenderit",
"body": "quia et suscipit\nsuscipit recusandae consequuntur expedita et cum\nreprehenderit molestiae ut ut quas totam\nnostrum rerum est autem sunt rem eveniet architecto"
}
В ответе содержится информация о посте: идентификатор пользователя (userId), идентификатор поста (id), заголовок (title) и содержание (body). Поскольку сервис JSONPlaceholder предоставляет фиктивные данные, содержимое вашего поста может отличаться от приведённого примера.
Эта команда применяется для передачи данных на сервер при заполнении веб-форм, отправке сообщений или создании новых записей в базе данных.
Создадим новый пост и отправим на сервер следующие JSON-данные:
{
"title": "Заголовок поста",
"body": "Здесь мы добавляем содержание поста",
"userId": 1
}
Выполним Curl-команду:
curl -X POST -H "Content-Type: application/json" -d "{\"title\": \"Заголовок поста\", \"body\": \"Здесь мы добавляем содержание поста\", \"userId\": 1}" "https://jsonplaceholder.typicode.com/posts"
После обработки запроса сервер вернёт ответ, в котором содержится информация о созданном посте с его уникальным идентификатором:
{
"title": "Заголовок поста",
"body": "Здесь мы добавляем содержание поста",
"userId": 1,
"id": 101
}
Эта команда позволяет сохранить полученные данные в файл на вашем компьютере. Это удобно при работе с большими объёмами данных или когда требуется дальнейшая обработка полученной информации.
Сохраним JSON-ответ в файл post.json в нашей текущей директории:
curl -o post.json https://jsonplaceholder.typicode.com/posts/1
Результат вывода:
C:\Users\user>curl -o post.json https://jsonplaceholder.typicode.com/posts/1 % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 100 292 100 292 0 0 380 0 --:--:-- --:--:-- --:--:-- 382
Файл post.json сохранён в директории C:\Users\user. Вывод также содержит статистику загрузки данных:
- Общий размер файла: 292 байта.
- Процент загрузки: 100%.
- Скорость загрузки: 380 байт/с.
- Время выполнения: мгновенно (—:—:—).
Эта команда позволяет получить заголовки HTTP-ответов без тела сообщения. Это полезно для проверки статуса ответа, типа содержимого, заголовков кэширования и других метаданных с запрашиваемого ресурса.
Отправим запрос для получения HTTP-заголовков из нашего сервиса:
curl -I https://jsonplaceholder.typicode.com/posts/1
Пример ответа:
HTTP/1.1 200 OK Date: Wed, 23 Oct 2024 07:34:44 GMT Content-Type: application/json; charset=utf-8 Content-Length: 292 Connection: keep-alive Report-To: {"group":"heroku-nel","max_age":3600,"endpoints":[{"url":"https://nel.heroku.com/reports?ts=1729551695&sid=e11707d5-02a7-43ef-b45e-2cf4d2036f7d&s=T06zv%2Bip6vp%2FcW6OahKqDwFYY1PQhd6eXYmDv1DMf3g%3D"}]} Reporting-Endpoints: heroku-nel=https://nel.heroku.com/reports?ts=1729551695&sid=e11707d5-02a7-43ef-b45e-2cf4d2036f7d&s=T06zv%2Bip6vp%2FcW6OahKqDwFYY1PQhd6eXYmDv1DMf3g%3D Nel: {"report_to":"heroku-nel","max_age":3600,"success_fraction":0.005,"failure_fraction":0.05,"response_headers":["Via"]} X-Powered-By: Express X-Ratelimit-Limit: 1000 X-Ratelimit-Remaining: 999 X-Ratelimit-Reset: 1729551747 Vary: Origin, Accept-Encoding Access-Control-Allow-Credentials: true Cache-Control: max-age=43200 Pragma: no-cache Expires: -1 X-Content-Type-Options: nosniff Etag: W/"124-yiKdLzqO5gfBrJFrcdJ8Yq0LGnU" Via: 1.1 vegur CF-Cache-Status: HIT Age: 1983 Accept-Ranges: bytes Server: cloudflare CF-RAY: 8d700bdd4a385b4f-VIE alt-svc: h3=":443"; ma=86400 server-timing: cfL4;desc="?proto=TCP&rtt=25362&sent=5&recv=6&lost=0&retrans=0&sent_bytes=3130&recv_bytes=510&delivery_rate=144240&cwnd=252&unsent_bytes=0&cid=748ae82f39ab1e32&ts=71&x=0"
Этот вывод содержит важную информацию для анализа ответов API и отладки запросов. В нём есть статус ответа (200 OK), тип содержимого (например, application/json), длина контента, а также заголовки кэширования, безопасности и ограничения скорости. Такие сведения помогают разработчикам лучше понять взаимодействие с сервером и выявить потенциальные проблемы.
Аутентификация обеспечивает доступ к частным или защищённым ресурсам. Сервис JSONPlaceholder не требует аутентификации, однако вы можете выполнить команду, демонстрирующую передачу данных при работе с защищёнными API. В нашем примере сервер вернёт список постов, а в реальном сценарии такой запрос открыл бы доступ к закрытому ресурсу:
curl -u username:password https://jsonplaceholder.typicode.com/posts
Редиректы полезны при работе с URL-адресами, которые могут перенаправлять на другие ресурсы. JSONPlaceholder не использует редиректы, поэтому команда ниже эмулирует этот процесс, позволяя Curl автоматически следовать по цепочке переадресаций сайтов. При реальном запросе вы получите конечный ресурс после различных перенаправлений:
curl -L https://jsonplaceholder.typicode.com/posts/1
Вы можете отправлять POST-запросы для передачи больших объёмов данных или заранее подготовленной информации. Создадим файл newpost.json и сразу отправим его содержимое на JSONPlaceholder.
Добавим кодировку UTF-8, чтобы избежать ошибок при отображении данных на русском языке:
chcp 65001
Создадим файл newpost.json:
echo {"title": "Загруженный пост", "body": "Содержимое поста", "userId": 1} > newpost.json
curl -X POST -H "Content-Type: application/json" -d @newpost.json https://jsonplaceholder.typicode.com/posts
Получаем ответ от сервера, подтверждающий выполнение запроса:
C:\Users\user>curl -X POST -H "Content-Type: application/json" -d @newpost.json https://jsonplaceholder.typicode.com/posts { "title": "Загруженный пост", "body": "Содержимое поста", "userId": 1, "id": 101 }
Вы познакомились с возможностями Curl, и, если считаете, что этот инструмент может пригодиться в работе, рекомендуем следующие ресурсы:
- Everything curl — бесплатная онлайн-версия книги от создателя Curl, в которой он подробно рассказывает об устройстве технологии.
- Официальная документация с описанием всех опций и команд Curl.
- Блог Даниэля Стенберга, где он часто пишет о Curl и смежных технологиях.
- GitHub-репозиторий Curl — позволяет отслеживать разработку проекта, сообщать о проблемах и вносить свой вклад в развитие Curl.
- Curl Сookbook — сборник практических примеров использования Curl для решения различных задач.
Научитесь: Старт в DevOps: системное администрирование для начинающих
Узнать больше
The cURL command, or “Client for URLs“, is a useful tool you can use to move data around on the internet, working with lots of different ways of communicating online like HTTP, HTTPS, FTP, and more. It’s very useful for users who work with networks and computers a lot.
If you’re using Windows 10 or Windows 11, you can use cURL directly in the Command Prompt; you don’t need to install anything else. This guide will show you how to use cURL on Windows 11 to do all sorts of things like downloading and uploading files, sending emails, dealing with cookies and HTTP headers, and handling SSL certificates.
Checking if cURL is ready on Windows 11
First, we will make sure whether cURL already exists on your computer. Just open Command Prompt and type this:
curl --version
This command will tell you which version of cURL you have. If the command doesn’t show anything but returns an error, it means your PC does not have cURL installed yet.
Also see: How to use FTP via Command Line (CMD) on Windows 11
How to download files with cURL
One of the first things people use cURL for is to download files from the internet. It’s pretty straightforward. To download a file, you just use the -O (or --remote-name) option with the file’s URL:
curl -O https://example.com/myfile.txt
This command pulls the file myfile.txt from example.com and puts it where you are right now on your computer.
If you want to save the file under a different name, just use the -o (or --output) option like this:
curl -o renamedfile.txt https://example.com/myfile.txt
With the -o option and a new filename, you can choose what the downloaded file is called.
Related resource: How to Download an FTP File Using CMD in Windows 11/10
Uploading files with cURL
cURL also lets you send (upload) files to a server using different methods like FTP. The following steps will show you how to do it with FTP:
curl -T localfile.txt ftp://example.com/ --user username:password
This command line will upload localfile.txt from your computer to example.com. Just replace username:password with your login info for the FTP server.
Sending emails with cURL
You can also use cURL to send emails using the SMTP protocol, which is very good for automated emails. Below a quick example:
curl --url smtps://smtp.example.com --ssl-reqd --mail-from [email protected] --mail-rcpt [email protected] --upload-file email.txt --user username:password
In this case, email.txt is a file that has your email’s subject, headers, and body. Just swap in your details for the SMTP server and the email addresses.
Handling cookies with cURL
When you need to work with cookies, cURL can also do that. You can send cookies with the -b (or --cookie) option, and save them with the -c (or --cookie-jar) option. Here’s how to send a cookie:
curl -b "name=value" https://example.com
And to save cookies from a server into a file, do this:
curl -c cookies.txt https://example.com
Setting up HTTP headers with cURL
Sometimes you need to tell the server more about what you’re sending, and that’s where HTTP headers come in. With cURL, you can add these headers to your request like so:
curl -H "Content-Type: application/json" -H "Authorization: Bearer your_token" https://api.example.com
Checking SSL certificates
cURL can help you make sure SSL certificates are valid, which is important for secure web browsing. To check a certificate, you can use this:
curl -vI https://example.com 2>&1 | findstr "expire date"
This command gets the SSL certificate details from the server and looks for the expiration date, helping you ensure everything’s up to date and secure.
Linked issue: Fixing Website’s Security Certificate Error on Windows 11/10
Making POST requests with cURL
When you need to send data to a server, you might use a POST request. Doing this with cURL is easy. For example, if you want to send JSON data to an API, you could do it like this:
curl -d "{'key1':'value1', 'key2':'value2'}" -H "Content-Type: application/json" -X POST https://api.example.com
The -d option lets you specify the data you’re sending, and the -H option tells the server it’s in JSON format. The -X tells cURL this is a POST request.
cURL and REST APIs
cURL is also very useful for working with REST APIs, which use standard web methods like GET, POST, PUT, and DELETE. We’ve looked at GET (for downloading files) and POST (for sending data). Now for updating things, you’d use a PUT request like this:
curl -d "{'key1':'value1', 'key2':'value2'}" -H "Content-Type: application/json" -X PUT https://api.example.com/resource/1
And if you need to remove something, a DELETE request does the job:
curl -X DELETE https://api.example.com/resource/1
Some final thoughts
Using cURL from the Command Prompt in Windows 11 is not just easy; it’s a powerful way to talk directly with web services from your computer. Whether you’re automating tasks, testing servers, or doing a whole bunch of other web-related activities, cURL is a very useful tool that’s available across different platforms, making your work portable and widely usable.
If you ever get stuck with a cURL command or need a quick reminder on how to use it, just pop open the command line and type curl --help. Think of it as a mini-guide that’s always there when you need it, showing you all the commands and parameters you can use with curl.
The abbreviation cURL stands for “Client for URLs” or “Curl URL Request Library”. It is a command-line program with the corresponding library for data transfers between computers in a network. The cURL software was developed by the programmer Daniel Stenberg. His original goal was to provide users of a chat program with data on currency-exchange rates which was retrieved from various websites. Thanks to its MIT free-software license, cURL can be used freely and has found its way into many operating systems – including Windows 10 which has been using cURL since the 1803 update published in April 2018. “Everything curl” is a highly comprehensive guide and provides information about what this tool can do for developers. In the following sections, you will find some practical examples of what cURL for Windows can do. You can try some of them out for yourself right now.
What exactly is cURL for Windows?
As with other operating systems, cURL for Windows consists of the executable file curl.exe and the library libcurl, which is an API written in the programming language C that implements cURL’s many functions. The commands are executed in the Windows command prompt window (i.e. the command line). There is a defined command syntax for this purpose:
C:\Users\user>curl [options …] <url>In this example, <url> is the address of the website you want to interact with. The [options …] are used to define the instructions for performing operations such as page requests, downloads, uploads, posts, handling forms, and more. Many of the options have two ways to write them:
- one with a minus sign and letters
- the other with two minus signs and a command word
For example, to use the GET method as an option, you can do so with either “-G” or “—get”.
Checking the availability and version of cURL
First check whether your Windows version has cURL and then which version. To do so, open the command prompt window by typing “cmd” in the Windows search function. Enter the following:
C:\Users\user>curl --versionThis will retrieve information about the available cURL version in your Windows 10 operating system.
As cURL has been further developed, the number of usable protocols has steadily increased. You can see this in the following comparison in the table below of the two retrieved versions shown in the image above:
| 7.55.1 (August 2017) | 7.70.0 (April 2020) |
|---|---|
| dict | dict |
| file | file |
| ftp | ftp |
| ftps | ftps |
| – | gopher |
| http | http |
| https | https |
| imap | imap |
| imaps | imaps |
| – | ldap |
| – | ldaps |
| – | mqtt |
| pop3 | pop3 |
| pop3s | pop3s |
| – | rtsp |
| – | scp |
| – | sftp |
| – | smb |
| – | smbs |
| smtp | smtp |
| smtps | smtps |
| telnet | telnet |
| tftp | tftp |
The options for data transfer in a variety of networks were thus also expanded.
Installing the current version of cURL
The cURL version installed with Windows is stored in the system as a path that can be reached by both the current user and the administrator. If you want to be able to use all of cURL’s available protocols, you will need to have the current version of cURL for Windows installed. The easiest way to do this is to download the current available version as a ZIP file from the developer’s website. There you will also find information about any changes made (i.e. a changelog). Unzip the file in the File Explorer into a directory (e.g. with the name “curl”). You can also place this directory on your system’s hard drive (e.g. C:\curl\). Copy all the files and directories from your unzipped downloaded cURL file to this new directory. The executable file curl.exe is located in the subdirectory \bin, which also contains the certificate file curl-ca-bundle.crt. This file is required to use the SFTP and HTTPS protocol, for instance.
Then, open the Windows command prompt window and enter the following:
# Jump up two directory levels
C:\Users\user>cd..
C:\Users>cd..
# Jump to the specified directory
C:\cd curl\bin
C:\curl\bin>Here, you can use all the available functions in cURL for Windows, which are used here in further demonstrations. To test this, all you have to do is access the version as described above. The method described here for updating cURL works for Windows 7, 8, and 10. You can also integrate the current version of cURL into your system. To do so, you need to create a system path and find (!) and deactivate the old version.
cURL in practice – with simple examples
To use cURL for Windows, enter text commands in the command prompt window. For a quick overview, enter the following command:
You can access detailed information in the manual with the following command:
C:\curl\bin>curl --manualYou should save both outputs that appear in the command prompt window by copying and pasting them as a TXT file in a separate folder. This will allow you to easily access the commands by using the search function in the document and keep the command prompt window free.
Use a text editor in Windows. You can use it to note the commands for cURL, check them, and then copy them into the command prompt window. This will save you from having to repeatedly (and frustratingly) retype commands when typos creep in. You can also use it to save your own sets of commands for future actions, such as with your login information.
This can be done even faster with the following:
C:\curl\bin >curl --help | clipThe CMD command “clip” preceded by a vertical bar immediately copies the current output in the command prompt window to the Windows Clipboard so that you only have to press [Ctrl] + [V] to paste the contents into an empty editor document and then save it.
Saving information about a website locally
If you need to save information about a website in a local file, this can be done with a simple cURL routine. The file containing the information should be named infos.html and saved on the local computer in the same directory as the cURL installation. In Windows, cURL uses the option “-o” (lowercase o, not zero) for this purpose.
curl -o infos.html https://www.n-tv.de/This request generates a file larger than 700 kilobytes containing the specific status of the N-TV news channel’s website at the time of the request.
When you request this file from local data storage in a browser, the website will be displayed in its saved state.
It works the same way with a single file from a web server. The file ref.pdf shall be renamed references.pdf after being downloaded:
curl -o references.pdf https://mywebsite.tld/ref.pdf
or
curl --output references.pdf https://mywebsite.tld/ref.pdfDisplaying a website header
To display the content of a website header, which is enclosed in the HTML tags <head>…</head>, you use an option before the requested website address (I = uppercase i):
curl --head https://google.com
# or
curl -I https://google.com
Displaying more detailed information
To display even more information in the output via cURL, you can add the option “-v” or “—verbose”. This option provides information about the IPv6 address used, the port, any certificates and much more.
curl -I https://google.com -v
# or
curl --head https://google.com --verboseUploading data via the SFTP protocol
In this situation, the cURL command is a bit more complex since user identifications for login and verification have to be transferred to the server when using SFTP. So, let us get to it:
curl -k sftp://the-example-ftp-server:22 --user user:password -T examplefile.pdfYou can track the progress of the upload in the Windows command prompt window. The uploaded file should now be located in the root directory of your FTP server. If you mistyped the command, cURL for Windows will respond with this short message: “curl: (67) Authentication failure”. If you try to perform this transfer with the older cURL version 7.55.1, it will display this message: “curl: (1) Protocol «sftp» not supported or disabled in libcurl”.
Downloading via the SFTP protocol and cURL
With the current version of cURL, downloads are just as easy to perform without a special FTP client, provided that the file to be downloaded is on the FTP server:
curl -k sftp://the-example-ftp-server:22 --user user:password -o examplefile.pdfcURL has grown into a powerful tool. Be careful when cURLing on your own server environment. Using a backup and Windows restore media, you can be on the safe side in case something does go wrong.
cURLing the weather forecast
Requesting the local weather forecast in this way demonstrates that it is possible to present information in a more appealing (and useful) way with ASCII characters:
curl http://wttr.in/LOCATION
This can be done for any location.
cURL and PHP – a good pairing
To be able to work with cURL in practical everyday programming, cURL is also available in PHP. Check your web server with the following PHP request:
Save this code as a file named phpinfo.php, and move it to the root directory of your web server. When you request this file in your browser with ´https://mywebsite.tld/phpinfo.php´, you will be presented with all the information about the options available in your PHP version, including the availability of cURL.
To request a website with additional information, all you need are a few lines of PHP code. Here is an example requesting the German Microsoft website:
<?php
$site = curl_init(); //initialize the cURL handler
curl_setopt($site, CURLOPT_URL, "https://www.microsoft.com/de-de/"); //place the URL
curl_setopt($site,CURLOPT_RETURNTRANSFER,true); // set the optional parameters
curl_setopt($site,CURLOPT_HEADER, true); // display header; omit with „false“
$result=curl_exec($site); // execute the actual cURL
curl_close($site);
echo $result;
?>Save this code as a file (e.g. under the name curlinfo.php) in the root directory of your web server.
Since the file only contains pure PHP code, the header information is displayed in the browser’s own font (i.e. unformatted). This kind of routine is the first step in embedding data from other websites into your own with PHP and cURL.
PowerShell vs. the command prompt
Another powerful development tool has been implemented in Windows 10: it is called the PowerShell. It can be identified by the letters «PS» in front of the Windows path after opening it via the Windows icon with a right-click. The Windows PowerShell is intended to replace the command prompt (known as the “Console”) and provides even more comprehensive options for managing websites and servers. However, only some cURL commands can be used in the PowerShell. The rest must be “translated”.
The “translator” is built in and is enabled in the PowerShell with “Get-Alias” plus the cURL command.
PS C:\WINDOWS\system32> Get-Alias curl
# generates the output
CommandType Name Version Source
----------- ---- ------- ------
Alias curl -> Invoke-WebRequestThis will tell you which PowerShell command can be used to cURL a website:
PS C:\WINDOWS\system32> Invoke-WebRequest https://google.com/ Was this article helpful?
Осваиваем быстрый, маленький и простой инструмент тестирования API
- Настройка
- Базовые опции
- GET-метод
- POST-метод
- Отправка простого текста
- Параметры строки запроса
- Отправка JSON-объекта
- Эмуляция отправки значений формы
- Отправка файла
- Другие методы
- Аутентификация
- Платный тариф
“Когда я начал изучать HTTP-протокол и надо было работать с URL-ами и передаваемыми в них данными, в каждом найденном инструменте не хватало хорошей документации, или она была, но в виде избыточно сложных инструкций для простых вещей, типа отправки простого HTTP-запроса. Однажды обратил внимание на curl, которым раньше скачивал файлы, и это оказался лучший инструмент для изучения веб-API.
Этот материал требует базового знакомства с HTTP-протоколом, понимания что такое веб-API, а также умения работать с командной строкой в Windows, надеемся ты это умеешь.
Итак, поехали.
Настройка
Как всякий серьезный софт, curl требует установки в операционной системе. Хорошая новость: скорее всего, он уже установлен! Точнее, встроен в операционку. Уважающий себя тестировщик, разумеется, работает в Linux, а почти каждый дистрибутив Linux уже идет с curl. Более того, даже Windows 10 (начиная с версии 1803) поставляется с curl.
Проверим, есть ли в системе curl.
В Linux набираем в терминале:
curl --version
Если все-таки работаешь в Windows, то запускаешь cmd или, лучше, PowerShell:
curl.exe --version
Команда покажет версию curl, прикрепленные библиотеки, дату релиза, поддерживаемые протоколы и поддерживаемые функции. В Linux увидим следующее:
curl 7.68.0 (x86_64-pc-linux-gnu) libcurl/7.68.0 OpenSSL/1.1.1f zlib/1.2.11 brotli/1.0.7 libidn2/2.2.0 libpsl/0.21.0 (+libidn2/2.2.0) libssh/0.9.3/openssl/zlib nghttp2/1.40.0 librtmp/2.3 Release-Date: 2020-01-08 Protocols: dict file ftp ftps gopher http https imap imaps ldap ldaps pop3 pop3s rtmp rtsp scp sftp smb smbs smtp smtps telnet tftp Features: AsynchDNS brotli GSS-API HTTP2 HTTPS-proxy IDN IPv6 Kerberos Largefile libz NTLM NTLM_WB PSL SPNEGO SSL TLS-SRP UnixSockets
Если введенная команда выдала ошибку, то curl не установлен, значит его надо скачать и поставить. Еще одна хорошая новость: он бесплатный (но есть нюансы, о которых в конце). Есть версии для практически всех операционных систем, размер ехе-шника не превышает 5 Мб.
Если понадобилось ознакомиться с curl, а опыта с API нет, ситуацию облегчит тестовый httpbin-сервис, примеры с которым приведены далее в этом посте.
Примечание. С этого момента, будут приводиться исключительно «линуксовые» bash-команды, для ясности и читабельности. Если ты сидишь в Windows и примеры почему-то не работают, попробуй добавлять «.exe» после команды curl, или удалять (возможные) лишние пробелы в строках (line breaks).
Базовые опции
Несмотря на то, что Curl очень простой инструмент, он имеет множество различных функций. Начнем с ними знакомиться:
--requestили-X: Указывает нужный http-метод (здесь подробнее — желательно хорошо разобраться). Если опции нет, запрос по умолчанию обрабатывается как GET. Например:curl -X POST ...
--headerили-H: В HTTP-запрос добавляется дополнительный заголовок, их может быть сколько угодно. Например:curl -H "X-First-Name: John" -H "X-Last-Name: Doe" ...
--dataили-d: В запрос включаются какие-то данные. Они могут добавляться в той же строке, или указывать на текстовый файл, откуда считываются. Пример:curl -d "тут текстовые данные" ...
- —
-formили-F: curl эмулирует заполненную форму, с нажатием кнопки отправки. Допускается отправка бинарных файлов. Пример:curl -F name=John -F shoesize=11 ...
--user <user:password>или-u <user:password>: Логин и пароль для аутентификации на сервере.
curl показывает логи HTTP-транзакций в терминале. Если нужно еще больше подробностей, то curl сохраняет все в файлы для проверки при необходимости. Для это есть функции:
--dump-headerили-D: Сохраняет в указанный дамп-файл полученные заголовки. Пример:curl -D result.header ...--outputили-O: Выводит в указанный дамп-файл, минуя stdout. Пример:curl -o result.json ...
GET-метод
Мы познакомились с основами, пора перейти к более серьезным вещам.
Во первых, меняем текущую папку в командной оболочке, на домашнюю папку или на рабочий стол (desktop), чтобы легче было найти выведенные из curl файлы.
Делаем первые запросы:
curl -X GET "https://httpbin.org/get" \ -H "accept: application/json" \ -D result.headers \ -o result.json
В первой строке указываем curl выполнить HTTP-запрос GET-методом, по такому-то URL. Во второй строке добавляем заголовок, чтобы сервер знал, что нам отправить в ответе. В третьей строке прописываем вывод полученных заголовков в файл дампа, который мы назовем result.headers. В последней строчке даем указание вывести результат запроса в файл result.json.
Если все пошло как надо, после запуска команды в прописанной на первом этапе домашней папке появятся нужные файлы. В данном случае будет выглядеть так.
файл result.headers
HTTP/2 200 date: Thu, 02 Sep 2021 05:47:14 GMT content-type: application/json content-length: 169
В файле result.headers видим, что запрос успешно выполнен, с кодом ответа 200 (все ОК), от сервера получен таймкод ответа (timestamp), и все заголовки.
Файл result.json
{
"args": {},
"headers": {
"Accept": "application/json",
"Host": "httpbin.org",
"User-Agent": "curl/7.68.0"
},
"url": "https://httpbin.org/get"
}
В этом файле result.json находится тело ответа. Это данные, возвращенные сервером, в красивом JSON-формате (об особенностях формата читаем здесь).
POST-метод
Отправка простого текста
Сейчас попробуем отправить обычный текст (plaintext) на сервер, с помощью метода POST.
curl -X POST "https://httpbin.org/post" \ -H "accept: application/json" \ -H "Content-Type: text/plain" \ -H "Custom-Header: Testing" \ -d "I love hashnode" \ -D result.headers \ -o result.json
Как видим, в запрос включен кастомный заголовок "Custom-Header: Testing". Он должен отображаться в теле ответа.
Смотрим теперь в файл result.headers
HTTP/2 200 date: Fri, 03 Sep 2021 03:16:20 GMT content-type: application/json content-length: 182
и файл result.json
{
"data": "I love hashnode",
"headers": {
"Accept": "application/json",
"Content-Length": "15",
"Content-Type": "text/plain",
"Custom-Header": "Testing"
}
}
Видим, что сервер получил plaintext-сообщение с тестовым заголовком и вернул его обратно без изменений.
Параметры строки запроса
В curl поддерживается не только простой текст, но и достаточно сложные параметры типа:
curl -X POST "https://httpbin.org/post?name=Carlos&last=Jasso" \ -H "accept: application/json" \ -D result.headers \ -o result.json
файл result.headers
HTTP/2 200 date: Fri, 03 Sep 2021 03:30:47 GMT content-type: application/json content-length: 120
файл result.json
{
"args": {
"lastname": "Jasso",
"name": "Carlos"
},
"headers": {
"Accept": "application/json"
}
}
Сервер, как и предыдущем примере, правильно «зеркалит» параметры, которые curl отправил.
Отправка JSON-объекта
Поставим curl-у задачу посложнее, попытаемся отправить на сервер json-файл и посмотрим что получится:
curl -X POST "https://httpbin.org/post" \ -H "Content-Type: application/json; charset=utf-8" \ -d @data.json \ -o result.json
Тут мы добавили специальный заголовок Content-Type, сообщающий серверу, что ему посылается json-файл. Путь к файлу с данными указывается флагом -d с собачкой @, и далее путь к файлу (в нашем случае это будет текущая папка).
Вот содержимое файла data.json, который надо создать:
{
"name": "Jane",
"last": "Doe"
}
И файл result.json:
{
"data": "{ \"name\": \"Jane\", \"last\": \"Doe\"}",
"headers": {
"Accept": "*/*",
"Content-Length": "38",
"Content-Type": "application/json; charset=utf-8"
},
"json": {
"last": "Doe",
"name": "Jane"
}
}
И снова видим, как curl умеет корректно отправлять контент JSON-файлов на сервер.
Эмуляция отправки значений формы
Иногда может понадобиться имитировать отправку формы. Curl умеет и это:
curl -X POST "https://httpbin.org/post" \ -H "Content-Type: multipart/form-data" \ -F "FavoriteFood=Pizza" \ -F "FavoriteBeverage=Beer" \ -o result.json
Чтобы обозначить для сервера, что посылаются данные формы, добавляется заголовок с соответствующим MIME-типом (как показано выше), плюс параметр -F в каждом из полей и значений.
result.json:
{
"form": {
"FavoriteBeverage": "Beer",
"FavoriteFood": "Pizza"
},
"headers": {
"Accept": "*/*",
"Content-Length": "261",
"Content-Type": "multipart/form-data;"
}
}
Видим, что сервер получил форму и правильно обработал все поля.
Отправка файла
Выше мы демонстрировали достаточно простые действия. А как насчет передачи файла? Файлы передаются таким же образом, как формы выше. Отправим изображение из текущей папки:
curl -X POST "https://httpbin.org/post" \ -H "Content-Type: multipart/form-data" \ -F "FileComment=This is a JPG file" \ -F "image=@image.jpg" \ -o result.json
result.json:
{
"files": {
"image": "data:image/jpeg;base64,/9j/4AAQSkZJ..."
},
"form": {
"FileComment": "This is a JPG file"
},
"headers": {
"Accept": "*/*",
"Content-Length": "78592",
"Content-Type": "multipart/form-data;"
}
}
curl может потребоваться некоторое время чтобы отправить большой файл, а потом сервер вернет этот файл (причем закодированный в Base64). Curl должен правильно обработать такой запрос.
Другие методы
Можно попробовать «погонять» любые запросы, чтобы убедиться, как полезен бывает curl при тестировании API. В целом, обработка запросов зависит от типа API и имплементации метода.
Аутентификация
curl умеет проводить аутентификацию на сервере, когда по URL-адресу нужен ввод пользовательских имени-пароля. В этом случае httpbin получает ожидаемые имя и пароль в формате /basic-auth/{user}/{passwd} и сопоставляет значения с введенными. Если эти данные не введены, получается следующее:
curl -X GET "https://httpbin.org/basic-auth/carlos/secret" \ -H "accept: application/json" \ -D result.headers
result.headers:
HTTP/2 401 date: Fri, 03 Sep 2021 04:08:44 GMT content-length: 0
То есть код 401 (не прошла авторизация).
Добавим в запрос логин и пароль:
curl -X GET "https://httpbin.org/basic-auth/carlos/secret" \ -u carlos:secret -H "accept: application/json" \ -D result.headers
result.headers:
HTTP/2 200 date: Fri, 03 Sep 2021 04:14:19 GMT content-type: application/json content-length: 48
result.json:
{
"authenticated": true,
"user": "carlos"
}
Все хорошо, авторизация прошла успешно.
Curl позволяет авторизоваться и другими методами — например, с помощью токена. Токен просто отправляется в соответствующем заголовке.
Платный тариф
Уже должно быть понятно, что curl — полезная вещь для тестировщика. Чтобы в этом мнении укрепиться, рассмотрим еще некоторые нюансы.
Распространенные инструменты тестирования API — бесплатные, но в них чаще всего бывают платными функции командной работы. Или например, запросы к социальным сетям (Вконтакте и Facebook) блокированы в бесплатном тарифе, и это один из немногих минусов в столь приятном продукте.
В других похожих инструментах бывает слишком сложный интерфейс, но это не об curl. Для простоты, рекомендую работать в VSCode. Связка VSCode c curl — идеальная.
На скрине слева отрендеренный markdown-документ, справа полученные result.headers и result.json, и терминал внизу, куда тестировщику приходится глядеть чаще всего.
Вопреки убеждению, бытующему в определенных кругах, curl хорошо работает не только в REST-архитектуре, но и в SOAP.
Конечно, раскрыть все нюансы в одной статье невозможно, и чтобы продолжить знакомство с такой полезной вещью как curl, не обойтись без чтения официальной документации на их сайте. Там же и примеры использования.”