Загрузка файла на Яндекс.Диск из командной строки
Недавно я уже давал несколько рекомендаций, как делать резервное копирование баз данных. К этому хотелось бы добавить совет не хранить backup на том же сервере, что и основные данные. Но как быть, если сервер всего один? На помощь могут прийти облачные хранилища, которые работают по протоколу WebDAV, например Яндекс.Диск. Загрузить туда файл можно обычным HTTP-запросом с помощью утилиты curl из командной строки или bash-скрипта. Делается это так:
curl -T локальный_файл https://webdav.yandex.ru/удаленный_файл --user логин:пароль
При необходимости у имени удаленного файла можно указать и путь, например, Backups/daily.gz, но тогда все каталоги в пути должны уже существовать на сервере.
- IT
- Cancel
- Регистрируемся на яндексе – дают 3 Гб.
- Подключаемся через WebDav:
- Cmd
- net use x: https://webdav.yandex.ru/backup /user:%USERNAME% %PASSWORD%
- Копируем данные
- net use x: /delete
1. Войти в нужную учётную запись Yandex’а.
2. Открыть https://oauth.yandex.ru/client/new и нажать кнопку «Зарегистрировать новое приложение».
В открывшей форме указать данные, затем нажать кнопку «Создать приложение».
2.1. Название приложения
2.2. Веб-сервисы [✔]
2.3. Доступ к данным (набрать в поисковой строке «Диск»)
✔ Яндекс.Диск REST API
✔ Яндекс.Диск WebDAV API
2.4. Redirect URI для веб-сервисов — https://oauth.yandex.ru/verification_code?dev=True
3. Открыть страницу https://oauth.yandex.ru/authorize?response_type=token&client_id=<идентификатор приложения>, где <идентификатор приложения> — полученный на предыдущем этапе ID для приложения (инструкция Yandex’а).
4. Работа с Yandex.Диск через cURL.
<отладочный токен> заменить на полученный на предыдущем этапе токен
4.1. Создать папку dir1
curl --header "Authorization: OAuth <отладочный токен>" -X PUT https://cloud-api.yandex.net/v1/disk/resources/?path=/dir1/4.2. Загрузить файл
curl --header "Authorization: OAuth <отладочный токен>" -T /srv/www/1.txt https://webdav.yandex.ru/4.3. Скачать файл
curl --header "Authorization: OAuth <отладочный токен>" -T /srv/www/2.txt https://webdav.yandex.ru/dir1/
curl --header "Authorization: OAuth <отладочный токен>" -T /srv/www/2.txt https://webdav.yandex.ru/dir1/3.txt
curl --header "Authorization: OAuth <отладочный токен>" -o 1.txt https://webdav.yandex.ru/1.txt4.4. Удалить файл (окончательно, не в Корзину)
curl --header "Authorization: OAuth <отладочный токен>" --request DELETE https://webdav.yandex.ru/1.txt
Облачные хранилища данных становятся всё более востребованными, как среди частных пользователей, так и среди компаний. При этом некоторые интернет сервисы хранения файлов предоставляют возможность доступа к своему облаку по протоколу WebDAV (Web Distributed Authoring and Versioning).
Преимущества доступа по webdav по сравнению с веб доступом:
- работа с файлами в автоматическом режиме (скачивание/закачивание bat файлами и скриптами JS/VBS/PS), то есть, в первую очередь, это означает возможность автоматического сброса резервных копий на интернет хранилище
- подключение облака как сетевого диска (обычного network drive) с присваиванием буквы логического диска (E:, F: и т.д.), другими словами, возможность работы с облачными файлами из обычных программ (офисные пакеты, графические редакторы и т.п.)
- возможность заливать большие файлы (обычно веб интерфейс позволяет закачивать в хранилище файлы до 2 ГБ). Здесь надо отметить, что бесплатные аккаунты часто ограничены в размере файлов по сравнению с платными, например, на Box бесплатно можно хранить файлы размером не более 250 МБ (на Business аккаунтах размер файла может составлять до 5 ГБ, на Enterprise вроде до 15 ГБ); правда, с большими файлами есть и другие проблемы, но об этом ниже
Статья расскажет о возможностях использования WebDAV в различных программах, особенностях подключения вручную и из командной строки/bat файлов, распространенных проблемах и их решениях.
WebDAV в FAR Manager
Работать с файловым хранилищем по WebDAV можно и без подключения сетевого диска, если использовать плагин NetBox в Far Manager, при этом файлы будут доступны в самом Far Manager, но недоступны в командной строке и в других программах, например, в проводнике Windows.
Эта функция Windows позволяет получить доступ к файлам по WebDAV не только в файловых менеджерах (Far Manager и т.д.), но также и в командной строке и в проводнике Windows.
В Windows 7 есть встроенный веб клиент, который подключает облако WebDAV как обычный сетевой диск с присваиванием буквы. При подключении следует ввести адрес, который зависит от хранилища.
Строка подключения WebDAV для Яндекс.Диска:
https://webdav.yandex.ru
Подробные инструкции с картинками: Доступ к Яндекс.Диск через WebDAV
Строка подключения WebDAV для Box:
https://dav.box.com/dav
Подробные инструкции с картинками: Does Box support WebDAV?
Строка подключения WebDAV для OneDrive потребует cid – это идентификатор учетной записи, его можно посмотреть в адресной строке браузера, если открыть веб-интерфейс OneDrive:
https://d.docs.live.net/cid
Облако Mail.ru тоже предлагает доступ по WebDAV, хотя и только на платных тарифах.
Строка подключения WebDAV для Mail.ru:
https://webdav.cloud.mail.ru/
Подключение WebDAV из командной строки Windows
Также можно использовать возможности командной строки – команда NET USE успешно подключает WebDAV хранилища, например, эта команда подключает папку Яндекс.Диск в виде логического диска Y:
net use Y: https://webdav.yandex.ru password /user:email_address /persistent:yes
Эта команда для подключения папки Box в виде логического диска X:
net use X: https://dav.box.com/dav password /user:email_address /persistent:yes
Чтобы подключить OneDrive к букве O: (значение cid берётся из адресной строки браузера в веб-итерфейсе OneDrive:
net use O: https://d.docs.live.net/cid password /user:email_address /persistent:yes
Чтобы подключить OneDrive к назначаемой автоматически букве диска:
net use * https://d.docs.live.net/cid password /user:email_address /persistent:yes
Хотя можно выбрать автоматический выбор буквы диска (указанием звёздочки), я предпочитаю использовать фиксированные буквы — это упрощает работу с командными файлами.
Примечание: параметр /persistent:yes необязательный, он задаёт автоматическое восстановление подключения при перезагрузке компьютера, подробнее об этом см. ниже.
После подключения можно пользоваться стандартными командами для работы с файлами, например:
copy backup.zip y:\backup
Проблемы с большими файлами
Операции (скачивания, закачивание) над небольшими файлами проходят отлично. Однако при большем размере файла (50 МБ и более) возникают проблемы. Например, появляется сообщение Delayed Write Failed (Ошибка отложенной записи), а размер закачанного файла оказывается 0 байт.
Для решения этих проблем можно попробовать изменить параметры клиента, как это описано ниже, подробнее см. в статье You cannot download more than 50 MB or upload large Files when the upload takes longer than 30 minutes using Web Client in Windows 7
Но в действительности получилось закачать файл 300 МБ только командой xcopy с отключением буферизации:
xcopy *.zip y:\backup /Y /Z /V /J
Копирование закончилось успешно, при том что не получилось ни проводником Windows, ни copy /y /z /v.
Лимит на размер файла
Исходное значение 50 000 000 байт. Задается в байтах параметром реестра:
DWORD FileSizeLimitInBytes
в разделе:
HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\WebClient\Parameters
Например, можно задать 500 000 000.
Таймаут
Исходное значение 1800 секунд или 30 минут, поэтому операции более 30 минут прерываются. Значение таймаута задается в секундах параметром реестра:
DWORD FsCtlRequestTimeoutInSec
в разделе:
HKEY_LOCAL_MACHINE\System\CurrentControlSet\Services\MRxDAV\Parameters
В статье рекомендуется значение 3600, т.е. 3600 секунд или один час.
Производительность wevdav хранилищ
Это очень интересный вопрос для резервного копирования, потому что нам надо понимать, сколько времени будет занимать копирование файла резервной копии на сервер по webdav, ведь размер такого файла может быть и 100МБайт, и 1 ГБайт и больше.
Следующий тест показывает время выгрузки файла 188 МБ на Яндекс Диск по webdav. Подключение к интернету 100 Мбит/с, поэтому на выгрузку существенно не влияет. Для регистрации времени начала и окончания копирования используется программа nhts.
C:\Users\username\Documents>dir *.zip 11.09.2015 15:55 197 858 220 backup-20150911.zip C:\Users\username\Documents>nhts HH:mm:ss 'Запуск' & xcopy backup-2015091 1.zip y:\backup /Y /Z /V /J & nhts HH:mm:ss 'Завершено' 15:58:05 Запуск C:backup-20150911.zip Скопировано файлов: 1. 15:58:43 Завершено
В итоге, файл 188 МБ был скопирован за 38 секунд, то есть скорость выгрузки составила 4,9 МБ/с или 40Мбит/с – хороший результат для резервного копирования. Соответственно, файл 1 ГБ будет загружен на сервер примерно за 3,5 минуты.
Теперь такой же тест для Box (он подключен к X:):
C:\Users\username\Documents>nhts HH:mm:ss 'Запуск' & xcopy backup-2015091 1.zip x:\backup /Y /Z /V /J & nhts HH:mm:ss 'Завершено' 16:09:57 Запуск C:backup-20150911.zip Скопировано файлов: 1. 16:11:49 Завершено
Box работает помедленнее – время копирования того же файла составило 112 секунд, и, соответственно, скорость копирования составила 1,7 МБ/с или 13,4 Мбит/с. При такой скорости время копирования 1ГБ файла составит больше 10 минут. Сам Box пишет, что для business и enterprise аккаунтов есть какая-то оптимизация для повышения скорости копирования на сервер, см. How can I optimize my upload speeds?
Понятно, что скорость копирования может меняться в зависимости от загрузки каналов связи или серверов, но видно, что Яндес Диск быстрее, и с учетом ограничения на размер файла в 250 МБ в Box предпочтительнее для резервного копирования использовать бесплатный Яндекс Диск, чем бесплатный аккаунт Box.
Возможные проблемы и их решение
При появлении проблемы подключения важно определить, какую именно ошибку сообщает программа – чтобы делать правильные действия для её устранения.
Ошибка 67 — не найдено сетевое имя
Ошибка 67 означает, что не удалось найти сервер по указанному в команде сетевому имени. В английской версии Windows эта ошибка описывается как «The network name cannot be found».
В первую очередь необходимо проверить, правильно ли в команде набран протокол и адрес webdav сервера, например, для Яндекс.Диска должно быть:
https://webdav.yandex.ru
Во-вторых, проверить разрешение сетевого имени – сервер должен быть доступен:
C:\Windows\System32>ping webdav.yandex.ru
Pinging webdav.YANDEX.ru [87.250.251.53] with 32 bytes of data:
Reply from 87.250.251.53: bytes=32 time=46ms TTL=51
Reply from 87.250.251.53: bytes=32 time=35ms TTL=51
Reply from 87.250.251.53: bytes=32 time=62ms TTL=51
Reply from 87.250.251.53: bytes=32 time=38ms TTL=51
Ping statistics for 87.250.251.53:
Packets: Sent = 4, Received = 4, Lost = 0 (0% loss),
Approximate round trip times in milli-seconds:
Minimum = 35ms, Maximum = 62ms, Average = 45ms
Если сервер неизвестен или не отвечает, то явно что-то не так с интернет подключением.
Если сетевое имя сервера указано корректно, сервер успешно пингуется, но подключение с правильными параметрами всегда завершается ошибкой 67, то причиной проблемы является блокировка подключения со стороны локальной сети. Например, у меня на работе происходит именно так, потому что доступ к интернет хранилищам по WebDav заблокирован администраторами намеренно, наверное, чтобы предотвратить слив информации на сторону. Чтобы убедиться, что причина именно в этом, необходимо попробовать подключение с точно такими же параметрами, но из другой сети, лучше из домашней, потому что операторы обычно не блокируют WebDAV коммуникации. Если проверка подтвердила, что локальные админы блокируют подключение, то решить проблему можно только через них.
Ошибка 1244 — пользователь не зарегистрирован
Полный текст ошибки: «Запрошенная операция не была выполнена, так как пользователь не зарегистрирован».
Эта ошибка означает, что сервер не получил правильные логин и пароль пользователя. Причины могут быть разные, как неправильный ввод имени или пароля, так и ввод их в неправильном месте команды.
Поэтому при этой ошибке я проверяю, что пароль введён правильно и находится между адресом сервера и параметром /user.
Также сложность может возникнуть, если пароль содержит спецсимволы, имеющие особое значение в командных cmd/bat файлах, потому что эта часть строки может быть интерпретирована неправильно. Чтобы это проверить, можно попробовать временно указать звёздочку вместо пароля, тогда программа запросит пароль после запуска. Если подключение при вводе пароля по запросу сработает, то надо проверить пароль на наличие недопустимых символов. Например, у меня один из паролей содержал символ амперсанда ‘&’, и это приводило к ошибке 1244. Обойти ошибку удалось, заключив пароль в кавычки. Но если в пароле есть символ кавычек, то это обойти, скорее всего, не удастся – лучше изменить пароль, исключив из него кавычки.
Действия с хранилищем в командном файле
Как проверить, что хранилище подключено
Проверка того, что подключение установлено, и сервер доступен, может потребоваться в командных файлах. Её можно выполнить командой IF EXIST.
Например, cmd/bat файл для подключения WebDAV проверяет, если диск уже подключен, то сразу выходит:
if exist Y:\* echo Already connected. & exit /b 0
Или cmd/bat файл резервного копирования проверяет перед выгрузкой, что сетевой диск доступен:
if not exist Y:\* echo Not connected. & exit /b 1
Копирование файлов по WebDAV
Из-за буферизации на стороне клиента в стандартной COPY или в проводнике возможна потеря данных, поэтому рекомендуется использовать XCOPY с отключением буферизации и с контролем размера.
xcopy *.zip y:\backup /Y /Z /V /J
Автоматическое подключение сетевого диска
Возможность для автоматического подключения сетевого диска при загрузке компьютера на самом деле уже есть и включается параметром /persistent:yes (см. выше).
Недостаток этого решения состоит в том, что при загрузке компьютера делается только одна попытка подключения диска. Если на этот момент не было сетевого подключения или временно сервер был недоступен, то диск так и останется не подключенным.
Та же проблема возникает, если в автозагрузку вставить только команду подключения:
net use Y: https://webdav.yandex.ru password /user:email_address /persistent:yes
Подключение сетевого диска с проверкой и повтором
Чтобы сделать более надёжное решение, использую cmd/bat файл с проверкой результата и повтором попытки:
@echo off if exist y:\* echo Already connected. &amp;amp;amp;amp;amp;amp;amp;amp;amp; exit /b 0 :connect net use y: https://webdav.yandex.ru password /user:nhutils@yandex.ru if errorlevel 1 ping 127.0.0.1 -n 60 &amp;amp;amp;amp;amp;amp;amp;amp;gt; nul &amp;amp;amp;amp;amp;amp;amp;amp;amp; goto connectВ случае ошибки NET USE попытка подключения повторяется через 1 минуту. Задержка делается с помощью ping, подробнее см. Как сделать задержку в командном файле.
Этот командный файл можно запускать вручную или через автозагрузку.
Чтобы не мешало чёрное окно bat файла, можно спрятать его путём запуска через wsh скрипт, см. Скрыть консольное окно.
Файлы для скачивания
Командные файлы подключения по WebDAV
Все скрипты и командные файлы
См. также
WebDAV (Web Distributed Authoring and Versioning)
Клиенты облачных хранилищ как альтернатива WebDAV
Клиентские программы облачных дисков предлагают возможность работы с удаленными файлами без хранения их на компьютере.Как сделать задержку в командном файле
Несколько способов, как запрограммировать задержку по времени в bat файле CMD/BAT: варианты с фиксированным временем ожидания ping -n, sleep.exe из Windows XP Resource Kit и скрипт WSH/JScript, а также вариант с ожиданием нажатия клавиши timeout /t.
Все способы:
- Сетевой диск Яндекс
- Шаг 1: Добавление нового элемента в сетевое окружение
- Шаг 2: Подключение сетевого диска
- Ошибка «Неправильное имя папки»
- Вопросы и ответы: 35
Как известно, Яндекс Диск хранит Ваши файлы не только на своем сервере, но и в специальной папке на ПК. Это не всегда удобно, поскольку место, занимаемое файлами, может быть достаточно большим. В этой статье мы поговорим о том, как иметь доступ к диску без хранения документов на ПК.
Сетевой диск Яндекс
Специально для тех пользователей, которые не желают держать огромную папку на своем системном диске, в Яндекс Диске включена поддержка технологии WebDAV, которая позволяет подключаться к сервису, как к обычной папке или диску. Давайте по шагам разберем, как воспользоваться данной возможностью.
Шаг 1: Добавление нового элемента в сетевое окружение
Этот шаг будет описан для того, чтобы избежать некоторых проблем при подключении сетевого диска. Его можно пропустить и сразу перейти ко второму.
- Итак, переходим в папку «Компьютер» и нажимаем на кнопку «Подключить сетевой диск» и в открывшемся окне переходим по ссылке, указанной на скриншоте.
- В следующем окне жмем «Далее».
Снова «Далее».
- Затем вводим адрес. Для Яндекса он имеет такой вид:
https://webdav.yandex.ruНажимаем «Далее».
- Дальше необходимо дать имя новому сетевому размещению и снова нажать «Далее».
Поскольку мы уже создавали данное сетевое размещение, запрос имени пользователя и пароля был пропущен «Мастером», у вас же этот запрос обязательно появится.
Если планируется пользоваться несколькими аккаунтами, ни в коем случае не ставьте галку напротив «Запомнить учетные данные», иначе подключиться к другому аккаунту без танцев с бубном не получится.
- Если хотим сразу по завершении процесса открыть папку, оставляем галку в чекбоксе и нажимаем «Готово».
- В Проводнике откроется папка с вашим Яндекс Диском. Обратите внимание, какой у нее адрес. Этой папки на компьютере не существует, все файлы лежат на сервере.
Вот так выглядит размещение в папке «Компьютер».
В общем-то Яндекс Диском уже можно пользоваться, но нам нужен именно сетевой диск, поэтому давайте его подключим.
Шаг 2: Подключение сетевого диска
- Снова переходим в папку «Компьютер» и нажимаем кнопку «Подключить сетевой диск». В появившемся окне, в поле «Папка» указываем тот же адрес, что и для сетевого размещения (https://webdav.yandex.ru) и жмем «Готово».
- Сетевой диск появится в папке «Компьютер» и будет функционировать, как обычный каталог.
Ошибка «Неправильное имя папки»
В некоторых случаях система при вводе стандартного адреса может выдать ошибку «Неправильное имя папки», которая говорит о невозможности доступа к защищенным ресурсам SSL (HTTPS). Решается проблема двумя способами. Первый — вместо адреса
https://webdav.yandex.ru
указать
http://webdav.yandex.ru
Второй — поправить параметр в системном реестре.
- Нажимаем на лупу возле кнопки «Пуск» и в поисковом поле пишем «реестр». Переходим к приложению.
- Идем в ветку
HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\WebClient\ParametersДважды кликаем по ключу
BasicAuthLevelМеняем значение на «2» (без кавычек) и жмем ОК.
- Перезагружаем компьютер. После выполнения приведенных выше действий проблема должна исчезнуть.
Теперь вы знаете, как просто подключить Яндекс Диск как сетевой диск стандартными средствами Windows.
Наша группа в TelegramПолезные советы и помощь