В очередной раз после переустановки Windows осознал, что надо накатить драйвера, CUDA, cuDNN, Tensorflow/Keras для обучения нейронных сетей.
Каждый раз для меня это оказывается несложной, но времязатратной операцией: найти подходящую комбинацию Tensorflow/Keras, CUDA, cuDNN и Python несложно, но вспоминаю про эти зависимости только в тот момент, когда при импорте Tensorflow вижу, что видеокарта не обнаружена и начинаю поиск нужной страницы в документации Tensorflow.
В этот раз ситуация немного усложнилась. Помимо установки Tensorflow мне потребовалось установить PyTorch. Со своими зависимостями и поддерживаемыми версиями Python, CUDA и cuDNN.
По итогам нескольких часов экспериментов решил, что надо зафиксировать все полезные ссылки в одном посте для будущего меня.
Краткий алгоритм установки Tensorflow и PyTorch
Примечание: Установить Tensorflow и PyTorch можно в одном виртуальном окружении, но в статье этого алгоритма нет.
Подготовка к установке
- Определить какая версия Python поддерживается Tensorflow и PyTorch (на момент написания статьи мне не удалось установить PyTorch в виртуальном окружении с Python 3.9.5)
- Для выбранной версии Python найти подходящие версии Tensorflow и PyTorch
- Определить, какие версии CUDA поддерживают выбранные ранее версии Tensorflow и PyTorch
- Определить поддерживаемую версию cuDNN для Tensorflow – не все поддерживаемые CUDA версии cuDNN поддерживаются Tensorflow. Для PyTorch этой особенности не заметил
Установка CUDA и cuDNN
- Скачиваем подходящую версию CUDA и устанавливаем. Можно установить со всеми значениями по умолчанию
- Скачиваем cuDNN, подходящую для выбранной версии Tensorflow (п.1.2). Для скачивания cuDNN потребуется регистрация на сайте NVidia. “Установка” cuDNN заключается в распакове архива и заменой существующих файлов CUDA на файлы из архива
Устанавливаем Tensorflow
- Создаём виртуальное окружение для Tensorflow c выбранной версией Python. Назовём его, например,
py38tf
- Переключаемся в окружение
py38tf
и устанавливаем поддерживаемую версию Tensorflowpip install tensorflow==x.x.x
- Проверяем поддержку GPU командой
python -c "import tensorflow as tf; print('CUDA available' if tf.config.list_physical_devices('GPU') else 'CUDA not available')"
Устанавливаем PyTorch
- Создаём виртуальное окружение для PyTorch c выбранной версией Python. Назовём его, например,
py38torch
- Переключаемся в окружение
py38torch
и устанавливаем поддерживаемую версию PyTorch - Проверяем поддержку GPU командой
python -c "import torch; print('CUDA available' if torch.cuda.is_available() else 'CUDA not available')"
В моём случае заработала комбинация:
- Python 3.8.8
- Драйвер NVidia 441.22
- CUDA 10.1
- cuDNN 7.6
- Tensorflow 2.3.0
- PyTorch 1.7.1+cu101
Tensorflow и PyTorch установлены в разных виртуальных окружениях.
Итого
Польза этой статьи будет понятна не скоро: систему переустанавливаю я не часто.
Если воспользуетесь этим алгоритмом и найдёте какие-то ошибки – пишите в комментарии
вот проблема
вот что установлено
Помогите пожалуйста решить вопрос
-
Вопрос задан
-
7162 просмотра
1. Почитайте на сайте откуда качали установщик какие есть зависимости. Т.е. какие приложения должны быть установлены ДО установки драйверов.
2. Посмотрите лог установки, не исключено он есть в папке с инсталлятором.
3. Посмотрите ошибки при установке в «Управление компьютером-Просмотр событий-Журналы Windows» во временной интервал установки.
4. Проверить не заблокировал ли установку антивирус/Фаерволл.
5. Установить Вижуалстудио вручную?
Пригласить эксперта
Войдите, чтобы написать ответ
-
Показать ещё
Загружается…
Минуточку внимания
#96
пятница, 19 июля 2024 г.
четверг, 25 июля 2024 г.
6 минут(ы)
501 слово
Для установки поддержки CUDA под Windows 10 для Python и C++, выполните следующие шаги:
Шаг 1: Установите драйверы NVIDIA
- Перейдите на официальный сайт NVIDIA Drivers.
- Введите данные вашей видеокарты и скачайте последнюю версию драйверов.
- Установите драйверы, следуя инструкциям установщика.
Шаг 2: Установите CUDA Toolkit
- Перейдите на страницу CUDA Toolkit Downloads.
- Выберите вашу операционную систему (Windows), архитектуру x86_64, версию Windows (10), и тип установщика (exe (local)).
- Скачайте и запустите установочный файл.
- Следуйте инструкциям установщика. Рекомендуется оставить все параметры по умолчанию.
- Содержимое будет распакованно в директорию установки CUDA (например,
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vX.X
), заменяя существующие файлы.
Шаг 3: Установите cuDNN (для глубокого обучения)
- Перейдите на страницу cuDNN Download.
- Выберите вашу операционную систему (Windows), архитектуру x86_64, версию Windows (10), и тип установщика (exe (local)).
- Скачайте файл и запустите его.
- Следуйте инструкциям установщика. Рекомендуется оставить все параметры по умолчанию.
- Содержимое будет распакованно в директорию установки CUDNN (например,
C:\Program Files\NVIDIA\CUDNN\vX.X
), заменяя существующие файлы.
ВАЖНОЕ ЗАМЕЧАНИЕ!
Выполнив шаги 1, 2, 3, вы установите все необходимые драйверы и программы для поддержки CUDA под Windows 10 для Python и C++.
Следующие шаги предназначены только для программистов и не являются необходимыми для обычных пользователей ПК.
Шаг 4: Настройте переменные окружения при необходимости
- Откройте «Свойства системы» (System Properties) через меню «Пуск» или панели управления.
- Перейдите на вкладку «Дополнительно» (Advanced) и нажмите «Переменные среды» (Environment Variables).
- В разделе «Системные переменные» (System Variables) найдите переменную
CUDA_PATH
и нажмите «Изменить» (Edit). - Добавьте следующие пути (замените
vX.X
на вашу версию CUDA): —C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vX.X
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.5
- Нажмите «OK» для сохранения изменений.
Шаг 5: Установка поддержки CUDA для Python
-
Установка PyTorch: В зависимости от твоей операционной системы и наличия видеокарты (NVIDIA или AMD), тебе может потребоваться установить PyTorch с CUDA поддержкой. RVC-Project использует PyTorch для глубокого обучения, и наличие CUDA значительно ускорит процесс тренировки моделей. Подробные инструкции по установке PyTorch можно найти на сайте https://pytorch.org/get-started/locally/.
-
Откройте командную строку или терминал. Активируйте ваш Python проект:
- Установите пакет
PyTorch
, который предоставляет поддержку CUDA для Python:
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
- При необходимости установите пакет
cupy
, который предоставляет поддержку CUDA для Python:
pip install cupy-cuda11x # Замените 11x на вашу версию CUDA (например, cupy-cuda112 для CUDA 11.2)
Шаг 6: Проверка установки для C++ и Python
C++
Создайте тестовый файл test_cuda.cu
с содержимым:
#include <iostream>
#include <cuda_runtime.h>
__global__ void helloCUDA() {
printf("Hello from CUDA!\n");
}
int main() {
helloCUDA<<<1, 1>>>();
cudaDeviceSynchronize();
return 0;
}
Скомпилируйте и выполните его:
nvcc -o test_cuda test_cuda.cu
test_cuda.exe
Python
Создайте тестовый скрипт test_cuda.py
:
import cupy as cp
a = cp.array([1, 2, 3, 4, 5])
print(a)
Запустите скрипт:
Если вы увидите массив, выводимый на экран, установка выполнена успешно.
Теперь вы настроили поддержку CUDA под Windows 10 для Python и C++.
Web: https://d00m4ace.com/
GitHub: https://github.com/d00m4ace/
YouTube: https://www.youtube.com/c/@d00m4ace
Telegram: https://t.me/d00m4ace_blog
Environment
Windows build number: 20175
Your Distribution version: 20.04
Whether the issue is on WSL 2 and/or WSL 1: WSL 2 [Linux version 4.19.121-microsoft-standard (oe-user@oe-host) (gcc version 8.2.0 (GCC)) #1 SMP]
Steps to reproduce
admi@DESKTOP-HTO6PH5:/mnt/c/Users/PC-ZHB$ sudo apt-key adv —fetch-keys http://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/7fa2af80.pub
Executing: /tmp/apt-key-gpghome.GrDft59DIf/gpg.1.sh --fetch-keys http://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/7fa2af80.pub
gpg: requesting key from 'http://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/7fa2af80.pub'
gpg: key F60F4B3D7FA2AF80: public key "cudatools <cudatools@nvidia.com>" imported
gpg: Total number processed: 1
gpg: imported: 1
admi@DESKTOP-HTO6PH5:/mnt/c/Users/PC-ZHB$ sudo sh -c ‘echo «deb http://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64 /» > /etc/apt/sources.list.d/cuda.list’
admi@DESKTOP-HTO6PH5:/mnt/c/Users/PC-ZHB$ sudo apt-get update
Hit:1 https://mirrors.tuna.tsinghua.edu.cn/ubuntu focal InRelease
Hit:2 https://mirrors.tuna.tsinghua.edu.cn/ubuntu focal-updates InRelease
Hit:3 https://mirrors.tuna.tsinghua.edu.cn/ubuntu focal-backports InRelease
Hit:4 https://download.docker.com/linux/ubuntu focal InRelease
Hit:5 https://mirrors.tuna.tsinghua.edu.cn/ubuntu focal-security InRelease
Hit:6 https://mirrors.tuna.tsinghua.edu.cn/ubuntu focal-proposed InRelease
Ign:7 https://developer.download.nvidia.cn/compute/cuda/repos/ubuntu2004/x86_64 InRelease
Get:8 https://developer.download.nvidia.cn/compute/cuda/repos/ubuntu2004/x86_64 Release [697 B]
Get:9 https://developer.download.nvidia.cn/compute/cuda/repos/ubuntu2004/x86_64 Release.gpg [836 B]
Ign:10 https://developer.download.nvidia.cn/compute/cuda/repos/ubuntu2004/x86_64 Packages
Ign:10 https://developer.download.nvidia.cn/compute/cuda/repos/ubuntu2004/x86_64 Packages
Ign:10 https://developer.download.nvidia.cn/compute/cuda/repos/ubuntu2004/x86_64 Packages
Err:10 https://developer.download.nvidia.cn/compute/cuda/repos/ubuntu2004/x86_64 Packages
404 Not Found [IP: 36.153.62.132 443]
Fetched 1533 B in 13s (118 B/s)
Reading package lists... Done
E: Failed to fetch https://developer.download.nvidia.cn/compute/cuda/repos/ubuntu2004/x86_64/by-hash/SHA256/4e75b4a2fd84a45853a14ea35e158e3e8528519b1644ee779b5137ee9ef16220 404 Not Found [IP: 36.153.62.132 443]
E: Some index files failed to download. They have been ignored, or old ones used instead.
Expected behavior
following the instruction from https://docs.nvidia.com/cuda/wsl-user-guide/index.html to install cuda 10.0, and with windows 10 insider build 20175, nvidia driver for wsl2 installed, wsl2 with core 4.19.121, it should be working.
Actual behavior
it failed to work due to 404 not found issue.
Solution 1:[1]
I had the same problem while I was trying to get TensorFlow to use my NVIDIA GTX1070 GPU for calculations. Here’s what allowed me to perform the CUDA Toolkit installation on my Windows 10 machine.
As the error message in the installer says — you already have a newer Frameview SDK installed. It was the case for me.
- Go to Settings/Uninstall or modify programs.
- Remove the NVIDIA Frameview program. It should be there with GeForce Experience, PhysX, etc.
Uninstalling only this NVIDIA program didn’t cause any driver problems for my machine and I was able to progress through the CUDA Toolkit installation.