- Скачайте установщик Anaconda.
- РЕКОМЕНДУЕТСЯ: проверить целостность данных с SHA-256.
- Кликните два раза по файлу с установочной программой.
Чтобы избежать ошибок доступа, не запускайте установку из папки «Избанное».
Если при установке появляются проблемы, попробуйте временно отключить антивирусное ПО, а затем снова включить его после установки. Если Anaconda была установлена для всех пользователей, нужно удалить ее и переустановить для одного пользователя.
- Нажмите «Далее» (Next)
- Прочитайте лицензионное соглашение и нажмите «Согласен» (I agree).
- Выберите «Только я» (Just Me), если вы не устанавливаете программу для всех пользователей (в Windows для этого нужны привилегии Администратора) и нажмите «Далее» (Next).
- Выберите папку установки Anaconda и нажмите «Далее» (Next). Смотрите FAQ
Устанавливайте Anaconda в папку, имя которой не содержит пробелов и символов unicode (например, кириллицу)
Не устанавливайте с правами Администратора, если такие не запрашивались
- Выберите, нужно ли добавлять Anaconda в переменную окружения PATH. Рекомендуется не делать этого, потому что это может повлиять на работу других программ. Вместо этого запускайте программу из Anaconda Navigator или Anaconda Prompt из меню «Пуск».
- Выберите, стоит ли регистрировать Anaconda как Python-решение по умолчанию. Если не планируется устанавливать и запускать несколько версий Anaconda или несколько версий Python, лучше оставить все по умолчанию с отмеченным флажком.
- Нажмите кнопку «Установить» (Install). Нажав на «Посмотреть детали» (Show Details), можно увидеть, какие пакеты Anaconda установит.
- Нажмите кнопку «Далее» (Next).
- По желанию: для установки PyCharm для Anaconda перейдите по ссылке https://www.anaconda.com/pycarm/
Для установки Anaconda без PyCharm просто нажмите кнопку «Далее» (Next) - После установки вы увидите диалоговое окно «Спасибо за установку Anaconda»:
- Если хочется почитать больше об Anaconda Cloud и о том, как начать работать с Anaconda, отметьте флажками пункты «Learn more about Anaconda Cloud» и «Learn how to get started with Anaconda». Нажмите кнопку «Завершить» (Finish).
Обучение с трудоустройством
Перевод
Ссылка на автора
Когда мы начнем работать над машинным обучением и углубленным изучением ИИ, нам, по сути, придется установить несколько пакетов. Это на самом деле иногда проблематично для большинства из нас. Чтобы сделать это проще, Anaconda приходит в качестве менеджера пакетов, который будет управлять установкой и развертыванием наших новых пакетов.
Сначала перейдите по следующей ссылке: https://www.anaconda.com/distribution/ и страница появится так.
Прокрутите страницу вниз и выберите окна.
Загрузите версию Python 3.7 (рекомендуется), поскольку версия Python 2 больше не будет поддерживаться сообществом в конце 2019 года. В зависимости от вашей компьютерной системы, выберите 32-разрядный или 64-разрядный установщик для загрузки файла .exe.
После загрузки файла запустите файл. Файл откроется, нажмитеследующий
И нажмитеЯ согласенк лицензии.
выберитеПросто яи нажмитеследующий
Выберите место установки, нажавОбзор илиоставьте все как есть (местоположение по умолчанию) и продолжайте нажиматьследующий,
Здесь настоятельно рекомендуется выбрать второйЗарегистрировать Anaconda в качестве моего Python по умолчанию 3.7И нажмитеустанавливать
После завершения установки откройтеАнаконда Подскажитеиз панели меню Пуск Windows.
Anaconda Prompt — это оболочка, похожая на Windows Command Prompt (Windows Terminal) на основе дистрибутива Anaconda. Чтобы проверить, успешно ли мы установили Anaconda, введитепитонКоманда в оболочке.
> python
и вывод будет выброшен с версией Python, и символ будет изменен на с>в>>>показывая это как интерпретатор Python.
Чтобы выйти из интерпретатора Python, введите команду выхода, как показано ниже.
>>> exit()
Что если мы хотим получить доступ к Anaconda из командной строки Windows? Следуйте этому, если вы хотите сделать это. Сначала из подсказки Anaconda введите эту команду, чтобы проверить местоположение Anaconda.
> where conda
НажмитеWindows Key + Rчтобы открыть окно Run. Типsysdm.cplв коробкеи нажмитеХОРОШО .
Свойства системыокно появится. Затем перейдите кпродвинутыйвкладку и нажмите наПеременные среды
ВПеременные средыокно, выберитеПутьи нажмитередактироватьредактировать путь.
ВнутриИзменить переменную средыокно, нажмитеновыйдобавить пути.
Добавьте эти три местоположения в это. Введите свое имя пользователя вместо* UserName *.Здесь я использую последнюю версию AnacondaAnaconda3и если вы склонны использовать более старые версии, также измените номера версий.
C:Users*UserName*Anaconda3ScriptsC:Users*UserName*Anaconda3C:Usersbestc*UserName*Librarybin
После того, как все вышеперечисленные действия будут выполнены, откройте командную строку Windows из поля «Выполнить», введяCMDи ударилХОРОШО.
В командной строке введите команду
> conda
и увидим несколько строк появилось. Это означает, что мы можем успешно выполнять команды Anaconda прямо из нашего любимого терминала Windows.
И последнее, но не менее важное, чтобы проверить версию conda. Введите эту команду ниже.
> conda — - version
Ссылки:
Установка Anaconda в Windows
Для решения проблем я рекомендую установить и использовать дистрибутив Anaconda Python. Этот раздел подробно описывает…
problemsolvingwithpython.com
Anaconda Python / R Distribution — Скачать бесплатно
Anaconda Distribution с открытым исходным кодом — это самый простой способ выполнить науку данных Python / R и машинное обучение на…
www.anaconda.com
Исправлено: «conda» не распознается как внутренняя или внешняя команда, работающая программа или командный файл…
Некоторые пользователи сталкиваются с тем, что «conda не распознается как внутренняя или внешняя команда, работающая программа или…
appuals.com
Windows: нажмите Пуск, выполните поиск или выберите в меню Anaconda Navigator. macOS: нажмите Launchpad, выберите Anaconda Navigator. Или используйте Cmd + Space, чтобы открыть поиск Spotlight, и введите «Navigator», чтобы открыть программу.
Почему не устанавливается Anaconda Navigator?
Сначала вам нужно проверить файл anaconda-navigator.exe в папке anaconda, если этот файл присутствует, это означает, что вы установили его правильно, в противном случае возникла проблема, и вам нужно переустановить его. Попробуйте перезагрузить систему! Вы сможете найти навигатор после перезапуска системы после установки.
Как настроить Anaconda Navigator?
В меню «Пуск» выберите настольное приложение Anaconda Navigator. Откройте Launchpad, затем щелкните значок Anaconda Navigator. Откройте окно терминала и введите anaconda-navigator.
…
Выберите инструкции для вашей операционной системы.
- Окон.
- MacOS.
- Linux.
Как установить Anaconda Python 3.7 в Windows 10?
Шаги:
- Посетите Anaconda.com/downloads.
- Выберите Windows.
- Загрузите установщик .exe.
- Откройте и запустите установщик .exe.
- Откройте подсказку Anaconda и запустите код Python.
Какая последняя версия анаконды?
20 ноября 2020 г. Мы рады объявить о выпуске Anaconda Individual Edition 2020.11! Вы найдете 119 обновлений пакетов и 7 новых пакетов, добавленных с момента последнего выпуска установщика в июле.
В чем разница между программированием на Python и Anaconda?
Основное различие между Anaconda и Python заключается в том, что Anaconda — это распространение языков программирования Python и R для задач науки о данных и машинного обучения, тогда как Python — это язык программирования общего назначения высокого уровня, тогда как.
Как установить пакеты в Anaconda Navigator?
Установка пакета
- Выберите фильтр «Не установлено», чтобы отобразить все пакеты, которые доступны в каналах среды, но не установлены. Примечание. …
- Выберите имя пакета, который вы хотите установить.
- Нажмите кнопку Применить.
- Просмотрите информацию об установочных пакетах.
Как запустить Anaconda после установки?
Сначала откройте приглашение Anaconda:
- Windows: откройте Anaconda Prompt из меню «Пуск». Закройте все остальные открытые программы Anaconda, включая Anaconda Navigator и Spyder.
- Mac: откройте терминал с панели запуска или из папки «Приложения» (загляните в папку «Утилиты»).
- Linux: откройте окно терминала.
Как переустановить Conda?
Установить conda
- Загрузите 64-битный установщик Python 3 Miniconda в свой домашний каталог.
- Запустите программу установки.
- Удалите установщик.
19 сред. 2020 г.
Могу ли я установить Anaconda на диск D?
Чтобы сделать Anaconda легкодоступным, поместите его в каталог (где у вас есть права на запись) как можно выше на диске. Например, в моей системе диск D: зарезервирован для приложений, поэтому я использую D: Anaconda3 в качестве каталога установки Anaconda.
Есть ли в Miniconda навигатор?
Навигатор устанавливается автоматически при установке Anaconda версии 4.0. … Если у вас установлена Miniconda или более старая версия Anaconda, вы можете установить Navigator из приглашения Anaconda, выполнив команду conda install anaconda-navigator. Чтобы запустить Navigator, см. Начало работы.
Устанавливает ли установка Anaconda Python?
Получение анаконды
Мы рекомендуем вам загрузить последнюю версию Anaconda, а затем создать среду Python 3.5 (или 3.6). Или загрузите последнюю версию Anaconda и выполните следующую команду для установки Python 3.5 (или 3.6) в корневую среду: conda install python = 3.5 или conda install python = 3.6.
Поддерживает ли Python 3.8 TensorFlow?
На данный момент Tensorflow не поддерживает Python 3.8. Последняя поддерживаемая версия Python — 3.7. … Прямо сейчас Python 3.7 поддерживается другими фреймворками, такими как TensorFlow.
Как запустить анаконду в Windows?
Установка в Windows
- Загрузите установщик Anaconda.
- РЕКОМЕНДУЕТСЯ: проверьте целостность данных с помощью SHA-256. …
- Дважды щелкните установщик, чтобы запустить его. …
- Нажмите «Далее.
- Прочтите условия лицензирования и нажмите «Я согласен».
- Выберите установку для «Just Me», если вы не устанавливаете для всех пользователей (для чего требуются права администратора Windows), и нажмите «Далее».
Как установить Python 3.7 в Windows 10?
- Шаг 1. Выберите версию Python для установки.
- Шаг 2: Загрузите установщик исполняемого файла Python.
- Шаг 3: Запустите исполняемый установщик.
- Шаг 4: Убедитесь, что Python был установлен в Windows.
- Шаг 5: Убедитесь, что Pip был установлен.
- Шаг 6. Добавьте путь Python к переменным среды (необязательно)
- Шаг 7. Установите virtualnv (необязательно)
2 апр. 2019 г.
Среды Conda помогает управлять зависимостями и изолировать проекты. Также среды conda не зависят от языка, т.е. они поддерживают языки, отличные от Python.
В этом руководстве мы рассмотрим основы создания и управления средами
Condaдля Python
Conda vs. Pip vs. Venv — в чем разница?
- pip — это менеджер пакетов для Python.
- venv — является менеджером среды для Python.
- conda — является одновременно менеджером пакетов и среды и не зависит от языка.
venv создает изолированные среды только для разработки на Python, а conda может создавать изолированные среды для любого поддерживаемого языка программирования.
Примите во внимание, что pip устанавливает только пакеты Python из PyPI, с помощью conda можно
- Установить пакеты (написанные на любом языке) из репозиториев, таких как Anaconda Repository и Anaconda Cloud.
- Установить пакеты из PyPI, используя pip в активной среде Conda.
Anaconda — это дистрибутивы Python и R. Он предоставляет все необходимое для решения задач по анализу и обработке данных (с применимостью к Python).
Anaconda — это набор бинарных систем, включающий в себя Scipy, Numpy, Pandas и их зависимости.
- Scipy — это пакет статистического анализа.
- Numpy — это пакет числовых вычислений.
- Pandas — уровень абстракции данных для объединения и преобразования данных.
Что такое Анаконда Навигатор?
Anaconda Navigator — это графический интерфейс пользователя на рабочем столе (GUI), включенный в дистрибутив Anaconda, который позволяет запускать приложения и легко управлять пакетами, средами и каналами conda без использования команд командной строки. Навигатор может искать пакеты в Anaconda Cloud или в локальном репозитории Anaconda. Он доступен для Windows, MacOS и Linux.
- JupyterLab — это интерактивная среда разработки для работы с блокнотами, кодом и данными.
- Jupyter Notebok — удобный инструмент для создания красивых аналитических отчетов, позволяет хранить вместе код, изображения, комментарии, формулы и графики. Работа ведется в браузере.
- Spyder — интерактивной IDE для научных расчетов на языке Python. Данная IDE позволяет писать, редактировать и тестировать код. Spyder предлагает просмотр и редактирование переменных с помощью GUI, динамическую интроспекцию кода, нахождение ошибок на лету и многое другое. Также, по необходимости, можно интегрировать Anaconda с другими Python IDE, включая PyCharm и Atom.
- VS Code — это оптимизированный редактор кода с поддержкой таких операций разработки, как отладка, запуск задач и контроль версий.
- Glueviz — используется для визуализации многомерных данных в файлах. Он исследует отношения внутри и между связанными наборами данных.
- Orange 3 — это основанная на компонентах структура интеллектуального анализа данных. Это может быть использовано для визуализации данных и анализа данных. Рабочие процессы в Orange 3 очень интерактивны и предоставляют большой набор инструментов.
- RStudio — это набор интегрированных инструментов, предназначенных для повышения продуктивности работы с R. Он включает в себя основы R и Notebooks.
Зачем использовать Навигатор?
Для запуска многие научные пакеты зависят от конкретных версий других пакетов. Исследователи данных часто используют несколько версий множества пакетов и используют несколько сред для разделения этих разных версий.
Программа командной строки conda является одновременно менеджером пакетов и менеджером среды. Это помогает специалистам по данным гарантировать, что каждая версия каждого пакета имеет все необходимые зависимости и работает правильно.
Navigator — это простой и удобный способ работы с пакетами и средами без необходимости вводить команды conda в окне терминала. Вы можете использовать его, чтобы найти нужные вам пакеты, установить их в среде, запустить пакеты и обновить их — все в Navigator.
Почему Вам могут потребоваться несколько сред Python?
Когда Вы начинаете изучать Python, Вы устанавливаете самую новую версию Python с последними версиями библиотек (пакетов), которые Вам нужны или с которыми Вы хотите поэкспериментировать.
Когда Вы постигните азы Python и загрузите приложения Python из GitHub, Kaggle или других источников. Этим приложениям могут потребоваться другие версии библиотек (пакетов) Python, чем те, которые Вы в настоящее время используете (прошлые версии пакетов или прошлые версии Python).
В этом случае Вам необходимо настроить различные среды.
Помимо этой ситуации, есть и другие варианты использования, когда могут оказаться полезными дополнительные среды:
- У вас есть приложение (разработанное Вами или кем-то еще), которое когда-то работало прекрасно. Но теперь Вы пытались запустить его, и оно не работает. Возможно, один из пакетов больше не совместим с другими частями вашей программы (из-за так называемых критических изменений). Возможное решение состоит в том, чтобы настроить новую среду для вашего приложения, которая содержит версию Python и пакеты, полностью совместимые с вашим приложением.
- Вы сотрудничаете с кем-то еще и хотите убедиться, что ваше приложение работает на компьютере члена вашей команды, или наоборот.
- Вы доставляете приложение своему клиенту и снова хотите убедиться, что оно работает на компьютере вашего клиента.
- Среда состоит из определенной версии Python и некоторых пакетов. Следовательно, если Вы хотите разрабатывать или использовать приложения с разными требованиями к Python или версиями пакетов, Вам необходимо настроить разные среды.
Каналы — это места хранилищ, где Conda ищет пакеты. Каналы существуют в иерархическом порядке. Канал с наивысшим приоритетом является первым, который проверяет Conda в поисках пакета, который вы просили. Вы можете изменить этот порядок, а также добавить к нему каналы (и установить их приоритет).
Рекомендуется добавлять канал в список каналов как элемент с самым низким приоритетом. Таким образом, вы можете включить «специальные» пакеты, которые не являются частью тех, которые установлены по умолчанию (каналы ~ Continuum). В результате вы получите все пакеты по умолчанию — без риска перезаписи их по каналу с более низким приоритетом — И тот «специальный», который вам нужен.
Создание новой среды в Anaconda Navigator
Для создания новой среды, нажимаем пункт Environments, а затем Create:
Далее указываем наименование среды и выбираем версию Python:
Добавление нового канала в Anaconda Навигаторе
Как начать работу в новой среде Conda?
Итак, Вы создали среду, указали дополнительные каналы, установили необходимые пакеты (библиотеки). Теперь необходимо в Анаконда Навигаторе перейти на вкладку Home и инсталлировать в определенную среду те компоненты, которые Вы хотите использовать.
Например, последовательно установим 2 компонента Jupyter Notepad и Spyder. Для компонентов также имеются каналы, откуда скачиваются для инсталляции ПО.
После инсталляции станут доступны кнопки Launch — Запустить компонент для работы в среде.
Запустим для примера Spyder:
Настройка среды для Spyder
1. Настройка интерпретатора
Настройка директории
Как открыть Jupyter Notebook в новой среде MyNewEnvironmentName
Для того, чтобы запустить Jupyter Notebook в созданной среде MyNewEnvironmentName, в пуске находим Anaconda3 и запускаем блокнот с названием среды:
Появится консольное окошко — это движок Jupyter Notebook, который работает в фоновом режиме:
В Jupyter запускаем Python 3:
Для того, чтобы убедиться в какой среде мы работаем, можно вбить ряд команд (ниже приведен текст этих команд для Python 3):
Узнать среду, в которой работает Jupyter Notebook:
import sys print(sys.version) print(sys.base_prefix)
Получить список модулей, доступных в Env:
print('n'.join(sys.modules.keys()))
Anaconda3 Prompt cmd Conda Command — Запуск команд через консоль
Для того, чтобы использовать команды conda через командную строку (cmd), необходимо запустить программу Anaconda Prompt (Anaconda3)
Можете набрать две команды (в качестве проверки работы conda):
Установка новой библиотеки (пакета) в среду
Пакеты управляются отдельно для каждой среды. Изменения, которые вы вносите в пакеты, применяются только к активной среде.
Исполняемые файлы в среде Conda
- python.exe — исполняемый файл Python для приложений командной строки. Так, например, если вы находитесь в каталоге
Example App, вы можете выполнить его:python.exe exampleapp.py - pythonw.exe — исполняемый файл Python для приложений с графическим интерфейсом или приложений без интерфейса пользователя
- venvlauncher.exe —
- venvwlauncher.exe —
Scripts— исполняемые файлы, являющиеся частью установленных пакетов. После активации среды этот каталог добавляется в системный путь, поэтому исполняемые файлы становятся доступными без их полного пути.Scriptsactivate.exe- активирует окружающую среду
Видео по Anaconda Youtube
Использование Anaconda с Doker
Anaconda со своей изолированной средой для пакетов Data Science Python и технологией контейнеров Docker создает отличную комбинацию для масштабируемых, воспроизводимых и переносимых развертываний данных.
Вы можете использовать Anaconda с Docker для создания контейнеров и обмена вашими приложениями для обработки данных внутри вашей команды. Совместные рабочие процессы по обработке данных с Anaconda и Docker максимально упрощают переход от разработки к развертыванию.
Jupyter Notebook: цифровая лабораторная тетрадь
Для обеспечения воспроизводимости исследований необходимо регистрировать все, что вы делаете. Это достаточно обременительно, особенно если вы просто хотите просто поэкспериментировать и выполнить специальный анализ.
Отличный инструмент для экспериментов — Jupyter Notebook. Интерактивный интерфейс программирования позволяет мгновенно проверять действия, выполняемые кодом, благодаря чему можно создавать алгоритмы шаг за шагом. Более того, вы можете использовать ячейки Markdown для записи своих идей и выводов одновременно с кодом.
Conda
Управление пакетами, зависимостями и средой для любого языка — Python, R, Ruby, Lua, Scala, Java, JavaScript, C / C ++, FORTRAN и других.
Conda — это система управления пакетами с открытым исходным кодом и система управления средой, работающая в Windows, macOS и Linux. Conda быстро устанавливает, запускает и обновляет пакеты и их зависимости. Conda легко создает, сохраняет, загружает и переключается между средами на вашем локальном компьютере. Он был создан для программ Python, но он может упаковывать и распространять программное обеспечение для любого языка.
Conda как менеджер пакетов поможет вам найти и установить пакеты. Если вам нужен пакет, для которого требуется другая версия Python, вам не нужно переключаться на другой менеджер среды, потому что conda также является менеджером среды. С помощью всего лишь нескольких команд вы можете настроить совершенно отдельную среду для запуска этой другой версии Python, продолжая при этом запускать вашу обычную версию Python в обычной среде.
В конфигурации по умолчанию conda может устанавливать и управлять тысячами пакетов на repo.anaconda.com, которые создаются, проверяются и поддерживаются Anaconda.
Conda может быть объединена с системами непрерывной интеграции, такими как Travis CI и AppVeyor, чтобы обеспечить частое автоматическое тестирование вашего кода.
Пакет conda и менеджер среды включены во все версии Anaconda и Miniconda.
Conda также включена в Anaconda Enterprise , которая обеспечивает управление корпоративными пакетами и средами для Python, R, Node.js, Java и других стеков приложений. Conda также доступна на conda-forge , канале сообщества. Вы также можете получить conda на PyPI , но этот подход может быть не таким современным.
Команды Conda
- conda search package_name — поиск пакета через conda
- conda install package_name — установка пакета через conda
- conda install — установка всего стандартного набора пакетов — более 150, около 3 Гб
- conda list — список установленных пакетов
- conda update conda — обновление conda
- conda clean -t — удаление кеша — архивов .tar.bz2, которые могут занимать много места и не нужны
Управление Conda и Anaconda
Убедитесь, что conda установлена, проверьте версию #
conda info
Обновление пакета conda и менеджера среды
conda update conda
Обновите метапакет анаконды (anaconda)
conda update anaconda
Управление средами — Managing Environments
Получить список всех моих окружений. Активная среда показана с *
conda info --envs
conda info -e
Создать среду и установить программу (ы)
conda create --name snowflakes biopython
conda create -n snowflakes biopython
Активируйте новую среду, чтобы использовать ее
conda activate snowflakes
Дезактивировать окружающую среду
conda deactivate
Создайте новую среду, укажите версию Python
conda create -n bunnies python=3.4 astroid
Сделать точную копию окружения
conda create -n flowers --clone snowflakes
Удалить среду
conda remove -n flowers --all
Сохранить текущую среду в файл
conda env export > puppies.yml
Загрузить среду из файла
conda env create -f puppies.yml
Управление Python
Проверьте версии Python, доступные для установки
conda search --full-name python
conda search -f python
Установите другую версию Python в новой среде
conda create -n snakes python=3.4
Управление конфигурацией .condarc
Получить все ключи и значения из моего файла .condarc
conda config --get
Получить значение ключевых каналов из файла .condarc
conda config --get channels
Добавьте новое значение в каналы, чтобы conda искала пакеты в этом месте
conda config --add channels pandas
Управление пакетами (Packages), включая Python
Просмотр списка пакетов и версий, установленных в активной среде
conda list
Найдите пакет, чтобы узнать, доступен ли он для установки conda.
conda search beautiful-soup
Установите новый пакет. ПРИМЕЧАНИЕ. Если вы не укажете имя среды, оно будет установлено в текущей активной среде.
conda install -n bunnies beautiful-soup
Обновить пакет в текущей среде
conda update beautiful-soup
Поиск пакета в определенном месте (канал pandas на Anaconda.org)
conda search --override-channels -c pandas bottleneck
Установить пакет из определенного канала
conda install -c pandas bottleneck
Найдите пакет, чтобы узнать, доступен ли он в репозитории Anaconda.
conda search --override-channels -c defaults beautiful-soup
Установить коммерческие пакеты Continuum
conda install iopro accelerate
Создайте пакет Conda из пакета Python Index Index (PyPi)
conda skeleton pypi pyinstrument
conda build pyinstrument
Удаление Пакетов (Packages) или Сред (Environments)
Удалить один пакет из любой именованной среды
conda remove --name bunnies beautiful-soup
Удалить один пакет из активной среды
conda remove beautiful-soup
Удалить несколько пакетов из любой среды
conda remove --name bunnies beautiful-soup astroid
Удалить среду
conda remove --name snakes --all
Источники, использованные при создании статьи
- https://protostar.space/why-you-need-python-environments-and-how-to-manage-them-with-conda
- https://kapeli.com/cheat_sheets/Conda.docset/Contents/Resources/Documents/index
4.8
16
голоса
Рейтинг статьи
Начиная с этой статьи будет запущен цикл публикаций, посвященный языку Python, с позиции его изучения. Каждая статья будет представлена в виде урока на определенную тему. Не будем отходить от канонов и первую статью посвятим установке языка Python.
В этой статье рассмотрим следующие темы:
- Версии Python (2 и 3)
- Установка Python
- Установка Anaconda
- Установка IDE PyCharm
- Проверка работоспособности
На сегодняшний день существуют две версии Python – это Python 2 и Python 3, у них отсутствует полная совместимость друг с другом. На момент написания статьи вторая версия Python ещё широко используется, но, судя по изменениям, которые происходят, со временем, он останется только для того, чтобы запускать старый код. В нашей с вами работе, мы будем использовать Python 3, и, в дальнейшем, если где-то будет встречаться слово Python, то под ним следует понимать Python 3. Случаи применения Python 2 будут специально оговариваться.
2. Установка Python
Для установки интерпретатора Python на ваш компьютер, первое, что нужно сделать – это скачать дистрибутив. Загрузить его можно с официального сайта, перейдя по ссылке https://www.python.org/downloads/
2.1 Установка Python в Windows
Для операционной системы Windows дистрибутив распространяется либо в виде исполняемого файла (с расширением exe), либо в виде архивного файла (с расширением zip). Если вы используете Windows 7, не забудьте установить Service Pack 1!
Порядок установки.
1. Запустите скачанный установочный файл.
2. Выберет способ установки.
В данном окне предлагается два варианта Install Now и Customize installation. При выборе Install Now, Python установится в папку по указанному пути. Помимо самого интерпретатора будет установлен IDLE (интегрированная среда разработки), pip (пакетный менеджер) и документация, а также будут созданы соответствующие ярлыки и установлены связи файлов, имеющие расширение .py с интерпретатором Python. Customize installation – это вариант настраиваемой установки. Опция Add python 3.5 to PATH нужна для того, чтобы появилась возможность запускать интерпретатор без указания полного пути до исполняемого файла при работе в командной строке.
3. Отметьте необходимые опций установки (доступно при выборе Customize installation)
На этом шаге нам предлагается отметить дополнения, устанавливаемые вместе с интерпретатором Python. Рекомендуем выбрать все опции.
- Documentation – установка документаций.
- pip – установка пакетного менеджера pip.
- tcl/tk and IDLE – установка интегрированной среды разработки (IDLE) и библиотеки для построения графического интерфейса (tkinter).
4. Выберете место установки (доступно при выборе Customize installation)
Помимо указания пути, данное окно позволяет внести дополнительные изменения в процесс установки с помощью опций:
- Install for all users – Установить для всех пользователей. Если не выбрать данную опцию, то будет предложен вариант инсталляции в папку пользователя, устанавливающего интерпретатор.
- Associate files with Python – Связать файлы, имеющие расширение .py, с Python. При выборе данной опции будут внесены изменения в Windows, позволяющие запускать Python скрипты по двойному щелчку мыши.
- Create shortcuts for installed applications – Создать ярлыки для запуска приложений.
- Add Python to environment variables – Добавить пути до интерпретатора Python в переменную PATH.
- Precomple standard library – Провести прекомпиляцию стандартной библиотеки.
Последние два пункта связаны с загрузкой компонентов для отладки, их мы устанавливать не будем.
5. После успешной установки вас ждет следующее сообщение.
2.2 Установка Python в Linux
Чаще всего интерпретатор Python уже в входит в состав дистрибутива. Это можно проверить набрав в терминале
> python
или
> python3
В первом случае, вы запустите Python 2 во втором – Python 3. В будущем, скорее всего, во всех дистрибутивах Linux, включающих Python, будет входить только третья версия. Если у вас, при попытке запустить Python, выдается сообщение о том, что он не установлен, или установлен, но не тот, что вы хотите, то у вас есть два пути: а) собрать Python из исходников; б) взять из репозитория.
Для установки из репозитория в Ubuntu воспользуйтесь командой
> sudo apt-get install python3
Сборку из исходников в данной статье рассматривать не будем.
3. Установка Anaconda
Для удобства запуска примеров и изучения языка Python, советуем установить на свой ПК пакет Anaconda. Этот пакет включает в себя интерпретатор языка Python (есть версии 2 и 3), набор наиболее часто используемых библиотек и удобную среду разработки и исполнения, запускаемую в браузере.
Для установки этого пакета, предварительно нужно скачать дистрибутив https://www.continuum.io/downloads.
Есть варианты под Windows, Linux и MacOS.
3.1 Установка Anaconda в Windows
1. Запустите скачанный инсталлятор. В первом появившемся окне необходимо нажать “Next”.
2. Далее следует принять лицензионное соглашение.
3. Выберете одну из опций установки:
- Just Me – только для пользователя, запустившего установку;
- All Users – для всех пользователей.
4. Укажите путь, по которому будет установлена Anaconda.
5. Укажите дополнительные опции:
- Add Anaconda to the system PATH environment variable – добавить Anaconda в системную переменную PATH
- Register Anaconda as the system Python 3.5 – использовать Anaconda, как интерпретатор Python 3.5 по умолчанию.
Для начала установки нажмите на кнопку “Install”.
5. После этого будет произведена установка Anaconda на ваш компьютер.
3.2 Установка Anaconda в Linux
- Скачайте дистрибутив Anaconda для Linux, он будет иметь расширение .sh, и запустите установку командой:
> bash имя_дистрибутива.sh
В результате вы увидите приглашение к установке. Для продолжения процессе нажмите “Enter”.
2. Прочитайте лицензионное соглашение, его нужно пролистать до конца.
Согласитесь с ним, для этого требуется набрать в командной строке “yes”, в ответе на вопрос инсталлятора:
Do you approve the license terms? [yes|no]
3. Выберете место установки. Можно выбрать один из следующих вариантов:
- Press ENTER to confirm the location – нажмите ENTER для принятия предложенного пути установки. Путь по умолчанию для моей машины: /home/tester/anaconda3, он представлен чуть выше данного меню.
- Press CTRL-C to abort the installation – нажмите CTRL-C для отмены установки.
- Or specify a different location below – или укажите другой путь в строке ниже.
Нажмите ENTER.
4. После этого начнется установка.
4. Установка PyCharm
Если в процессе разработки вам необходим отладчик и вообще вы привыкли работать в IDE, а не в текстовом редакторе, то тогда одним из лучших вариантов будет IDE PyCharm от JetBrains. Для скачивания данного продукта нужно перейти по ссылке https://www.jetbrains.com/pycharm/download/
IDE доступна для Windows, Linux и MacOS. Существуют два вида лицензии PyCharm – это Professional и Community. Мы будем использовать версию Community, так как она бесплатна и её функционала более чем достаточно для наших задач.
4.1 Установка PyCharm в Windows
1. Запустите скачанный дистрибутив PyCharm.
2. Выберете путь установки программы.
3. Укажите ярлыки, которые нужно создать на рабочем столе (запуск 32-х и 64-х разрядной версии PyCharm) и отметить опцию из блока Create associations если требуется связать файлы с расширением .py с PyCharm.
4. Выберете имя для папки в меню Пуск.
5. Далее PyCharm будет установлен на ваш компьютер.
4.2 Установка PyCharm в Linux
1. Скачайте с сайта дистрибутив на компьютер.
2. Распакуйте архивный файл, для этого можно воспользоваться командой:
> tar xvf имя_архива.tar.gz
Перейдите в каталог, который был создан после распаковки дистрибутива, найдите в нем подкаталог bin и зайдите в него. Запустите pycharm.sh командой:
> ./pycharm.sh
В результате должен запуститься PyCharm.
5. Проверка работоспособности
Теперь проверим работоспособность всего того, что мы установили.
5.1 Проверка интерпретатора Python
Для начала протестируем интерпретатор в командном режиме. Если вы работаете в Windows, то нажмите сочетание Win+R и в появившемся окне введите python. В Linux откройте окно терминала и в нем введите python3 (или python).
В результате Python запустится в командном режиме, выглядеть это будет примерно так (картинка приведена для Windows, в Linux результат будет аналогичным):
В окне введите:
print("Hello, World!")
Результат должен быть следующий:
5.2 Проверка Anaconda
Здесь и далее будем считать, что пакет Anaconda установлен в Windows, в папку C:Anaconda3, в Linux, вы его можно найти в каталоге, который выбрали при установке.
Перейдите в папку Scripts и введите в командной строке:
ipython notebook
Если вы находитесь в Windows и открыли папку C:Anaconda3Scripts через проводник, то для запуска интерпретатора командной строки для этой папки в поле адреса введите cmd.
В результате запустится веб-сервер и среда разработки в браузере.
Создайте ноутбук для разработки, для этого нажмите на кнопку New (в правом углу окна) и в появившемся списке выберете Python.
В результате будет создана новая страница в браузере с ноутбуком. Введите в первой ячейке команду
print("Hello, World!")
и нажмите Alt+Enter на клавиатуре. Ниже ячейки должна появиться соответствующая надпись.
5.3 Проверка PyCharm
Запустите PyCharm и выберете Create New Project в появившемся окне.
Укажите путь до проекта Python и интерпретатор, который будет использоваться для запуска и отладки.
Добавьте Python файл в проект.
Введите код программы.
Запустите программу.
В результате должно открыться окно с выводом программы.
На этом первый урок закончен.
P.S.
Если вам интересна тема анализа данных, то мы рекомендуем ознакомиться с библиотекой Pandas. На нашем сайте вы можете найти вводные уроки по этой теме. Все уроки по библиотеке Pandas собраны в книге “Pandas. Работа с данными”.
Спасибо за внимание!
Python. Урок 2. Запуск программ на Python >>>
Машинное обучение − это просто. Но знаете ли вы, что можно использовать Python для машинного обучения? Вот инструкция по настройке для Windows.
Люди привыкли выполнять большую часть работы автономно. В этой статье рассказываем о возможностях языка Python для машинного обучения на Windows, описание дистрибутива Anaconda, процесс его установки и создание нейронной сети.
Anaconda и Conda
Используемый в Python pip не идеален. Для оптимизации работы был выпущен дистрибутив Anaconda и система управления Conda, которые могут помочь в настройке Python для машинного обучения.
Хотя Conda тесно связана с Anaconda, эти проекты отличаются своими функциями. Anaconda − дистрибутив ПО в экосистеме PyData, которая включает сам язык программирования Python, а также двоичные файлы для нескольких сторонних проектов. Существует и Miniconda − версия с минимальным исходным пакетом. Conda − система управления пакетами, которая может быть установлена без Anaconda или Miniconda. Она способна решать проблемы внешних зависимостей, путем загрузки скомпилированных версий ПО. Кроме того, Conda является менеджером среды. С ее помощью вы можете настроить отдельную среду. Сейчас мы рассмотрим процесс установки Miniconda.
Установка дистрибутива Miniconda
Скачайте и установите необходимую версию Miniconda на ПК. При установке продвинутых настроек снимите галочку с первого пункта.
Поскольку при установке не был выбран пункт «Add Anaconda to my PATH environment variable», то команды Anaconda не будут работать в командной строке по умолчанию. Для их использования следует запустить дистрибутив отдельно. Когда он откроется, проверьте доступность Conda, запустив conda —version:
(base) C:UsersIEUser>conda --version conda 4.5.11
Чтобы получить больше информации об установке, запустите conda info:
(base) C:UsersIEUser>conda info
active environment : base
active env location : C:UsersIEUserMiniconda3
shell level : 1
user config file : C:UsersIEUser.condarc
populated config files : C:UsersIEUser.condarc
conda version : 4.5.11
conda-build version : not installed
python version : 3.7.0.final.0
base environment : C:UsersIEUserMiniconda3 (writable)
channel URLs : https://repo.anaconda.com/pkgs/main/win-64
https://repo.anaconda.com/pkgs/main/noarch
https://repo.anaconda.com/pkgs/free/win-64
https://repo.anaconda.com/pkgs/free/noarch
https://repo.anaconda.com/pkgs/r/win-64
https://repo.anaconda.com/pkgs/r/noarch
https://repo.anaconda.com/pkgs/pro/win-64
https://repo.anaconda.com/pkgs/pro/noarch
https://repo.anaconda.com/pkgs/msys2/win-64
https://repo.anaconda.com/pkgs/msys2/noarch
package cache : C:UsersIEUserMiniconda3pkgs
C:UsersIEUserAppDataLocalcondacondapkgs
envs directories : C:UsersIEUserMiniconda3envs
C:UsersIEUserAppDataLocalcondacondaenvs
C:UsersIEUser.condaenvs
platform : win-64
user-agent : conda/4.5.11 requests/2.19.1 CPython/3.7.0 Windows/10 Windows/10.0.17134
administrator : False
netrc file : None
offline mode : False
Понимание среды Conda
При работе с чужими проектами у вас может возникнуть потребность в установке определенных версий пакетов. Виртуальные среды − решение проблемы. Они позволяют создать несколько сред, каждая из которых имеет разные версии пакетов. Базовая настройка Python для машинного обучения включает в себя Virtualenv, инструмент для создания изолированных сред.
Conda включает собственный менеджер среды и дает некоторые преимущества относительно Virtualenv. Кроме того, среды Conda полностью совместимы с базовыми пакетами языка Python, которые могут быть установлены с помощью pip.
Используя Anaconda, можно проверить доступные среды Conda, запустив сonda env list:
(base) C:UsersIEUser>conda env list base * C:UsersIEUserMiniconda3
Базовая среда − корневая среда, созданная Miniconda. Можно создать еще одну, под названием otherenv, путем запуска conda create —name otherenv:
(base) C:UsersIEUser>conda create --name otherenv Solving environment: done environment location: C:UsersIEUserMiniconda3envsotherenv Proceed ([y]/n)? y Preparing transaction: done Verifying transaction: done Executing transaction: done
После завершения процесса создания среды, можно ее активировать, запустив conda activate otherenv. Заметить изменения среды можно, посмотрев на скобки в начале строки:
(base) C:UsersIEUser>conda activate otherenv (otherenv) C:UsersIEUser>
Откройте Python interpreter в этой среде, запустив python:
(otherenv) C:UsersIEUser>python Python 3.7.0 (default, Jun 28 2018, 08:04:48) [MSC v.1912 64 bit (AMD64)] :: Anaconda, Inc. on win32 Type "help", "copyright", "credits" or "license" for more information. >>>
Среда включает в себя Python 3.7.0, ту же версию, что включена в корневую среду. Чтобы выйти, запустите quit():
>>> quit() (otherenv) C:UsersIEUser>
Чтобы отключить среду otherenv и вернуться в корневую среду, пропишите deactivate:
(otherenv) C:UsersIEUser>deactivate (base) C:UsersIEUser>
Conda позволяет легко создавать среды с различными версиями Python. Чтобы включить другую версию в среду, укажите ее, используя python =<version> при запуске conda create. Чтобы создать среду с именем py2 с Python 2.7, запустите conda create —name py2 python=2.7:
(base) C:UsersIEUser>conda create --name py2 python=2.7
Solving environment: done
environment location: C:UsersIEUserMiniconda3envspy2
added / updated specs:
- python=2.7
The following NEW packages will be INSTALLED:
certifi: 2018.8.24-py27_1
pip: 10.0.1-py27_0
python: 2.7.15-he216670_0
setuptools: 40.2.0-py27_0
vc: 9-h7299396_1
vs2008_runtime: 9.00.30729.1-hfaea7d5_1
wheel: 0.31.1-py27_0
wincertstore: 0.2-py27hf04cefb_0
Proceed ([y]/n)? y
Preparing transaction: done
Verifying transaction: done
Executing transaction: done
(base) C:UsersIEUser>
Как видно из вывода conda create, были установлены новые пакеты, так как среда использует Python 2.7. Можно проверить, что среда действительно использует его, активировав Python interpreter:
(base) C:UsersIEUser>conda activate py2 (py2) C:UsersIEUser>python Python 2.7.15 |Anaconda, Inc.| (default, May 1 2018, 18:37:09) [MSC v.1500 64 bit (AMD64)] on win32 Type "help", "copyright", "credits" or "license" for more information. >>>
Теперь, если вы запустите conda env list, можно увидеть две среды, которые были созданы вами:
(py2) C:UsersIEUser>conda env list base C:UsersIEUserMiniconda3 otherenv C:UsersIEUserMiniconda3envsotherenv py2 * C:UsersIEUserMiniconda3envspy2 (py2) C:UsersIEUser>
Asterisk указывает на активную среду. Ее можно удалить, выполнив команду conda remove —name <environment name> —all:
(py2) C:UsersIEUser>deactivate
(base) C:UsersIEUser>conda remove --name py2 --all
Remove all packages in environment C:UsersIEUserMiniconda3envspy2:
environment location: C:UsersIEUserMiniconda3envspy2
The following packages will be REMOVED:
certifi: 2018.8.24-py27_1
pip: 10.0.1-py27_0
python: 2.7.15-he216670_0
setuptools: 40.2.0-py27_0
vc: 9-h7299396_1
vs2008_runtime: 9.00.30729.1-hfaea7d5_1
wheel: 0.31.1-py27_0
wincertstore: 0.2-py27hf04cefb_0
Proceed ([y]/n)? y
(base) C:UsersIEUser>
Управление базовыми пакетами с помощью Conda
Пакеты ПО могут быть установлены с помощью Conda. Корневая база Miniconda включает в себя базовые пакеты, которые не являются частью стандартной библиотеки Python для настройки машинного обучения.
Установка по умолчанию включает минимум пакетов Conda. Чтобы проверить список установленных пакетов, нужно убедиться, что она активна, и запустить conda list. В корневой среде устанавливаются эти пакеты:
(base) C:UsersIEUser>conda list asn1crypto 0.24.0 py37_0 ca-certificates 2018.03.07 0 certifi 2018.8.24 py37_1 cffi 1.11.5 py37h74b6da3_1 chardet 3.0.4 py37_1 conda 4.5.11 py37_0 conda-env 2.6.0 1 console_shortcut 0.1.1 3 cryptography 2.3.1 py37h74b6da3_0 idna 2.7 py37_0 menuinst 1.4.14 py37hfa6e2cd_0 openssl 1.0.2p hfa6e2cd_0 pip 10.0.1 py37_0 pycosat 0.6.3 py37hfa6e2cd_0 pycparser 2.18 py37_1 pyopenssl 18.0.0 py37_0 pysocks 1.6.8 py37_0 python 3.7.0 hea74fb7_0 pywin32 223 py37hfa6e2cd_1 requests 2.19.1 py37_0 ruamel_yaml 0.15.46 py37hfa6e2cd_0 setuptools 40.2.0 py37_0 six 1.11.0 py37_1 urllib3 1.23 py37_0 vc 14 h0510ff6_3 vs2015_runtime 14.0.25123 3 wheel 0.31.1 py37_0 win_inet_pton 1.0.1 py37_1 wincertstore 0.2 py37_0 yaml 0.1.7 hc54c509_2 (base) C:UsersIEUser>
Поиск и установка пакетов
Пакеты устанавливаются из репозиториев, называемых channels by Conda. Чтобы выполнить поиск определенного пакета, запустите поиск <package name>. Вот так вы будете искать keras:
(base) C:UsersIEUser>conda search keras Loading channels: done keras 2.0.8 py35h15001cb_0 pkgs/main keras 2.0.8 py36h65e7a35_0 pkgs/main keras 2.1.2 py35_0 pkgs/main keras 2.1.2 py36_0 pkgs/main keras 2.1.3 py35_0 pkgs/main keras 2.1.3 py36_0 pkgs/main ... (more)
Для каждой версии существуют разные версии пакетов и сборки. Предыдущий поиск показывает только пакеты с именем keras. Чтобы выполнить более широкий поиск, используйте *. Например, при запуске conda search *keras*, вы получите следующее:
(base) C:UsersIEUser>conda search *keras* Loading channels: done keras 2.0.8 py35h15001cb_0 pkgs/main keras 2.0.8 py36h65e7a35_0 pkgs/main keras 2.1.2 py35_0 pkgs/main keras 2.1.2 py36_0 pkgs/main keras 2.1.3 py35_0 pkgs/main keras 2.1.3 py36_0 pkgs/main ... (more) keras-applications 1.0.2 py35_0 pkgs/main keras-applications 1.0.2 py36_0 pkgs/main keras-applications 1.0.4 py35_0 pkgs/main ... (more) keras-base 2.2.0 py35_0 pkgs/main keras-base 2.2.0 py36_0 pkgs/main ... (more)
Вы можете заметить, что в каналах по умолчанию есть и другие пакеты, связанные с keras.
Чтобы установить пакет, запустите conda install <package name>. По умолчанию самая новая версия пакета будет установлена в активной среде. Установите пакет keras в среду otherenv, созданную вами:
(base) C:UsersIEUser>conda activate otherenv
(otherenv) C:UsersIEUser>conda install keras
Solving environment: done
environment location: C:UsersIEUserMiniconda3envsotherenv
added / updated specs:
- keras
The following NEW packages will be INSTALLED:
_tflow_1100_select: 0.0.3-mkl
absl-py: 0.4.1-py36_0
astor: 0.7.1-py36_0
blas: 1.0-mkl
certifi: 2018.8.24-py36_1
gast: 0.2.0-py36_0
grpcio: 1.12.1-py36h1a1b453_0
h5py: 2.8.0-py36h3bdd7fb_2
hdf5: 1.10.2-hac2f561_1
icc_rt: 2017.0.4-h97af966_0
intel-openmp: 2018.0.3-0
keras: 2.2.2-0
keras-applications: 1.0.4-py36_1
keras-base: 2.2.2-py36_0
keras-preprocessing: 1.0.2-py36_1
libmklml: 2018.0.3-1
libprotobuf: 3.6.0-h1a1b453_0
markdown: 2.6.11-py36_0
mkl: 2019.0-117
mkl_fft: 1.0.4-py36h1e22a9b_1
mkl_random: 1.0.1-py36h77b88f5_1
numpy: 1.15.1-py36ha559c80_0
numpy-base: 1.15.1-py36h8128ebf_0
pip: 10.0.1-py36_0
protobuf: 3.6.0-py36he025d50_0
python: 3.6.6-hea74fb7_0
pyyaml: 3.13-py36hfa6e2cd_0
scipy: 1.1.0-py36h4f6bf74_1
setuptools: 40.2.0-py36_0
six: 1.11.0-py36_1
tensorboard: 1.10.0-py36he025d50_0
tensorflow: 1.10.0-mkl_py36hb361250_0
tensorflow-base: 1.10.0-mkl_py36h81393da_0
termcolor: 1.1.0-py36_1
vc: 14-h0510ff6_3
vs2013_runtime: 12.0.21005-1
vs2015_runtime: 14.0.25123-3
werkzeug: 0.14.1-py36_0
wheel: 0.31.1-py36_0
wincertstore: 0.2-py36h7fe50ca_0
yaml: 0.1.7-hc54c509_2
zlib: 1.2.11-h8395fce_2
Proceed ([y]/n)?
Conda управляет необходимыми функциями для пакета. Так как у keras их много, при его установке Conda позволяет установить большой список пакетов.
Поскольку новая сборка keras использует Python 3.6, а среда otherenv была создана с использованием Python 3.7, пакет python 3.6.6 был включен как зависимость. После подтверждения установки вы сможете проверить, что версия Python для среды otherenv была понижена до версии 3.6.6.
Но если вы не хотите понижать версию вашего пакета, просто создайте новую среду с необходимой версией Python. Чтобы проверить список пакетов и прочего, необходимого для ее установки, посмотрите на параметр —dry-run:
(otherenv) C:UsersIEUser>conda install keras --dry-run
При необходимости можно изменить базовую версию Python среды Conda, установив определенную версию пакета python. Создайте новую среду под названием envpython:
(otherenv) C:UsersIEUser>conda create --name envpython Solving environment: done environment location: C:UsersIEUserMiniconda3envsenvpython Proceed ([y]/n)? y Preparing transaction: done Verifying transaction: done Executing transaction: done
Поскольку корневая среда использует Python 3,7, создается envpython с этой же версией.
(base) C:UsersIEUser>conda activate envpython (envpython) C:UsersIEUser>python Python 3.7.0 (default, Jun 28 2018, 08:04:48) [MSC v.1912 64 bit (AMD64)] :: Anaconda, Inc. on win32 Type "help", "copyright", "credits" or "license" for more information. >>> quit() (envpython) C:UsersIEUser>
Чтобы установить определенную версию пакета , запустите conda install <package name>=<version>. Вот так вы установите Python 3.6 в среду envpython:
(envpython) C:UsersIEUser>conda install python=3.6
Solving environment: done
environment location: C:UsersIEUserMiniconda3envsenvpython
added / updated specs:
- python=3.6
The following NEW packages will be INSTALLED:
certifi: 2018.8.24-py36_1
pip: 10.0.1-py36_0
python: 3.6.6-hea74fb7_0
setuptools: 40.2.0-py36_0
vc: 14-h0510ff6_3
vs2015_runtime: 14.0.25123-3
wheel: 0.31.1-py36_0
wincertstore: 0.2-py36h7fe50ca_0
Proceed ([y]/n)?
Если вам нужно установить несколько пакетов, запустите conda install, указав имена пакетов. Вот как вы установите numpy, scipy и matplotlib:
(envpython) C:UsersIEUser>deactivate
(base) C:UsersIEUser>conda install numpy scipy matplotlib
Solving environment: done
environment location: C:UsersIEUserMiniconda3
added / updated specs:
- matplotlib
- numpy
- scipy
The following packages will be downloaded:
package | build
---------------------------|-----------------
libpng-1.6.34 | h79bbb47_0 1.3 MB
mkl_random-1.0.1 | py37h77b88f5_1 267 KB
intel-openmp-2019.0 | 117 1.7 MB
qt-5.9.6 | vc14h62aca36_0 92.5 MB
matplotlib-2.2.3 | py37hd159220_0 6.5 MB
tornado-5.1 | py37hfa6e2cd_0 668 KB
pyqt-5.9.2 | py37ha878b3d_0 4.6 MB
pytz-2018.5 | py37_0 232 KB
scipy-1.1.0 | py37h4f6bf74_1 13.5 MB
jpeg-9b | hb83a4c4_2 313 KB
python-dateutil-2.7.3 | py37_0 260 KB
numpy-base-1.15.1 | py37h8128ebf_0 3.9 MB
numpy-1.15.1 | py37ha559c80_0 37 KB
mkl_fft-1.0.4 | py37h1e22a9b_1 120 KB
kiwisolver-1.0.1 | py37h6538335_0 61 KB
pyparsing-2.2.0 | py37_1 96 KB
cycler-0.10.0 | py37_0 13 KB
freetype-2.9.1 | ha9979f8_1 470 KB
icu-58.2 | ha66f8fd_1 21.9 MB
sqlite-3.24.0 | h7602738_0 899 KB
sip-4.19.12 | py37h6538335_0 283 KB
------------------------------------------------------------
Total: 149.5 MB
The following NEW packages will be INSTALLED:
blas: 1.0-mkl
cycler: 0.10.0-py37_0
freetype: 2.9.1-ha9979f8_1
icc_rt: 2017.0.4-h97af966_0
icu: 58.2-ha66f8fd_1
intel-openmp: 2019.0-117
jpeg: 9b-hb83a4c4_2
kiwisolver: 1.0.1-py37h6538335_0
libpng: 1.6.34-h79bbb47_0
matplotlib: 2.2.3-py37hd159220_0
mkl: 2019.0-117
mkl_fft: 1.0.4-py37h1e22a9b_1
mkl_random: 1.0.1-py37h77b88f5_1
numpy: 1.15.1-py37ha559c80_0
numpy-base: 1.15.1-py37h8128ebf_0
pyparsing: 2.2.0-py37_1
pyqt: 5.9.2-py37ha878b3d_0
python-dateutil: 2.7.3-py37_0
pytz: 2018.5-py37_0
qt: 5.9.6-vc14h62aca36_0
scipy: 1.1.0-py37h4f6bf74_1
sip: 4.19.12-py37h6538335_0
sqlite: 3.24.0-h7602738_0
tornado: 5.1-py37hfa6e2cd_0
zlib: 1.2.11-h8395fce_2
Proceed ([y]/n)?
Обновление и удаление пакетов
Иногда вам будет нужно обновлять пакеты. Для этого запустите conda update <package name>. Если вы хотите обновить все пакеты, активируйте среду и запустите conda update —all.
Чтобы удалить пакеты, пропишите conda remove <package name>, но помните, что при удалении пакета, все зависимые от него тоже удалятся:
(base) C:UsersIEUser>conda remove numpy
Solving environment: done
environment location: C:UsersIEUserMiniconda3
removed specs:
- numpy
The following packages will be REMOVED:
matplotlib: 2.2.3-py37hd159220_0
mkl_fft: 1.0.4-py37h1e22a9b_1
mkl_random: 1.0.1-py37h77b88f5_1
numpy: 1.15.1-py37ha559c80_0
scipy: 1.1.0-py37h4f6bf74_1
Proceed ([y]/n)?
Использование каналов
Иногда вы не сможете найти нужные вам пакеты на базовых каналах. Вот так вы будете устанавливать pytorch:
(base) C:UsersIEUser>conda search pytorch
Loading channels: done
PackagesNotFoundError: The following packages are not available from current channels:
- pytorch
Current channels:
- https://repo.anaconda.com/pkgs/main/win-64
- https://repo.anaconda.com/pkgs/main/noarch
- https://repo.anaconda.com/pkgs/free/win-64
- https://repo.anaconda.com/pkgs/free/noarch
- https://repo.anaconda.com/pkgs/r/win-64
- https://repo.anaconda.com/pkgs/r/noarch
- https://repo.anaconda.com/pkgs/pro/win-64
- https://repo.anaconda.com/pkgs/pro/noarch
- https://repo.anaconda.com/pkgs/msys2/win-64
- https://repo.anaconda.com/pkgs/msys2/noarch
To search for alternate channels that may provide the conda package you're
looking for, navigate to
https://anaconda.org
and use the search bar at the top of the page.
В случае, если будете искать pytorch на сайте anaconda, вы получите следующие результаты:
В канале pytorch имеется пакет под названием pytorch с версией 0.4.1. Чтобы установить пакет с определенного канала, используйте параметр -c <chanel> вместе с conda install:
(base) C:UsersIEUser>conda install -c pytorch pytorch
Solving environment: done
environment location: C:UsersIEUserMiniconda3
added / updated specs:
- pytorch
The following packages will be downloaded:
package | build
---------------------------|-----------------
pytorch-0.4.1 |py37_cuda90_cudnn7he774522_1 590.4 MB pytorch
The following NEW packages will be INSTALLED:
pytorch: 0.4.1-py37_cuda90_cudnn7he774522_1 pytorch
Proceed ([y]/n)?
Также можно добавить канал, чтобы Conda производила там поиск пакетов. Чтобы посмотреть текущие каналы, запустите conda config —get channels:
(base) C:UsersIEUser>conda config --get channels --add channels 'defaults' (base) C:UsersIEUser>
Когда у вас появится множество каналов,нужно будет выставить приоритет. Чтобы добавить канал с наименьшим приоритетом в список, запустите conda config —append channels <channel name>. С наивысшим − conda config —prepend channels <channel name>. Рекомендуется выставлять новым каналам низкий приоритет, чтобы продолжить использовать каналы по умолчанию. Таким образом, вы можете установить pytorch, добавив канал pytorch и запустив conda install pytorch:
(base) C:UsersIEUser>conda config --append channels pytorch
(base) C:UsersIEUser>conda config --get channels
--add channels 'pytorch' # lowest priority
--add channels 'defaults' # highest priority
(base) C:UsersIEUser>conda install pytorch
Solving environment: done
environment location: C:UsersIEUserMiniconda3
added / updated specs:
- pytorch
The following packages will be downloaded:
package | build
---------------------------|-----------------
pytorch-0.4.1 |py37_cuda90_cudnn7he774522_1 590.4 MB pytorch
The following NEW packages will be INSTALLED:
pytorch: 0.4.1-py37_cuda90_cudnn7he774522_1 pytorch
Proceed ([y]/n)?
Использование Pip в среде Conda
Иногда при настройке Python для машинного обучения вам могут понадобиться чистые пакеты Python, которые будут недоступны на каналах Conda. Например, Unipath.
Вы сможете найти пакет, используя другой канал. Но так как unipath − чистый пакет Python, то можно использовать pip для его установки. Следует использовать pip, установленный conda create:
conda create --name newproject
Чтобы установить pip, активируйте среду и установите пакет Conda:
(base) C:UsersIEUser>conda activate newproject
(newproject) C:UsersIEUser>conda install pip
Solving environment: done
environment location: C:UsersIEUserMiniconda3envsnewproject
added / updated specs:
- pip
The following NEW packages will be INSTALLED:
certifi: 2018.8.24-py37_1
pip: 10.0.1-py37_0
python: 3.7.0-hea74fb7_0
setuptools: 40.2.0-py37_0
vc: 14-h0510ff6_3
vs2015_runtime: 14.0.25123-3
wheel: 0.31.1-py37_0
wincertstore: 0.2-py37_0
Proceed ([y]/n)?
Наконец, используйте pip, чтобы установить unipath:
(newproject) C:UsersIEUser>pip install unipath Collecting unipath Installing collected packages: unipath Successfully installed unipath-1.1 You are using pip version 10.0.1, however version 18.0 is available. You should consider upgrading via the 'python -m pip install --upgrade pip' command. (newproject) C:UsersIEUser>
После установки вы можете посмотреть на пакеты с помощью conda list и проверить, что Unipath был установлен:
(newproject) C:UsersIEUser>conda list certifi 2018.8.24 py37_1 pip 10.0.1 py37_0 python 3.7.0 hea74fb7_0 setuptools 40.2.0 py37_0 Unipath 1.1 <pip> vc 14 h0510ff6_3 vs2015_runtime 14.0.25123 3 wheel 0.31.1 py37_0 wincertstore 0.2 py37_0 (newproject) C:UsersIEUser>
Также можно использовать пакеты из системы VSC с помощью pip. Чтобы активировать supervisor, version 4.0.0dev0. доступный в репозитории Git, для начала установите последний:
(newproject) C:UsersIEUser> conda install git
Теперь установите supervisor, используя pip, с помощью репозитория Git:
(newproject) pip install -e git://github.com/Supervisor/supervisor@abef0a2be35f4aae4a4edeceadb7a213b729ef8d#egg=supervisor
После завершения установки supervisor будет указан в списке установленных пакетов:
(newproject) C:UsersIEUser>conda list certifi 2018.8.24 py37_1 git 2.18.0 h6bb4b03_0 meld3 1.0.2 <pip> pip 10.0.1 py37_0 python 3.7.0 hea74fb7_0 setuptools 40.2.0 py37_0 supervisor 4.0.0.dev0 <pip> ... (more)
Простой пример машинного обучения
XOR gate − ещё один момент, который стоит знать в процессе настройки Python для машинного обучения: используя Conda обучите нейронную сеть функционировать как XOR gate
XOR gate реализуют операцию OR. Требуется два цифровых входа, равные 0 или 1. И вывода, 1 (true) и 0 (false). Таблица ниже суммирует операции XOR gate:
Операцию XOR можно интерпретировать как classification problem, потому что она принимает два входа и должна классифицировать их как 0 или 1 в зависимости от того, равны они друг другу или нет. Именно этот пример обычно используется в качестве первого случая обучения нейронной сети, поскольку он прост, но в то же время требует нелинейного классификатора, такого как нейронная сеть. Чтобы реализовать нейронную сеть, создайте среду Conda, названную nnxor:
(base) C:UsersIEUser>conda create nnxor
Теперь активируйте и установите пакет keras:
(base) C:UsersIEUser>conda activate nnxor (nnxor) C:UsersIEUser>conda install keras
keras − высокоуровневый API, который упрощает внедрение нейронных сетей поверх известных библиотек, таких как TensorFlow. Обучите следующую нейронную сеть действовать как XOR gate:
Сеть берет два входа (A, B) и передает их двум нейронам, показанными большими кругами. Затем она принимает входные данные этих нейронов и подает их на выходной нейрон, который должен обеспечивать классификацию в соответствии с таблицей XOR.
Процесс обучения состоит в том, чтобы настроить значения w_1 до w_6, чтобы выход соответствовал таблице. Для этого входные примеры начнут подаваться по одному, вывод станет рассчитываться с текущими значениями, и, сравнивая вывод с желаемым, значения будут корректироваться.
Для этого создайте папку с именем nnxor в директории (C:UsersIEUser) с файлом под именем nnxor.py, чтобы сохранить программу Python для реализации нейронной сети.
В файле nnxor.py выберите сеть для обучения и тестирования:
import numpy as np
np.random.seed(444)
from keras.models import Sequential
from keras.layers.core import Dense, Activation
from keras.optimizers import SGD
X = np.array([[0, 0],
[0, 1],
[1, 0],
[1, 1]])
y = np.array([[0], [1], [1], [0]])
model = Sequential()
model.add(Dense(2, input_dim=2))
model.add(Activation('sigmoid'))
model.add(Dense(1))
model.add(Activation('sigmoid'))
sgd = SGD(lr=0.1)
model.compile(loss='mean_squared_error', optimizer=sgd)
model.fit(X, y, batch_size=1, epochs=5000)
if __name__ == '__main__':
print(model.predict(X))
Импортируйте numpy, инициализируйте случайный seed, чтобы можно было воспроизвести те же результаты при повторном запуске программы и импортировать keras, используемый в сети.
Определите массив X, содержащий 4 возможных набора A-B входов, и массив y, содержащий выходные данные.
Следующие пять строк сформируют нейронную сеть. Модель Sequental() − одна из моделей keras для определения нейронной сети. Определите первый слой из двух входных нейронов, определив их функцию активации в качестве sigmond function. Затем обозначьте входной слой их одного нейрона с той же функцией активации.
Следующие две строки определяют детали обучения сети. Чтобы настроить параметры, используйте Stochastic Gradient Descent с оптимальной скоростью обучения, равной 0,1. Наконец, выполните обучение с помощью fit(), используя X и Y в качестве примеров обучения, после того, как каждый пример будет загружен в сеть (batch_size=1). Число epochs представляет собой количество попыток обучения сети.
В этом случае вы повторяете операцию 5500 раз, используя обучающий набор, содержащий 4 примера ввода и вывода. После обращения нейросети к исходным данным тренировочные варианты перемешиваются заново.
На последней строке вы печатаете прогнозируемые значения 4 возможных примеров ввода.
(nnxor) C:UsersIEUser>cd nnxor (nnxor) C:UsersIEUsernnxor>python nnxor.py Using TensorFlow backend. Epoch 1/5000 2018-09-16 09:49:05.987096: I tensorflow/core/platform/cpu_feature_guard.cc:141] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX AVX2 2018-09-16 09:49:05.993128: I tensorflow/core/common_runtime/process_util.cc:69] Creating new thread pool with default inter op setting: 2. Tune using inter_op_parallelism_threads for best performance. 4/4 [==============================] - 0s 39ms/step - loss: 0.2565 Epoch 2/5000 4/4 [==============================] - 0s 0us/step - loss: 0.2566 Epoch 3/5000 4/4 [==============================] - 0s 0us/step - loss: 0.2566 Epoch 4/5000 4/4 [==============================] - 0s 0us/step - loss: 0.2566 Epoch 5/5000 4/4 [==============================] - 0s 0us/step - loss: 0.2566 Epoch 6/5000 4/4 [==============================] - 0s 0us/step - loss: 0.2566
После обучения, вы можете проверить прогнозы, которые дает сеть для возможных входных значений:
Epoch 4997/5000 4/4 [==============================] - 0s 0us/step - loss: 0.0034 Epoch 4998/5000 4/4 [==============================] - 0s 0us/step - loss: 0.0034 Epoch 4999/5000 4/4 [==============================] - 0s 0us/step - loss: 0.0034 Epoch 5000/5000 4/4 [==============================] - 0s 0us/step - loss: 0.0034 [[0.0587215 ] [0.9468337 ] [0.9323144 ] [0.05158457]]
Как вы определите X = np.array([[0, 0], [0, 1], [1, 0], [1, 1]]), ожидаемые входные округленные значения станут равны 0,1,1 и 0, что согласуется с прогнозами сети.
Машинное обучение применяется в различных областях, охватывая все большую аудиторию. Тем не менее, создание среды может быть сложней задачей. В этой статье вы узнали об основах создания среды Python на Windows с использованием Anaconda. Теперь, когда у вас есть основа, пришло время начать работу с настоящими приложениями.
- Работа с документацией в Python: поиск информации и соглашения
- Машинное обучение за год
- Машинное обучение для самых маленьких
- 13 лучших книг по Python для начинающих и продолжающих
Источник: Настройка Python для машинного обучения on Realpython
Все курсы > Программирование на Питоне > Занятие 14
Программа Jupyter Notebook — это локальная программа, которая открывается в браузере и позволяет интерактивно исполнять код на Питоне, записанный в последовательности ячеек.
Облачной версией Jupyter Notobook является программа Google Colab, которой мы уже давно пользуемся на курсах машинного обучения. Если вы проходили мои занятия, то в работе с этой программой для вас не будет почти ничего нового.
Способ 1. Если на вашем компьютере уже установлен Питон, то установить Jupyter Notebook можно через менеджер пакетов pip.
Способ 2 (рекомендуется). Кроме того, Jupyter Notebook входит в дистрибутив Питона под названием Anaconda.
На сегодняшнем занятии мы рассмотрим именно второй вариант установки.
Anaconda
Anaconda — это дистрибутив Питона и репозиторий пакетов, специально предназначенных для анализа данных и машинного обучения.
Основу дистрибутива Anaconda составляет система управления пакетами и окружениями conda.
Conda можно управлять двумя способами, а именно через Anaconda Prompt — программу, аналогичную командной строке Windows, или через Anaconda Navigator — понятный графический интерфейс.
Кроме того, в дистрибутив Anaconda входит несколько полезных программ:
- Jupyter Notebook и JupyterLab — это программы, позволяющие исполнять код на Питоне (и, как мы увидим, на других языках) и обрабатывать данные.
- Spyder и PyCharm представляют собой так называемую интегрированную среду разработки (Integrated Development Environment, IDE). IDE — это редактор кода наподобие программы Atom или Sublime Text с дополнительными возможностями автодополнения, компиляции и интерпретации, анализа ошибок, отладки (debugging), подключения к базам данных и др.
- RStudio — интегрированная среда разработки для программирования на R.
На схеме структура Anaconda выглядит следующим образом:
Установка дистрибутива Anaconda на Windows
Шаг 1. Скачайте Anaconda⧉ с официального сайта.
Шаг 2. Запустите установщик.
На одном из шагов установки вам предложат поставить две галочки, в частности (1) добавить Anaconda в переменную path и (2) сделать дистрибутив Anaconda версией, которую Windows обнаруживает по умолчанию.
Не отмечайте ни один из пунктов!
Так вы сможете использовать два дистрибутива Питона, первый дистрибутив мы установили на прошлом занятии, второй — сейчас.
Как запустить Jupyter Notebook
После того как вы скачали и установили Anaconda, можно переходить к запуску ноутбука.
Шаг 1. Откройте Anaconda Navidator
Открыть Anaconda Navigator можно двумя способами.
Способ 1. Запуск из меню «Пуск». Просто перейдите в меню «Пуск» и выберите Anaconda Navigator.
Способ 2. Запуск через Anaconda Prompt. Также из меню «Пуск» откройте терминал Anaconda Prompt.
Введите команду
anaconda-navigator.
В результате должно появиться вот такое окно.
Шаг 2. Откройте Jupyter Notebook
Теперь выберите Jupyter Notebook и нажмите Launch («Запустить»).
Замечу, что Jupyter Notebook можно открыть не только из Anaconda Navigator, но и через меню «Пуск», а также введя в терминале Anaconda Prompt команду
jupyter-notebook.
В результате должен запуститься локальный сервер, и в браузере откроется перечень папок вашего компьютера.
Шаг 3. Выберите папку и создайте ноутбук
Выберите папку, в которой хотите создать ноутбук. В моем случае я выберу Рабочий стол (Desktop).
Теперь в правом верхнем углу нажмите New → Python 3.
Мы готовы писать и исполнять код точно также, как мы это делаем в Google Colab.
Импортируем библиотеку Numpy и создадим массив.
Шаг 4. Сохраните ноутбук и закройте Jupyter Notebook
Переименуйте ноутбук в mynotebook (для этого, как и в Google Colab, отредактируйте само название непосредственно в окне ноутбука). Сохранить файл можно через File → Save and Checkpoint.
Обратите внимание, помимо файла mynotebook.ipynb, Jupyter Notebook создал скрытую папку .ipynb_checkpoints. В ней хранятся файлы, которые позволяют вернуться к предыдущей сохраненной версии ноутбука (предыдущему check point). Сделать это можно, нажав File → Revert to Checkpoint и выбрав дату и время предыдущей сохраненной версии кода.
Когда вы закончили работу, закройте вкладку с ноутбуком. Остается прервать работу локального сервера, нажав Quit в правом верхнем углу.
Особенности работы
Давайте подробнее поговорим про возможности Jupyter Notebook. Снова запустим только что созданный ноутбук любым удобным способом.
Код на Python
В целом мы пишем обычный код на Питоне.
Вкладка Cell
Для управления запуском или исполнением ячеек можно использовать вкладку Cell.
Здесь мы можем, в частности:
- Запускать ячейку и оставаться в ней же через Run Cells
- Исполнять все ячейки в ноутбуке, выбрав Run All
- Исполнять все ячейки выше (Run All Above) или ниже текущей (Run All Below)
- Очистить вывод ячеек, нажав All Output → Clear
Вкладка Kernel
Командами вкладки Kernel мы управляем ядром (kernel) или вычислительным «движком» ноутбука.
В этой вкладке мы можем, в частности:
- Прервать исполнение ячейки командой Interrupt. Это бывает полезно, если, например, исполнение кода занимает слишком много времени или в коде есть ошибка и исполнение кода не прервется самостоятельно.
- Перезапустить kernel можно командой Restart. Кроме того, можно
- очистить вывод (Restart & Clear Output) и
- заново запустить все ячейки (Restart & Run All)
Несколько слов про то, что такое ядро и как в целом функционирует Jupyter Notebook.
Пользователь взаимодействует с ноутбуком через браузер. Браузер в свою очередь отправляет запросы на сервер. Функция сервера заключается в том, чтобы загружать ноутбук и сохранять внесенные изменения в формате JSON с расширением .ipynb. Одновременно, сервер обращается к ядру в тот момент, когда необходимо обработать код на каком-либо языке (например, на Питоне).
Такое «разделение труда» между браузером, сервером и ядром позволяет во-первых, запускать Jupyter Notebook в любой операционной системе, во-вторых, в одной программе исполнять код на нескольких языках, и в-третьих, сохранять результат в файлах одного и того же формата.
Возможность программирования на нескольких языках (а значит использование нескольких ядер) мы изучим чуть позже, а пока посмотрим как устанавливать новые пакеты для Питона внутри Jupyter Notebook.
Установка новых пакетов
Установить новые пакеты в Anaconda можно непосредственно в ячейке, введя
!pip install <package_name>. Например, попробуем установить Numpy.
Система сообщила нам, что такой пакет уже установлен. Более того, мы видим путь к папке внутри дистрибутива Anaconda, в которой Jupyter «нашел» Numpy.
При подготовке этого занятия я использовал два компьютера, поэтому имя пользователя на скриншотах указано как user или dmvma. На вашем компьютере при указании пути к файлу используйте ваше имя пользователя.
В последующих разделах мы рассмотрим дополнительные возможности по установке пакетов через Anaconda Prompt и Anaconda Navigator.
По ссылке ниже вы можете скачать код, который мы создали в Jupyter Notebook.
Два Питона на одном компьютере
Обращу ваше внимание, что на данный момент на моем компьютере (как и у вас, если вы проделали шаги прошлого занятия) установлено два Питона, один с сайта www.python.org⧉, второй — в составе дистрибутива Anaconda.
Посмотреть на установленные на компьютеры «Питоны» можно, набрав команду
where python в Anaconda Prompt.
Указав полный или абсолютный путь (absolute path) к каждому из файлов python.exe, мы можем в интерактивном режиме исполнять код на версии 3.8 (установили с www.python.org) и на версии 3.10 (установили в составе Anaconda). При запуске файла python.exe из папки WindowsApps система предложит установить Питон из Microsoft Store.
В этом смысле нужно быть аккуратным и понимать, какой именно Питон вы используете и куда устанавливаете очередной пакет.
В нашем случае мы настроили работу так, чтобы устанавливать библиотеки для Питона с www.python.org через командную строку Windows, и устанавливать пакеты в Анаконду через Anaconda Prompt.
Убедиться в этом можно, проверив версии Питона через
python —version в обеих программах.
Теперь попробуйте ввести в них команду
pip list и сравнить установленные библиотеки.
Markdown в Jupyter Notebook
Вернемся к Jupyter Notebook. Помимо ячеек с кодом, можно использовать текстовые ячейки, в которых поддерживается язык разметки Markdown. Мы уже коротко рассмотрели этот язык на прошлом занятии, когда создавали пакет на Питоне.
По большому счету, с помощью несложных команд Markdown, вы говорите Jupyter как отформатировать ту или иную часть текста.
Рассмотрим несколько основных возможностей форматирования (для удобстства и в силу практически полного совпадения два последующих раздела приведены в ноутбуке Google Colab).
Откроем ноутбук к этому занятию⧉
Заголовки
Заголовки создаются с помощью символа решетки.
|
# Заголовок 1 ## Заголовок 2 ### Заголовок 3 #### Заголовок 4 ##### Заголовок 5 ###### Заголовок 6 |
Если перед первым символом решетки поставить знак , Markdown просто выведет символы решетки.
Абзацы
Абзацы отделяются друг от друга пробелами.
Мы также можем разделять абзацы прямой линией.
Выделение текста
|
**Полужирный стиль** *Курсив* ~~Перечеркнутый стиль~~ |
Форматирование кода и выделенные абзацы
Мы можем выделять код внутри строки или отдельным абзацем.
|
Отформатируем код `print(‘Hello world!’)` внутри строки и отдельным абзацем «` print(‘Hello world!’) «` |
Возможно выделение и текстовых абзацев ( так называемые blockquotes).
|
> Markdown позволяет форматировать текст без использования тэгов. > > Он был создан в 2004 году Джоном Грубером и Аароном Шварцем. |
Списки
Посмотрим на создание упорядоченных и неупорядоченных списков.
|
**Упорядоченный список** 1. Пункт 1 1. Пункт 2 (нумерация ведется автоматически) **Неупорядоченный список** * Пункт 1.1 * Пункт 2.1 * Пункт 2.2 * Пункт 3.1 * Пункт 3.2 * Пункт 1.2 |
Ссылки и изображения
Текст ссылки заключается в квадратные скобки, сама ссылка — в круглые.
|
[сайт проекта Jupyter](https://jupyter.org/) |
Изображение форматируется похожим образом.
|
 |
Таблицы
|
| id | item | price | |— |———-| ——| | 01 | pen | 200 | | 02 | pencil | 150 | | 03 | notebook | 300 | |
Таблицы для Markdown бывает удобно создавать с помощью специального инструмента⧉.
Формулы на LaTeX
В текстовых полях можно вставлять формулы и математические символы с помощью системы верстки, которая называется LaTeX (произносится «латэк»). Они заключаются в одинарные или двойные символы $.
Если использовать одинарный символ $, то расположенная внутри формула останется в пределах того же абзаца. Например, запись
$ y = x^2 $ даст $ y = x^2 $.
В то время как
$$ y = x^2 $$ поместит формулу в новый абзац.
$$ y = x^2 $$
Одинарный символ добавляет пробел. Двойной символ \ переводит текст на новую строку.
|
$$ hat{y} = theta_0 + theta_1 x_1 + theta_2 x_2 + ... + theta_n x_n $$ |
Рассмотрим некоторые элементы синтаксиса LaTeX.
Форматирование текста
|
$ text{just text} $ $ textbf{bold} $ $ textit{italic} $ $ underline{undeline} $ |
Надстрочные и подстрочные знаки
|
hat $ hat{x} $ bar $ bar{x} $ vector $ vec{x} $ tilde $ tilde{x} $ superscript $ e^{ax + b} $ subscript $ A_{i, j} $ degree $ 90^{circ} $ |
Скобки
Вначале рассмотрим код для скобок в пределах высоты строки.
|
$$ (a+b) [a+b] {a+b} langle x+y rangle |x+y| |x+y| $$ |
Кроме того, с помощью
left(,
right), а также
left[,
right] и так далее можно увеличить высоту скобки. Сравните.
|
$$ left(frac{1}{2}right) qquad (frac{1}{2}) $$ |
Также можно использовать отдельные команды для скобок различного размера.
|
$$ big( Big( bigg( Bigg( big] Big] bigg] Bigg] big{ Big{ bigg{ Bigg{ $$ |
Дробь и квадратный корень
|
fraction $$ frac{1}{1+e^{—z}} $$ square root $ sqrt{sigma^2} $ |
Греческие буквы
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 |
|Uppercase | LaTeX |Lowercase | LaTeX | RU | |————— |———— |————— |———— |———— | |————— |———— |$alpha$ |alpha | альфа | |————— |———— |$beta$ |beta | бета | |$Gamma$ |Gamma |$gamma$ |gamma | гамма | |$Delta$ |Delta |$delta$ |delta | дельта | |————— |———— |$epsilon$ |epsilon | эпсилон | |————— |———— |$varepsilon$ |varepsilon | ———— | |————— |———— |$zeta$ |zeta | дзета | |————— |———— |$eta$ |eta | эта | |$Theta$ |Theta |$theta$ |theta | тета | |————— |———— |$vartheta$ |vartheta | ———— | |————— |———— |$iota$ |iota | йота | |————— |———— |$kappa$ |kappa | каппа | |$Lambda$ |Lambda |$lambda$ |lambda | лямбда | |————— |———— |$mu$ |mu | мю | |————— |———— |$nu$ |nu | ню | |$Xi$ |Xi |$xi$ |xi | кси | |————— |———— |$omicron$ |omicron | омикрон | |$Pi$ |Pi |$pi$ |pi | пи | |————— |———— |$varpi$ |varpi | ———— | |————— |———— |$rho$ |rho | ро | |————— |———— |$varrho$ |varrho | ———— | |$Sigma$ |Sigma |$sigma$ |sigma | сигма | |————— |———— |$varsigma$ |varsigma | ———— | |————— |———— |$tau$ |tau | тау | |$Upsilon$ |Upsilon |$upsilon$ |upsilon | ипсилон | |$Phi$ |Phi |$phi$ |phi | фи | |————— |———— |$varphi$ |varphi | ———— | |————— |———— |$chi$ |chi | хи | |$Psi$ |Psi |$psi$ |psi | пси | |$Omega$ |Omega |$omega$ |omega | омега | |
Латинские обозначения
|
$$ sin(—alpha) = —sin(alpha) cos(theta)=sin left( frac{pi}{2}—theta right) tan(x) = frac{sin(x)}{cos(x)} log_b(1) = 0 $$ |
Логические символы и символы множества
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 |
| LaTeX | symbol | | ——————————— | ————————————— | |Rightarrow | $ Rightarrow $ | |rightarrow | $ rightarrow $ | |longleftrightarrow | $ Leftrightarrow $ | |cap | $ cap $ | |cup | $ cup $ | |subset | $ subset $ | |in | $ in $ | |notin | $ notin $ | |varnothing | $ varnothing $ | |neg | $ neg $ | |forall | $ forall $ | |exists | $ exists $ | |mathbb{N} | $ mathbb{N} $ | |mathbb{Z} | $ mathbb{Z} $ | |mathbb{Q} | $ mathbb{Q} $ | |mathbb{R} | $ mathbb{R} $ | |mathbb{C} | $ mathbb{C} $ | |
Другие символы
|
| LaTeX | symbol | | ——————————— | ————————————— | | < | $ < $ | | leq | $ leq $ | | > | $ geq $ | | neq | $ neq $ | | approx | $ approx $ | | angle | $ angle $ | | parallel | $ parallel $ | | pm | $ pm $ | | mp | $ mp $ | | cdot | $ cdot $ | | times | $ times $ | | div | $ div $ | |
Кусочная функция и система уравнений
Посмотрим на запись функции sgn (sign function) средствами LaTeX.
|
$$ sgn(x) = left{ begin{array} 1 & mbox{if } x in mathbf{N}^* 0 & mbox{if } x = 0 —1 & mbox{else.} end{array} right. $$ |
Схожим образом записывается система линейных уравнений.
|
$$ left{ begin{matrix} 4x + 3y = 20 —5x + 9y = 26 end{matrix} right. $$ |
Горизонтальная фигурная скобка
|
$$ overbrace{ underbrace{a}_{real} + underbrace{b}_{imaginary} i} ^{textit{complex number}} $$ |
Предел, производная, интеграл
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 |
Пределы: $$ lim_{x to +infty} f(x) $$ $$ lim_{x to —infty} f(x) $$ $$ lim_{x to с} f(x) $$ Производная (нотация Лагранжа): $$ f‘(x) $$ Частная производная (нотация Лейбница): $$ frac{partial f}{partial x} $$ Градиент: $$ nabla f(x_1, x_2) = begin{bmatrix} frac{partial f}{partial x_1} frac{partial f}{partial x_2} end{bmatrix} $$ Интеграл: $$int_{a}^b f(x)dx$$ |
Сумма и произведение
|
Сумма: $$ sumlimits_{i=1}^n a_{i} $$ $$sum_{i=1}^n a_{i} $$ Произведение: $$prod_{j=1}^m a_{j}$$ |
Матрица
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 |
Без скобок (plain): $$ begin{matrix} 1 & 2 & 3 a & b & c end{matrix} $$ Круглые скобки (parentheses, round brackets): $$ begin{pmatrix} 1 & 2 & 3 a & b & c end{pmatrix} $$ Квадратные скобки (square brackets): $$ begin{bmatrix} 1 & 2 & 3 a & b & c end{bmatrix} $$ Фигурные скобки (curly brackets, braces): $$ begin{Bmatrix} 1 & 2 & 3 a & b & c end{Bmatrix} $$ Прямые скобки (pipes): $$ begin{vmatrix} 1 & 2 & 3 a & b & c end{vmatrix} $$ Двойные прямые скобки (double pipes): $$ begin{Vmatrix} 1 & 2 & 3 a & b & c end{Vmatrix} $$ |
Программирование на R
Jupyter Notebook позволяет писать код на других языках программирования, не только на Питоне. Попробуем написать и исполнить код на R, языке, который специально разрабатывался для data science.
Вначале нам понадобится установить kernel для R. Откроем Anaconda Prompt и введем следующую команду
conda install -c r r-irkernel. В процессе установки система спросит продолжать или нет (Proceed ([y]/n)?). Нажмите y + Enter.
Откройте Jupyter Notebook. В списке файлов создайте ноутбук на R. Назовем его rprogramming.
После установки нового ядра и создания еще одного файла .ipynb схема работы нашего Jupyter Notebook немного изменилась.
Теперь мы готовы писать код на R. Мы уже начали знакомиться с этим языком, когда изучали парадигмы программирования. Сегодня мы рассмотрим основные типы данных и особенности синтаксиса.
Переменные в R
Числовые, строковые и логические переменные
Как и в Питоне, в R мы можем создавать числовые (numeric), строковые (character) и логические (logical) переменные.
|
# поместим число 42 в переменную numeric_var numeric_var = 42 # строку поместим в переменную text_var text_var <— ‘Hello world!’ # наконец присвоим значение TRUE переменной logical_var TRUE -> logical_var |
Для присвоения значений можно использовать как оператор
=, так и операторы присваивания
<— и
->. Обратите внимание, используя
-> мы можем поместить значение слева, а переменную справа.
Посмотрим на результат (в Jupyter Notebook можно обойтись без функции print()).
Выведем класс созданных нами объектов с помощью функции class().
|
class(numeric_var) class(text_var) class(logical_var) |
|
‘numeric’ ‘character’ ‘logical’ |
Тип данных можно посмотреть с помощью функции typeof().
|
typeof(numeric_var) typeof(text_var) typeof(logical_var) |
|
‘double’ ‘character’ ‘logical’ |
Хотя вывод этих функций очень похож, мы, тем не менее, видим, что классу numeric соответствует тип данных double (число с плавающей точкой с двумя знаками после запятой).
Числовые переменные: numeric, double, integer
По умолчанию, в R и целые числа, и дроби хранятся в формате double.
|
# еще раз поместим число 42 в переменную numeric_var numeric_var <— 42 # выведем тип данных typeof(numeric_var) |
Принудительно перевести 42 в целочисленное значение можно с помощью функции as.integer().
|
int_var <— as.integer(numeric_var) typeof(int_var) |
Кроме того, если после числа поставить L, это число автоматически превратится в integer.
Превратить integer обратно в double можно с помощью функций as.double() и as.numeric().
|
typeof(as.double(int_var)) typeof(as.numeric(42L)) |
Если число хранится в формате строки, его можно перевести обратно в число (integer или double).
|
text_var <— ’42’ typeof(text_var) |
|
typeof(as.numeric(text_var)) # можно также использовать as.double() typeof(as.integer(text_var)) |
Вектор
Вектор (vector) — это одномерная структура, которая может содержать множество элементов одного типа. Вектор можно создать с помощью функции c().
|
# создадим вектор с информацией о продажах товара в магазине за неделю (в тыс. рублей) sales <— c(24, 28, 32, 25, 30, 31, 29) sales |
С помощью функций length() и typeof() мы можем посмотреть соответственно общее количество элементов и тип данных каждого из них.
|
# посмотрим на общее количество элементов и тип данных каждого из них length(sales) typeof(sales) |
У вектора есть индекс, который (в отличие, например, от списков в Питоне), начинается с единицы.
При указании диапазона выводятся и первый, и последний его элементы.
Отрицательный индекс убирает элементы из вектора.
Именованный вектор (named vector) создается с помощью функции names().
|
# создадим еще один вектор с названиями дней недели days_vector <— c(‘Понедельник’, ‘Вторник’, ‘Среда’, ‘Четверг’, ‘Пятница’, ‘Суббота’, ‘Воскресенье’) days_vector |
|
‘Понедельник’ ‘Вторник’ ‘Среда’ ‘Четверг’ ‘Пятница’ ‘Суббота’ ‘Воскресенье’ |
|
# создадим именованный вектор с помощью функции names() names(sales) <— days_vector sales |
Выводить элементы именованного вектора можно не только по числовому индексу, но и по их названиям.
Список
В отличие от вектора, список (list) может содержать множество элементов различных типов.
|
# список создается с помощью функции list() list(‘DS’, ‘ML’, c(21, 24), c(TRUE, FALSE), 42.0) |
|
[[1]] [1] «DS» [[2]] [1] «ML» [[3]] [1] 21 24 [[4]] [1] TRUE FALSE [[5]] [1] 42 |
Матрица
Матрица (matrix) в R — это двумерная структура, содержащая одинаковый тип данных (чаще всего числовой). Матрица создается с помощью функции matrix() с параметрами data, nrow, ncol и byrow.
- data — данные для создания матрицы
- nrow и ncol — количество строк и столбцов
- byrow — параметр, указывающий заполнять ли элементы матрицы построчно (TRUE) или по столбцам (FALSE)
Рассмотрим несколько примеров. Cоздадим последовательность целых чисел (по сути, тоже вектор).
|
# для этого подойдет функция seq() sqn <— seq(1:9) sqn typeof(sqn) |
|
1 2 3 4 5 6 7 8 9 ‘integer’ |
Используем эту последовательность для создания двух матриц.
|
# создадим матрицу, заполняя значения построчно mtx <— matrix(sqn, nrow = 3, ncol = 3, byrow = TRUE) mtx |
|
# теперь создадим матрицу, заполняя значения по столбцам mtx <— matrix(sqn, nrow = 3, ncol = 3, byrow = FALSE) mtx |
Зададим названия для строк и столбцов второй матрицы.
|
# создадим два вектора с названиями строк и столбцов rows <— c(‘Row 1’, ‘Row 2’, ‘Row 3’) cols <— c(‘Col 1’, ‘Col 2’, ‘Col 3’) # используем функции rownames() и colnames(), # чтобы передать эти названия нашей матрице rownames(mtx) <— rows colnames(mtx) <— cols # посмотрим на результат mtx |
Посмотрим на размерность этой матрицы с помощью функции dim().
Массив
В отличие от матрицы, массив (array) — это многомерная структура. Создадим трехмерный массив размерностью 3 х 2 х 3. Вначале создадим три матрицы размером 3 х 2.
|
# создадим три матрицы размером 3 х 2, # заполненные пятерками, шестерками и семерками a <— matrix(5, 3, 2) b <— matrix(6, 3, 2) c <— matrix(7, 3, 2) |
Теперь соединим их с помощью функции array(). Передадим этой функции два параметра в форме векторов: данные (data) и размерность (dim).
|
arr <— array(data = c(a, b, c), # вектор с матрицами dim = c(3, 2, 3)) # вектор размерности print(arr) |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 |
, , 1 [,1] [,2] [1,] 5 5 [2,] 5 5 [3,] 5 5 , , 2 [,1] [,2] [1,] 6 6 [2,] 6 6 [3,] 6 6 , , 3 [,1] [,2] [1,] 7 7 [2,] 7 7 [3,] 7 7 |
Факторная переменная
Факторная переменная или фактор (factor) — специальная структура для хранения категориальных данных. Вначале немного теории.
Как мы узнаем на курсе анализа данных, категориальные данные бывают номинальными и порядковыми. Номинальные категориальные (nominal categorical) данные представлены категориями, в которых нет естественного внутреннего порядка. Например, пол или цвет волос человека, марка автомобиля могут быть отнесены к определенным категориям, но не могут быть упорядочены.
Порядковые категориальные (ordinal categorical) данные наоборот обладают внутренним, свойственным им порядком. К таким данным относятся шкала удовлетворенности потребителей, класс железнодорожного билета, должность или звание, а также любая количественная переменная, разбитая на категории (например, низкий, средний и высокий уровень зарплат).
Посмотрим, как учесть такие данные с помощью R. Начнем с номинальных данных.
|
# предположим, что мы собрали данные о цветах нескольких автомобилей и поместили их в вектор color_vector <— c(‘blue’, ‘blue’, ‘white’, ‘black’, ‘yellow’, ‘white’, ‘white’) # преобразуем этот вектор в фактор с помощью функции factor() factor_color <— factor(color_vector) factor_color |
Как вы видите, функция factor() разбила данные на категории, при этом эти категории остались неупорядоченными. Посмотрим на класс созданного объекта.
Теперь поработаем с порядковыми данными.
|
# возьмем данные измерений температуры, выраженные категориями temperature_vector <— c(‘High’, ‘Low’, ‘High’,‘Low’, ‘Medium’, ‘High’, ‘Low’) # создадим фактор factor_temperature <— factor(temperature_vector, # указав параметр order = TRUE order = TRUE, # а также вектор упорядоченных категорий levels = c(‘Low’, ‘Medium’, ‘High’)) # посмотрим на результат factor_temperature |
Выведем класс созданного объекта.
|
class(factor_temperature) |
Добавлю, что количество элементов в каждой из категорий можно посмотреть с помощью функции summary().
|
summary(factor_temperature) |
Датафрейм
Датафрейм в R выполняет примерно ту же функцию, что и в Питоне. С помощью функции data.frame() создадим простой датафрейм, гда параметрами будут названия столбцов, а аргументами — векторы их значений.
|
df <— data.frame(city = c(‘Москва’, ‘Париж’, ‘Лондон’), population = c(12.7, 2.1, 8.9), country = c(‘Россия’, ‘Франция’, ‘Великобритания’)) df |
Доступ к элементам датафрейма можно получить по индексам строк и столбцов, которые также начинаются с единицы.
|
# выведем значения первой строки и первого столбца df[1, 1] |
|
# выведем всю первую строку df[1,] |
|
# выведем второй столбец df[,2] |
Получить доступ к столбцам можно и так.
Дополнительные пакеты
Как и в Питоне, в R мы можем установить дополнительные пакеты через Anaconda Prompt. Например, установим пакет ggplot2 для визуализации данных. Для этого введем команду
conda install r-ggplot2.
В целом команда установки пакетов для R следующая:
conda install r-<package_name>.
Продемонстрируем работу с этим пакетом с помощью несложного датасета mtcars.
|
# импортируем библиотеку datasets library(datasets) # загрузим датасет mtcars data(mtcars) # выведем его на экран mtcars |
Теперь импортируем установленную ранее библиотеку ggplot2.
Построим гистограмму по столбцу mpg (miles per galon, расход в милях на галлон топлива). Для построения гистограммы нам потребуется через «+» объединить две функции:
- функцию ggplot(), которой мы передадим наши данные и еще одну функцию aes(), от англ. aesthetics, которая свяжет ось x нашего графика и столбец данных mpg, а также
- функцию geom_histogram() с параметрами bins (количество интервалов) и binwidth (их ширина), которая и будет отвечать за создание гистограммы
|
# данными будет датасет mtcars, столбцом по оси x — mpg ggplot(data = mtcars, aes(x = mpg)) + # типом графика будет гистограмма с 10 интервалами шириной 5 миль на галлон каждый geom_histogram(bins = 10, binwidth = 5) |
Примерно также мы можем построить график плотности распределения (density plot). Только теперь мы передадим функции aes() еще один параметр
fill = as.factor(vs), который (предварительно превратив столбец в фактор через as.factor()) позволит разбить данные на две категории по столбцу vs. В этом датасете признак vs указывает на конфигурацию двигателя (расположение цилиндров), v-образное, v-shaped (vs == 0) или рядное, straight (vs == 1).
Кроме того, для непосредственного построения графика мы будем использовать новую функцию geom_density() с параметром alpha, отвечающим за прозрачность заполнения пространства под кривыми.
|
ggplot(data = mtcars, aes(x = mpg, fill = as.factor(vs))) + geom_density(alpha = 0.3) |
Дополнительно замечу, что к столбцам датафрейма можно применять множество различных функций, например, рассчитать среднее арифметическое или медиану с помощью несложных для запоминания mean() и median().
|
mean(mtcars$mpg) median(mtcars$mpg) |
Кроме того, мы можем применить уже знакомую нам функцию summary(), которая для количественного столбца выдаст минимальное и максимальное значения, первый (Q1) и третий (Q2) квартили, а также медиану и среднее значение.
|
Min. 1st Qu. Median Mean 3rd Qu. Max. 10.40 15.43 19.20 20.09 22.80 33.90 |
В файле ниже содержится созданный нами код на R.
Вернемся к основной теме занятия.
Подробнее про Anaconda
Conda
Программа conda, как уже было сказано, объединяет в себе систему управления пакетами (как pip) и, кроме того, позволяет создавать окружения.
Идея виртуального окружения (virtual environment) заключается в том, что если в рамках вашего проекта вы, например, используете определенную версию библиотеки Numpy и установка более ранней или более поздней версии приведет к сбоям в работе вашего кода, хорошим решением была бы изоляция нужной версии Numpy, а также всех остальных используемых вами библиотек. Именно для этого и нужно виртуальное окружение.
Рассмотрим, как мы можем устанавливать пакеты и создавать окружения через Anaconda Prompt и через Anaconda Navigator.
Anaconda Prompt
Про пакеты. По аналогии с pip, установленные (в текущем окружении) пакеты можно посмотреть с помощью команды
conda list.
Установить пакет можно с помощью команды
conda install <package_name>. Обновить пакет можно через
conda update <package_name>. Например, снова попробуем установить Numpy. о
Про окружения. По умолчанию мы работаем в базовом окружении (base environment). Посмотреть, какие в целом установлены окружения можно с помощью команды
conda info —envs.
Как вы видите, пока у нас есть только одно окружение. Давайте создадим еще одно виртуальное окружение и назовем его, например, waterfall.
Введите команду
conda create —name waterfall.
Введем две команды
- conda activate waterfall для активации нового окружения
- conda list для того, чтобы посмотреть установленные в нем пакеты
Как вы видите, в новом окружении нет ни одного пакета. Введем
conda search seaborn, чтобы посмотреть какие версии этого пакета доступны для скачивания.
Скачаем этот пакет через
conda install seaborn. Проверим установку с помощью
conda list.
Как вы видите, помимо seaborn было установлено множество других необходимых для работы пакета библиотек. Вернуться в базовое окружение можно с помощью команд
conda activate base или
conda deactivate.
Импорт модулей и переменная path
На прошлом занятии мы научились импортировать собственный модуль в командной строке Windows (cmd).
Посмотрим, отличается ли содержимое списка path для двух установленных версий Питона. Для этого в командной строке Windows и в Anaconda Prompt перейдем в интерактивный режим с помощью
python. Затем введем
Как мы видим, пути в переменной path будут отличаться и это нужно учитывать, если мы хотим локально запускать собственные модули.
Anaconda Navigator
Запускать программы, управлять окружениями и устанавливать необходимые библиотеки можно также через Anaconda Nagivator. На вкладке Home вы видите программы, которые можно открыть (launch) или установить (install) для текущего окружения.
На вкладке Environments отображаются созданные нами окружения (в частности, окружение waterfall, которое мы создали ранее) и содержащиеся в них пакеты.
В целом интерфейс интуитивно понятен, и так как мы уже познакомились с принципом создания окружений и установки в них дополнительных пакетов, уверен, работа с Anaconda Navigator сложностей не вызовет.
Прежде чем завершить, обратимся к еще одной программе для интерактивного программирования JupyterLab.
JupyterLab
JupyterLab — расширенная версия Jupyter Notebook, которая также входит в дистрибутив Anaconda. Запустить эту программу можно через Anaconda Navigator или введя команду
jupyter lab в Anaconda Prompt.
После запуска вы увидите вкладку Launcher, в которой можно создать новый ноутбук (Notebook) на Питоне или R, открыть консоль (Console) на этих языках, а также создать файлы в различных форматах (Other). Слева вы видите список папок компьютера.
В разделе Console нажмем на Python 3 (ipykernel). Введем несложный код (см. ниже) и исполним его, нажимая Shift + Enter.
Как вы видите, здесь мы можем писать код на Питоне так же, как мы это делали в командной строке Windows на прошлом занятии. Закроем консоль.
В файловой системе слева мы можем открывать уже созданные ноутбуки. Например, откроем ноутбук на R rprogramming.ipynb.
В левом меню на второй сверху вкладке мы видим открытые горизонтальные вкладки (Launcher и rprogramming.ipynb), а также запущенные ядра (kernels).
Консольные ядра (Console 1 и Console 2) можно открыть (по сути, мы снова запустим консоль).
Две оставшиеся вертикальные вкладки открывают доступ к автоматическому оглавлению (content) и расширениям (extensions).
Вкладки Run и Kernel в верхнем меню JupyterLab в целом аналогичны вкладкам Cell и Kernel в JupyterNotebook.
Подведем итог
На сегодняшнем занятии мы познакомились с программой Jupyter Notebook, а также изучили дистрибутив Anaconda, в состав которого входит эта программа.
Говоря о программе Jupyter Notebook, мы узнали про возможности работы с ячейками и ядром программы. Кроме того, мы познакомились с языком разметки Markdown и написанием формул с помощью языка верстки LaTeX.
После этого мы установили ядро для программирования на R и рассмотрели основы этого языка.
При изучении дистрибутива Anaconda мы позникомились с системой conda и попрактиковались в установке библиотек и создании окружений через Anaconda Prompt и Anaconda Navigator.
Наконец мы узнали про особенности программы JupyterLab.
Вопросы для закрепления
Вопрос. Что такое Anaconda?
Посмотреть правильный ответ
Ответ: Anaconda — это дистрибутив Питона (с репозиторием пакетов) и отдельной программой управления окружениями и пакетами conda. Пользователь может взаимодействовать с этой программой через терминал (Anaconda Prompt) и графический интерфейс (Anaconda Navigator).
Помимо этого, в дистрибутив Anaconda входят, среди прочих, программы Jupyter Notebook и JupyterLab.
Вопрос. Какой тип ячеек доступен в Jupyter Notebook?
Посмотреть правильный ответ
Ответ: в Jupyter Notebook есть два основных типа ячеек — ячейки для написания кода (в частности, на Питоне и R) и текстовые ячейки, поддерживающие Markdown и LaTeX.
Вопрос. Для чего нужно виртуальное окружение?
Посмотреть правильный ответ
Ответ: виртуальное окружение (virtual environment) позволяет установить и изолировать определенные версии Питона и его пакетов. Таким образом код, написанный с учетом конкретной версии Питона и дополнительных библиотек, исполнится без ошибок.
Ответы на вопросы
Вопрос. Можно ли исполнить код на R в Google Colab?
Ответ. Да, это возможно. Причем двумя способами.
Способ 1. Откройте ноутбук. Введите и исполните команду
%load_ext rpy2.ipython. В последующих ячейках введите
%R, чтобы в этой же строке написать код на R или
%%R, если хотите, чтобы вся ячейка исполнилась как код на R (так называемые магические команды).
В этом случае мы можем исполнять код на двух языках внутри одного ноутбука.
|
# введем магическую команду, которая позволит программировать на R %load_ext rpy2.ipython |
|
# команда %%R позволит Colab распознать ячейку как код на R %%R # кстати, числовой вектор можно создать просто с помощью двоеточия x <— 1:10 x |
|
# при этом ничто не мешает нам продолжать писать код на Питоне import numpy as np np.mean([1, 2, 3]) |
Приведенный выше код можно найти в дополнительных материалах⧉ к занятию.
Способ 2. Если вы хотите, чтобы весь код исполнялся на R (как мы это делали в Jupyter Notebook), создайте новый ноутбук используя одну из ссылок ниже:
- https://colab.research.google.com/#create=true&language=r⧉
- https://colab.to/r⧉
Теперь, если вы зайдете на вкладку Runtime → Change runtime type, то увидите, что можете выбирать между Python и R.
Выведем версию R в Google Colab.
|
‘R version 4.2.0 (2022-04-22)’ |
Посмотреть на установленные пакеты можно с помощью
installed.packages(). Созданный ноутбук Google Colab на R доступен по ссылке⧉.
Вопрос. Очень медленно загружается Anaconda. Можно ли что-то сделать?
Ответ. Можно работать через Anaconda Prompt, эта программа быстрее графического интерфейса Anaconda Navigator.
Кроме того, можно использовать дистрибутив Miniconda⧉, в который входит conda, Питон и несколько ключевых пакетов. Остальные пакеты устанавливаются вручную по мере необходимости.
Вопрос. Разве Jupyter не должен писаться через i, как Jupiter?
Ответ. Вы правы в том плане, что название Jupyter Notebook происходит не от планеты Юпитер, которая по-английски как раз пишется через i (Jupiter), а представляет собой акроним от названий языков программирования Julia, Python и R.
При этом, как утверждают разработчики⧉, слово Jupyter также отсылает к тетрадям (notebooks) Галилея, в которых он, в частности, документировал наблюдение за лунами Юпитера.
Вопрос. В каких еще программах можно писать код на Питоне и R?
Ответ. Таких программ несколько. Довольно удобно пользоваться облачным решением Kaggle. Там можно создавать как скрипты (scripts, в том числе RMarkdown Scripts), так и ноутбуки на Питоне и R. Подробнее можно почитать в документации⧉ на их сайте.
Вопрос. Можно ли создать виртуальное окружение каким-либо другим способом помимо программы conda?
Ответ. Да, можно. Вот здесь⧉ есть хорошая видео-инструкция.
Вот коротко какие шаги нужно выполнить.
Вначале убедитесь, что у вас уже установлен Питон. В нем по умолчанию содержится модуль venv, который как раз предназначен для создания виртуального окружения.
Шаг 1. Создайте папку с вашим проектом, например, пусть это будет папка webapp для веб-приложения на популярном фреймворке для Питона Django.
Шаг 2. В командной строке перейдите в папку webapp.
Затем введите команду для создания виртуального окружения.
По сути мы говорим Питону создать окружение djenv (название может быть любым) с помощью модуля venv. Переключатель (flag или switch)
-m подсказывает питону, что venv — это модуль, а не файл.
После выполнения этой команды создается папка djenv виртуального окружения.
Шаг 3. Активируем это виртуальное окружение следующей командой.
Здесь мы обращаемся к файлу activate внутри папки Scripts. Как вы видите, название окружения появилось слева от пути к папке.
Теперь через pip можно устанавливать пакеты, которые будут «видны» только внутри виртуального окружения djenv.
Шаг 4. Выйти из этого виртуального окружения можно с помощью команды deactivate. Если вам нужно удалить окружение, сначала деактивируйте его, а затем вручную удалите соответствующую папку.
На следующем занятии мы поговорим про такую важную тему, как регулярные выражения.
Эта статья в основном представляет подробный процесс установки Anaconda3 в системе Windows 10.
1. Скачайте установочный пакет с официального сайта
Загрузите последнюю версию установочного пакета Anaconda с официального сайта:
https://www.anaconda.com/distribution/
В соответствии с вашими потребностями выберите установочный пакет, соответствующий версии вашего компьютера. На моем компьютере установлена 64-разрядная версия win10, поэтому загрузите установочный пакет, как показано на рисунке ниже.
2. Подробные инструкции по установке
1. После завершения загрузки найдите загруженный файл и дважды щелкните файл, чтобы запустить программу установки.
2. Щелкните Далее.
3. Щелкните Я согласен.
4. Выберите «Все пользователи», нажмите «Далее», если появится всплывающее окно подтверждения разрешения системы, нажмите «Согласен».
5. Создайте новую папку Anaconda3 на диске C, используйте ее в качестве пути для установки и нажмите Далее.
6. Установите оба флажка, нажмите «Установить» и дождитесь завершения установки.
7. Нет необходимости устанавливать VScode, просто нажмите пропустить.
8. Нажмите Finish, установка завершена.
9. После завершения установки откройте командную строку CMD компьютера (нажмите клавишу с логотипом WIN + R, затем введите CMD, нажмите OK),
Введите в него python. Если возвращенная информация — 2 на рисунке ниже, а подсказка — 3 на рисунке ниже, установка успешно завершена.
3. Интерактивный режим и редактор
В приведенном выше CMD мы вошли в командную строку интерактивного режима Python.Командная строка интерактивного режима может отображать результаты выполнения входного кода в реальном времени, но не может сохранить написанный код.
Интерактивные символы Python >>>
Введите exit () + Enter, чтобы выйти из Python
Поэтому нам нужен редактор, чтобы заранее написать и сохранить наш код и, наконец, использовать Python для запуска кода.
Теоретически все, что может редактировать текст, можно использовать в качестве редактора, но для уменьшения количества ошибок и повышения эффективности мы обычно используем специальный редактор для редактирования кода.
4. Введение в общие среды
Часто используемый редактор или интегрированная среда разработки:
- PyCharm: есть бесплатная версия сообщества и платная профессиональная версия, IDE, разработанная для Python.
- NotePad ++: бесплатный редактор с открытым исходным кодом, поддержка богатых плагинов, поддержка китайского интерфейса
- Atom: бесплатный редактор с открытым исходным кодом, запущенный Github, который поддерживает множество плагинов.
- Sublime: платный редактор Python, поддерживает богатые плагины
- Spyder: встроенная среда разработки Anaconda с открытым исходным кодом.
- IDLE: официальный встроенный редактор Python.
- jupyter notebook: редактор, который объединяет множество функций и имеет то преимущество, что он интерактивен. Он поддерживает несколько языков, таких как Python (IPython), Julia, R и т. Д. Вы можете сохранить код отображения в том же интерфейсе, отобразить результаты выполнения и запустить код в интерактивном режиме в реальном времени.Это очень удобно для новичков и не требует чрезмерной настройки.
- JupyterLab: это обновленная версия ноутбука jupyter. Он имеет модульную структуру, вы можете открывать несколько записных книжек или файлов (таких как HTML, текст, Markdown и т. Д.) В том же окне, что и вкладки. Это обеспечивает больше опыта, подобного IDE.
5. Включите Jupyter Notebook.
Есть два способа включить Jupyter Notebook:
1. Нажмите на ярлык, созданный при установке (удобно, но не рекомендуется)
2. Выполнить в CMD: jupyter notebook. (Рекомендуемое использование)
3. Откройте любую папку, нажмите Shift + щелкните правой кнопкой мыши, а затем введите jupyter notebook в поле оболочки (рекомендуется, преимущество этого метода в том, что сформированный файл ipynb будет сохранен в текущей папке для удобства управления)
метод первый:
Способ второй:
Способ третий:
Если появляется следующий интерфейс, это означает, что Jupyter Notebook успешно включен.
После открытия нажмите новый, чтобы создать файл ipynb python3.
Окончательный новый интерфейс выглядит так:
6. Включите Jupyter Lab.
Метод такой же, как и три метода включения Jupyter Notebook, просто измените входной блокнот jupyter на jupyter lab.