Colaboratory

Часто задаваемые вопросы

Общие сведения

Что такое Colaboratory?link

Это облачный сервис на основе Jupyter Notebook, не требующий установки, с бесплатным доступом к вычислительным ресурсам, включая графические процессоры и TPU. Colab применяется главным образом для машинного обучения, обработки данных и образовательных проектов.

Он действительно бесплатный?link

Да. Сервисом Colab можно пользоваться бесплатно.

Звучит заманчиво. Какие есть ограничения?link

Сервис Colab создан для того, чтобы предоставлять вычислительные ресурсы как можно большему числу учащихся и нуждающихся по всему миру. Поэтому приоритет отдается тем, кто активно программирует в блокноте. В Colab также запрещены действия, которые негативно сказываются на других пользователях и позволяют обходить наши правила безопасности. Ознакомиться с подробным списком ограничений можно в этом разделе. Мы не гарантируем вам доступ к ресурсам в Colab. Кроме того, на их использование действуют лимиты, которые иногда меняются. Это необходимо, чтобы работать с сервисом можно было бесплатно. Подробнее о лимитах на использование ресурсов

Какие действия запрещены в Colab?link

В управляемых средах выполнения Colab запрещены действия, которые негативно сказываются на других пользователях и позволяют обходить наши правила, а именно:

К сожалению, мы не можем рассказать больше о том, как работает наша система обнаружения нарушений, иначе эта информация позволит злоумышленникам использовать Colab в своих целях.

Есть и другие ограничения. Поскольку наша задача – предоставлять ресурсы учащимся и нуждающимся по всему миру, приоритет отдается тем, кто активно программирует в блокноте. Некоторые действия в бесплатной управляемой среде выполнения Colab могут быть приостановлены в любой момент без предупреждения, если на балансе окажется недостаточно вычислительных единиц. К таким действиям относятся:

Чтобы снять эти ограничения, приобретите тарифный план и поддерживайте положительный баланс вычислительных единиц. Обратите внимание, что мы не всегда приостанавливаем действия, описанные выше. По возможности мы предоставляем ресурсы всем, кто в них нуждается.

Вы можете купить гарантированные ресурсы, на которые не распространяются ограничения Colab, в GCP Marketplace или Colab Enterprise, а также использовать локальную среду выполнения на своем устройстве. Обратите внимание, что в обоих случаях подключение Google Диска к файловой системе в среде выполнения поддерживаться не будет.

Почему прерывается сеанс в среде выполнения Colab?link

Сервис Colab создан для того, чтобы предоставлять вычислительные ресурсы как можно большему числу учащихся и нуждающихся по всему миру. Поэтому приоритет отдается тем, кто активно программирует в блокноте.

Как правило, сеансы пользователей бесплатной версии могут прерываться при попытке обойти интерфейс блокнота и использовать веб-интерфейс среды выполнения Colab для генерации контента. Связанные с этим процессом технологии пользуются популярностью, но требуют значительных вычислительных ресурсов. Наша более приоритетная задача – помогать с программированием.

Тем не менее вы можете снять ограничения, купив тарифный план.

Вы можете купить гарантированные ресурсы, на которые не распространяются ограничения Colab, в GCP Marketplace или Colab Enterprise, а также использовать локальную среду выполнения на своем устройстве. Обратите внимание, что в обоих случаях подключение Google Диска к файловой системе в среде выполнения поддерживаться не будет.

В чем разница между Jupyter и Colab?link

Jupyter – это открытая платформа, на базе которой построен сервис Colab. В сервисе можно работать с блокнотами Jupyter и делиться ими с другими людьми. При этом ничего не нужно скачивать и устанавливать.

Использование Colab

Где хранятся мои блокноты? Могу ли я делиться ими с другими людьми?link

Блокноты Colab можно сохранять на Google Диске или загружать из сервиса GitHub. Делиться блокнотами Colab так же легко, как Google Документами или Таблицами. Просто нажмите кнопку "Поделиться" в правом верхнем углу блокнота Colab или предоставьте общий доступ к файлу на Google Диске, как описано в этой статье.

Что смогут видеть в блокноте другие пользователи, если я поделюсь им?link

Другим пользователям будет доступно все содержимое вашего блокнота (текст, код, выходные данные и комментарии). Вы можете сохранить блокнот или поделиться им, не сохраняя выходные данные. Для этого выберите Изменить > Настройки блокнота > Исключить выходные данные кодовой ячейки при сохранении блокнота. К виртуальной машине, в том числе к созданным вами файлам и библиотекам, не будет предоставлен общий доступ, поэтому мы рекомендуем добавить ячейки для установки и загрузки любых пользовательских библиотек и файлов, которые требуются в вашем блокноте.

Можно ли импортировать готовый блокнот Jupyter или IPython в Colab?link

Да. Для этого выберите в меню "Файл" пункт "Загрузить блокнот".

Как искать блокноты Colab?link

Для этого воспользуйтесь Google Диском. В левом верхнем углу блокнота нажмите на значок Colab, чтобы открыть список всех блокнотов на Диске. Вы также можете найти блокноты, которые открывали недавно, в меню Файл > Открыть блокнот.

Где выполняется мой код? Как изменится состояние выполнения, если я закрою окно браузера?link

Код выполняется на виртуальной машине, выделенной для вашего аккаунта. Виртуальная машина удаляется, если она бездействует в течение некоторого времени, а также когда истекает максимальный срок ее использования, установленный сервисом Colab.

Как можно вывести данные?link

Любой блокнот Colab, который вы создали, можно скачать с Google Диска или из меню "Файл" в окне Colab. Все блокноты Colab сохраняются в открытом формате Jupyter Notebook (IPYNB).

Как сбросить настройки виртуальной машины, на которой выполняется мой код, и почему иногда это невозможно сделать?link

Чтобы вернуть исходное состояние всех назначенных вам виртуальных машин, выберите Среда выполнения > Отключиться от среды выполнения и удалить ее. Это может помочь, если виртуальная машина стала работать неправильно из-за случайной замены системных файлов или установки несовместимого программного обеспечения. Сбрасывать настройки можно с определенным интервалом. Это позволяет предотвратить чрезмерное потребление ресурсов. В случае ошибки повторите попытку позже.

Почему при выполнении команды drive.mount() превышается время ожидания? И почему при попытке выполнить операции I/O, считывающие данные из папок, происходит сбой?link

Время ожидания может превышаться, когда в одном каталоге на Google Диске содержится слишком много файлов и подпапок. Не храните в корневом каталоге "Мой диск" более десяти тысяч объектов, так как в этом случае есть вероятность ошибок при подключении.
Если вы столкнулись с такой проблемой, переместите файлы и папки из раздела "Мой диск". Помните, что в каждой подпапке тоже должно храниться не более десяти тысяч объектов.
Похожая проблема может возникнуть при считывании данных из других папок после успешного выполнения команды drive.mount(). Если в папке много объектов, при попытке получить доступ к ним есть вероятность появления ошибки, например OSError: [Errno 5] Input/output error. Эта проблема решается аналогичным способом.
Обратите внимание, что, если просто переместить файлы и вложенные папки в корзину, ошибка может повториться. Для устранения проблемы очистите корзину.
Вы также можете использовать альтернативу Google Диску – хранилище DagsHub. Этот сервис предназначен для машинного обучения и работы с большими наборами данных. Он лучше справляется с масштабированием и более надежен при выполнении задач, типичных для Colab. Более подробная информация содержится в документации DagsHub. Также вы можете ознакомиться с образцом блокнота. DagsHub – это сторонний сервис, который не аффилирован с компанией Google.

Почему команда drive.mount() иногда выполняется медленно?link

Файлы на Google Диске могут храниться далеко от ячеек памяти, занятых сеансом Colab. Чтобы повысить производительность кода, реже используйте методы read и write при работе с Диском. Помните, что операции в папках, подключенных командой drive.mount(), совершаются в рамках сеанса Colab. Если попытка переместить файлы из одной папки в другую через Colab прервется, вы можете потерять все данные.

Почему команда "Подключить Диск" иногда вставляет код в блокнот?link

Подключение Google Диска к Colab открывает коду доступ ко всем файлам в вашем хранилище. Обычно пользователи должны вручную предоставлять этот доступ при каждом подключении к новой среде выполнения, добавляя в блокнот кодовую ячейку. Так они подтверждают предоставляемые блокноту разрешения.
Иногда достаточно один раз разрешить доступ к Google Диску, и в последующих сеансах он будет подключаться автоматически. Это возможно, только когда блокнот проходит несколько проверок. Например, отредактированные другим пользователем блокноты не будут автоматически подключать Google Диск.

Почему некоторые операции на Google Диске не удается выполнить из-за превышения квоты?link

На Google Диске установлены различные ограничения. Например, это квоты на количество операций с одним файлом и количество операций, проводимых одним пользователем, а также на максимальную пропускную способность. При превышении любой из квот возникает ошибка ввода/вывода, как в примере выше. Вы увидите сообщение об этом в интерфейсе Colab. Часто причиной ошибки может стать то, что вы пытаетесь получить доступ к популярному файлу или быстро открыть слишком много разных файлов. Вот несколько способов избежать этой проблемы:

Почему некоторые операции не удается выполнить из-за превышения квоты хранилища Google Диска?link

Каждый пользователь может хранить на Google Диске ограниченный объем данных. Если при попытке выполнить ту или иную операцию на Диске возникает ошибка ввода/вывода и появляется уведомление о том, что превышена квота хранилища, освободите место на Диске. Для этого удалите часть файлов через интерфейс drive.google.com и очистите корзину. Через некоторое время освобожденное пространство будет доступно в Colab.

Вы можете приобрести дополнительное пространство на Google Диске. Обратите внимание, что, купив место на Google Диске, вы не увеличите доступное пространство на виртуальных машинах Colab. Это можно сделать, оформив подписку Colab Pro.

Лимиты использования ресурсов link

Почему сервис Colab не гарантирует доступа к ресурсам?link

Мы предоставляем мощные графические процессоры по относительно невысокой цене. Чтобы это было возможным, в Colab действует гибкое регулирование доступа к аппаратному обеспечению и лимитов на использование.

В бесплатной версии доступ к таким дорогостоящим ресурсам, как графические процессоры, значительно ограничен. В платной версии пользователям открывается намного больше возможностей по приемлемой цене.

Вы можете купить гарантированные ресурсы, на которые не распространяются ограничения Colab, в GCP Marketplace или Colab Enterprise, а также использовать локальную среду выполнения на своем устройстве. Обратите внимание, что в обоих случаях подключение Google Диска к файловой системе в среде выполнения поддерживаться не будет.

Каковы лимиты на использование ресурсов Colab?link

Ресурсы в Colab предоставляются бесплатно, но они ограничены, а доступ к ним не гарантирован. Лимиты на использование, а также время простоя, максимальная продолжительность работы виртуальной машины, доступ к некоторым типам графических процессоров и другие параметры могут варьироваться. По этой причине мы нигде не указываем лимиты.

Чтобы получить больше вычислительных ресурсов и увеличить длительность сеансов, приобретите подписку. У тарифных планов тоже есть адаптивные лимиты, то есть доступность ресурсов может со временем меняться. Для подписчиков, которые израсходовали вычислительные единицы, действуют правила и ограничения бесплатной версии сервиса, пока баланс не будет пополнен.

Вы можете купить гарантированные ресурсы, на которые не распространяются ограничения Colab, в GCP Marketplace или Colab Enterprise, а также использовать локальную среду выполнения на своем устройстве. Обратите внимание, что в обоих случаях подключение Google Диска к файловой системе в среде выполнения поддерживаться не будет.

Какие типы графических и тензорных процессоров доступны в Colab?link

Типы доступных графических и тензорных процессоров меняются со временем. Это необходимо, чтобы ресурсами Colab можно было пользоваться бесплатно.

Вы можете оформить подписку, чтобы работать с более мощными графическими процессорами, когда они доступны.

Если вам нужно специализированное аппаратное обеспечение, поищите его в GCP Marketplace.

Как долго могут работать блокноты в Colab?link

Платформа Colab предназначена для вычислений в интерактивном режиме. При бездействии среда выполнения отключается.

В бесплатной версии Colab блокноты работают не более 12 часов в зависимости от общей нагрузки на сервис и того, как вы им пользуетесь. В планах Colab Pro и Pro+, а также при оплате по мере использования этот лимит увеличивается с учетом того, сколько у вас вычислительных ресурсов.

Как правило, блокноты работают не более 12 часов в зависимости от нагрузки на сервис и того, как вы им пользуетесь. Если у вас закончатся вычислительные ресурсы в Colab Pro, Pro+ или при оплате по мере использования, выполнение серверного кода может прекратиться.

В Colab Pro+ код может выполняться непрерывно в течение 24 часов при условии, что у вас достаточно ресурсов. Отключение при бездействии происходит, только если прекращается выполнение кода.

Чтобы снять ограничения на время выполнения и работу в фоновом режиме, приобретите виртуальную машину в Google Cloud Platform Marketplace.

Сколько памяти доступно в Colab?link

В бесплатной версии вам доступны виртуальные машины со стандартным объемом памяти.

С платным тарифом вы можете работать на виртуальных машинах с большим объемом памяти в зависимости от их наличия и вашего баланса вычислительных единиц.

Под памятью подразумевается системная память. У всех чипов графических процессоров одинаковый объем памяти.

Как использовать все возможности Colab?link

Закрывайте вкладки Colab, с которыми больше не работаете. Кроме того, старайтесь не нагружать графические процессоры или дополнительную память без необходимости. Так вы будете меньше сталкиваться с лимитами на использование. Вы всегда можете купить больше вычислительной мощности через Pay As You Go.

Подробнее о том, как эффективнее использовать подписку на Colab

Появилось сообщение о том, что мой графический процессор не используется. Что делать?link

Сервис Colab предлагает дополнительные возможности для ускорения вычислений, в том числе графические процессоры и TPU. Однако они могут не использоваться, даже если код выполняется в среде с графическим процессором или TPU. Чтобы не столкнуться с лимитами на использование графического процессора, рекомендуем работать в стандартной среде выполнения, если графический процессор не требуется. Нажмите Среда выполнения > Сменить среду выполнения и для параметра Аппаратный ускоритель выберите значение Нет.

Примеры использования сред выполнения с графическим процессором и TPU в Colab приводятся в образцах блокнотов TensorFlow с графическим процессором и TPU в сервисе Colab.

Программирование с помощью искусственного интеллекта

Как получить доступ к программированию с помощью ИИ в Colab?link

Мы постепенно выпускаем функции для программирования с помощью ИИ, например автозаполнение, чат-бот и преобразование естественного языка в код. Они основаны на передовых ИИ-моделях Google.

Доступ к этим функциям уже есть у пользователей в некоторых регионах.

Без подписки отдельными возможностями искусственного интеллекта можно пользоваться лишь ограниченное время.

Можно ли использовать программирование с помощью искусственного интеллекта при создании кода для коммерческого применения?link

В Colab есть информация о программировании и обучающие материалы, но программирование с помощью искусственного интеллекта в Colab пока находится на стадии эксперимента. Вы сами отвечаете за создание кода и пояснения к нему. Действуйте по своему усмотрению, а также тщательно тестируйте код и проверяйте его на ошибки и уязвимости.

Если сгенерированный код регулируется лицензией открытого ПО, в Colab будет добавлена информация об этом.

О чем можно спрашивать Gemini в Colab?link

Задавайте только те вопросы, которые связаны с Colab или программированием в Colab. Если вы хотите узнать информацию о чем-нибудь ещё, например о языке Java, рекомендуем использовать Gemini для общих запросов.

Какие языки программирования поддерживаются в Colab?link

Функции программирования с помощью искусственного интеллекта в Colab лучше всего подходят для Python.

Ответы в Colab точные? Им можно доверять?link

Программирование с помощью искусственного интеллекта в Colab – это экспериментальная функция. Некоторые ответы могут быть неточными, поэтому тщательно проверяйте их. Ваши отзывы помогают нам улучшать возможности искусственного интеллекта в Colab.

Генеративный искусственный интеллект позволяет быстрее воплощать идеи в жизнь, но эта технология только развивается. Программирование с помощью искусственного интеллекта ещё находится на стадии эксперимента. В соответствии с нашими принципами в отношении искусственного интеллекта в Colab есть встроенные инструменты безопасности и четкие механизмы обратной связи. Однако помните, что в некоторых случаях сервис может генерировать неточную или неприемлемую информацию и неправильные ссылки.

Как оставить отзыв об ответе искусственного интеллекта?link

Если вы получили ненадежный, бесполезный, неточный или неподходящий ответ, сообщите нам об этом, отправив отзыв.

Для этого нажмите на значок "Нравится" или "Не нравится" в правом нижнем углу ответа.

Как отключить функции для программирования с помощью ИИ в Colab?link

В меню "Инструменты" выберите "Настройки" и нажмите "ИИ-функции".

Откроется страница, на которой вы сможете отозвать согласие и скрыть функции для программирования с помощью искусственного интеллекта.

Как и когда в ответах Colab добавляются цитаты из других источников?link

Функции программирования с помощью искусственного интеллекта в Colab, как и некоторые другие автономные большие языковые модели, предназначены для генерирования оригинального контента, а не полного воспроизведения существующего. В наших системах вероятность цитирования ограничена, и мы продолжаем совершенствовать их. Если в Colab приводится прямая цитата, то указывается ее источник.

Какие данные вы собираете? Как они используются?link

Когда вы используете возможности генеративного искусственного интеллекта в Colab, Google собирает следующие данные: запросы, связанный код, сгенерированные результаты, информацию об использовании связанных функций и ваши отзывы. Мы используем эти данные, чтобы предоставлять, улучшать и разрабатывать продукты, сервисы и технологии машинного обучения от Google, включая системы для бизнеса, такие как Google Cloud.

Чтобы обеспечивать качество наших продуктов и улучшать их, специалисты Google могут читать, размечать и обрабатывать ваши запросы, связанный код, сгенерированные результаты, информацию об использовании связанных функций и отзывы. Не указывайте в запросах и отзывах личную или конфиденциальную информацию, с помощью которой можно установить вашу личность или личность других людей. Мы храним ваши данные не более 18 месяцев. Google не может идентифицировать пользователей, предоставляющих такие данные, и выполнять запросы на удаление.

В чем разница между кнопкой "Сгенерировать" в ячейке кода и запросом к Gemini в Colab?link

Если нажать "Сгенерировать" в ячейке кода, откроется контекстная справка для помощи в написании фрагментов кода. Он создается на основе вашего запроса и расположенных рядом записей в блокноте – из них берется контекст для модели.

К Gemini в Colab можно обращаться с общими вопросами о программировании на Python. Вместе с фрагментами кода даются пояснения.

Дополнительные вопросы

Какие браузеры поддерживаются?link

Colab работает в большинстве основных браузеров и наиболее тщательно испытан в последних версиях браузеров Chrome, Firefox и Safari.

Как сервис связан с ресурсом colaboratory.jupyter.org?link

В 2014 году мы работали с командой разработчиков Jupyter над созданием ранней версии сервиса. Затем сервис Colab получил самостоятельное развитие с учетом отзывов пользователей.

Можно ли использовать другие языки программирования?link

В сервисе Colab приоритет отдается языку Python и связанной с ним экосистеме инструментов сторонних разработчиков. Нам известно, что пользователи интересуются, будет ли поддержка других ядер для Jupyter (например, R или Scala). Мы бы хотели внедрить их, но пока не располагаем никакой точной информацией об этом.

Мне нужно сообщить об ошибке или задать вопрос. Как с вами связаться?link

Откройте любой блокнот Colab и в меню "Справка" выберите "Отправить отзыв".

Почему меня просят включить сторонние файлы cookie?link

Colab использует HTML-файлы iframe и service worker, расположенные на отдельных узлах, для безопасного показа наглядных выходных данных. В браузерах требуют включить сторонние файлы cookie для использования файлов service worker внутри iframe. Если вы не хотите включать их для всех сайтов, в настройках браузера добавьте в список исключений следующее имя хоста: googleusercontent.com.

Как изменить шрифт редактора?link

В редакторе Colab используется базовый моноширинный шрифт, но в большинстве современных браузеров его можно изменить. Вот несколько примеров:

Есть ли в Colab поддержка Python 2?link

Python 2 больше не поддерживается в Colab. Подробнее о переносе кода Python 2 на Python 3

Где можно узнать больше о платных версиях Colab?link

Эта информация есть в разделе часто задаваемых вопросов на странице регистрации.

Как оплачиваются подписки?link

Информацию о стоимости Colab Pro, Colab Pro+ и Pay As You Go, а также о смене тарифа вы найдете на странице регистрации.

Как получить доступ к Colab в аккаунте Workspace?link

В Google Workspace доступом к Colab управляет администратор организации.

Чтобы учащиеся младше 18 лет могли пользоваться дополнительными сервисами в своих аккаунтах Google Workspace for Education, необходимо согласие родителей. Запросить его можно с помощью этого шаблона уведомления. Не забудьте добавить Colab в список дополнительных сервисов.

Подробную информацию вы найдете в статье Справочного центра Как проинформировать родителей и законных представителей о Google Workspace for Education.