Colaboratory

Часто задаваемые вопросы

Общие сведения

Что такое Colaboratory?link

Это облачный сервис на основе Jupyter Notebook, не требующий установки, с бесплатным доступом к вычислительным ресурсам, включая графические процессоры и TPU. Colab применяется главным образом для машинного обучения, обработки данных и образовательных проектов.

Он действительно бесплатный?link

Да. Сервисом Colab можно пользоваться бесплатно.

Звучит заманчиво. Какие есть ограничения?link

Сервис Colab создан для того, чтобы предоставлять вычислительные ресурсы как можно большему числу учащихся и нуждающихся по всему миру. Поэтому приоритет отдается тем, кто активно программирует в блокноте. В Colab также запрещены действия, которые негативно сказываются на других пользователях и позволяют обходить наши правила безопасности. Ознакомиться с подробным списком ограничений можно в этом разделе. Мы не гарантируем вам доступ к ресурсам в Colab. Кроме того, на их использование действуют лимиты, которые иногда меняются. Это необходимо, чтобы работать с сервисом можно было бесплатно. Подробнее о лимитах на использование ресурсов

Какие действия запрещены в Colab?link

В управляемых средах выполнения Colab запрещены действия, которые негативно сказываются на других пользователях и позволяют обходить наши правила, а именно:

К сожалению, мы не можем рассказать больше о том, как работает наша система обнаружения нарушений, иначе эта информация позволит злоумышленникам использовать Colab в своих целях.

Есть и другие ограничения. Поскольку наша задача – предоставлять ресурсы учащимся и нуждающимся по всему миру, приоритет отдается тем, кто активно программирует в блокноте. Некоторые действия в бесплатной управляемой среде выполнения Colab могут быть приостановлены в любой момент без предупреждения, если на балансе окажется недостаточно вычислительных единиц. К таким действиям относятся:

Чтобы снять эти ограничения, приобретите тарифный план и поддерживайте положительный баланс вычислительных единиц. Обратите внимание, что мы не всегда приостанавливаем действия, описанные выше. По возможности мы предоставляем ресурсы всем, кто в них нуждается.

Вы можете купить гарантированные ресурсы, на которые не распространяются ограничения Colab, в GCP Marketplace или Colab Enterprise, а также использовать локальную среду выполнения на своем устройстве. Обратите внимание, что в обоих случаях подключение Google Диска к файловой системе в среде выполнения поддерживаться не будет.

Почему прерывается сеанс в среде выполнения Colab?link

Сервис Colab создан для того, чтобы предоставлять вычислительные ресурсы как можно большему числу учащихся и нуждающихся по всему миру. Поэтому приоритет отдается тем, кто активно программирует в блокноте.

Как правило, сеансы пользователей бесплатной версии могут прерываться при попытке обойти интерфейс блокнота и использовать веб-интерфейс среды выполнения Colab для генерации контента. Связанные с этим процессом технологии пользуются популярностью, но требуют значительных вычислительных ресурсов. Наша более приоритетная задача – помогать с программированием.

Тем не менее вы можете снять ограничения, купив тарифный план.

Вы можете купить гарантированные ресурсы, на которые не распространяются ограничения Colab, в GCP Marketplace или Colab Enterprise, а также использовать локальную среду выполнения на своем устройстве. Обратите внимание, что в обоих случаях подключение Google Диска к файловой системе в среде выполнения поддерживаться не будет.

В чем разница между Jupyter и Colab?link

Jupyter – это открытая платформа, на базе которой построен сервис Colab. В сервисе можно работать с блокнотами Jupyter и делиться ими с другими людьми. При этом ничего не нужно скачивать и устанавливать.

Использование Colab

Где хранятся мои блокноты? Могу ли я делиться ими с другими людьми?link

Блокноты Colab можно сохранять на Google Диске или загружать из сервиса GitHub. Делиться блокнотами Colab так же легко, как Google Документами или Таблицами. Просто нажмите кнопку "Поделиться" в правом верхнем углу блокнота Colab или предоставьте общий доступ к файлу на Google Диске, как описано в этой статье.

Что смогут видеть в блокноте другие пользователи, если я поделюсь им?link

Другим пользователям будет доступно все содержимое вашего блокнота (текст, код, выходные данные и комментарии). Вы можете сохранить блокнот или поделиться им, не сохраняя выходные данные. Для этого выберите Изменить > Настройки блокнота > Исключить выходные данные кодовой ячейки при сохранении блокнота. К виртуальной машине, в том числе к созданным вами файлам и библиотекам, не будет предоставлен общий доступ, поэтому мы рекомендуем добавить ячейки для установки и загрузки любых пользовательских библиотек и файлов, которые требуются в вашем блокноте.

Можно ли импортировать готовый блокнот Jupyter или IPython в Colab?link

Да. Для этого выберите в меню "Файл" пункт "Загрузить блокнот".

Как искать блокноты Colab?link

Для этого воспользуйтесь Google Диском. В левом верхнем углу блокнота нажмите на значок Colab, чтобы открыть список всех блокнотов на Диске. Вы также можете найти блокноты, которые открывали недавно, в меню Файл > Открыть блокнот.

Где выполняется мой код? Как изменится состояние выполнения, если я закрою окно браузера?link

Код выполняется на виртуальной машине, выделенной для вашего аккаунта. Виртуальная машина удаляется, если она бездействует в течение некоторого времени, а также когда истекает максимальный срок ее использования, установленный сервисом Colab.

Как можно вывести данные?link

Любой блокнот Colab, который вы создали, можно скачать с Google Диска или из меню "Файл" в окне Colab. Все блокноты Colab сохраняются в открытом формате Jupyter Notebook (IPYNB).

Как сбросить настройки виртуальной машины, на которой выполняется мой код, и почему иногда это невозможно сделать?link

Чтобы вернуть исходное состояние всех назначенных вам виртуальных машин, выберите Среда выполнения > Отключиться от среды выполнения и удалить ее. Это может помочь, если виртуальная машина стала работать неправильно из-за случайной замены системных файлов или установки несовместимого программного обеспечения. Сбрасывать настройки можно с определенным интервалом. Это позволяет предотвратить чрезмерное потребление ресурсов. В случае ошибки повторите попытку позже.

Почему при выполнении команды drive.mount() превышается время ожидания? И почему при попытке выполнить операции I/O, считывающие данные из папок, происходит сбой?link

Время ожидания может превышаться, когда в одном каталоге на Google Диске содержится слишком много файлов и подпапок. Не храните в корневом каталоге "Мой диск" более десяти тысяч объектов, так как в этом случае есть вероятность ошибок при подключении.
Если вы столкнулись с такой проблемой, переместите файлы и папки из раздела "Мой диск". Помните, что в каждой подпапке тоже должно храниться не более десяти тысяч объектов.
Похожая проблема может возникнуть при считывании данных из других папок после успешного выполнения команды drive.mount(). Если в папке много объектов, при попытке получить доступ к ним есть вероятность появления ошибки, например OSError: [Errno 5] Input/output error. Эта проблема решается аналогичным способом.
Обратите внимание, что, если просто переместить файлы и вложенные папки в корзину, ошибка может повториться. Для устранения проблемы очистите корзину.
Вы также можете использовать альтернативу Google Диску – хранилище DagsHub. Этот сервис предназначен для машинного обучения и работы с большими наборами данных. Он лучше справляется с масштабированием и более надежен при выполнении задач, типичных для Colab. Более подробная информация содержится в документации DagsHub. Также вы можете ознакомиться с образцом блокнота. DagsHub – это сторонний сервис, который не аффилирован с компанией Google.

Почему команда drive.mount() иногда выполняется медленно?link

Файлы на Google Диске могут храниться далеко от ячеек памяти, занятых сеансом Colab. Чтобы повысить производительность кода, реже используйте методы read и write при работе с Диском. Помните, что операции в папках, подключенных командой drive.mount(), совершаются в рамках сеанса Colab. Если попытка переместить файлы из одной папки в другую через Colab прервется, вы можете потерять все данные.

Почему команда "Подключить Диск" иногда вставляет код в блокнот?link

Подключение Google Диска к Colab открывает коду доступ ко всем файлам в вашем хранилище. Обычно пользователи должны вручную предоставлять этот доступ при каждом подключении к новой среде выполнения, добавляя в блокнот кодовую ячейку. Так они подтверждают предоставляемые блокноту разрешения.
Иногда достаточно один раз разрешить доступ к Google Диску, и в последующих сеансах он будет подключаться автоматически. Это возможно, только когда блокнот проходит несколько проверок. Например, отредактированные другим пользователем блокноты не будут автоматически подключать Google Диск.

Почему некоторые операции на Google Диске не удается выполнить из-за превышения квоты?link

На Google Диске установлены различные ограничения. Например, это квоты на количество операций с одним файлом и количество операций, проводимых одним пользователем, а также на максимальную пропускную способность. При превышении любой из квот возникает ошибка ввода/вывода, как в примере выше. Вы увидите сообщение об этом в интерфейсе Colab. Часто причиной ошибки может стать то, что вы пытаетесь получить доступ к популярному файлу или быстро открыть слишком много разных файлов. Вот несколько способов избежать этой проблемы:

Почему некоторые операции не удается выполнить из-за превышения квоты хранилища Google Диска?link

Каждый пользователь может хранить на Google Диске ограниченный объем данных. Если при попытке выполнить ту или иную операцию на Диске возникает ошибка ввода/вывода и появляется уведомление о том, что превышена квота хранилища, освободите место на Диске. Для этого удалите часть файлов через интерфейс drive.google.com и очистите корзину. Через некоторое время освобожденное пространство будет доступно в Colab.

Вы можете приобрести дополнительное пространство на Google Диске. Обратите внимание, что, купив место на Google Диске, вы не увеличите доступное пространство на виртуальных машинах Colab. Это можно сделать, оформив подписку Colab Pro.

Лимиты использования ресурсов link

Почему сервис Colab не гарантирует доступа к ресурсам?link

Мы предоставляем мощные графические процессоры по относительно невысокой цене. Чтобы это было возможным, в Colab действует гибкое регулирование доступа к аппаратному обеспечению и лимитов на использование.

В бесплатной версии доступ к таким дорогостоящим ресурсам, как графические процессоры, значительно ограничен. В платной версии пользователям открывается намного больше возможностей по приемлемой цене.

Вы можете купить гарантированные ресурсы, на которые не распространяются ограничения Colab, в GCP Marketplace или Colab Enterprise, а также использовать локальную среду выполнения на своем устройстве. Обратите внимание, что в обоих случаях подключение Google Диска к файловой системе в среде выполнения поддерживаться не будет.

Каковы лимиты на использование ресурсов Colab?link

Ресурсы в Colab предоставляются бесплатно, но они ограничены, а доступ к ним не гарантирован. Лимиты на использование, а также время простоя, максимальная продолжительность работы виртуальной машины, доступ к некоторым типам графических процессоров и другие параметры могут варьироваться. По этой причине мы нигде не указываем лимиты.

Чтобы получить больше вычислительных ресурсов и увеличить длительность сеансов, приобретите подписку. У тарифных планов тоже есть адаптивные лимиты, то есть доступность ресурсов может со временем меняться. Для подписчиков, которые израсходовали вычислительные единицы, действуют правила и ограничения бесплатной версии сервиса, пока баланс не будет пополнен.

Вы можете купить гарантированные ресурсы, на которые не распространяются ограничения Colab, в GCP Marketplace или Colab Enterprise, а также использовать локальную среду выполнения на своем устройстве. Обратите внимание, что в обоих случаях подключение Google Диска к файловой системе в среде выполнения поддерживаться не будет.

Какие типы графических и тензорных процессоров доступны в Colab?link

Типы доступных графических и тензорных процессоров меняются со временем. Это необходимо, чтобы ресурсами Colab можно было пользоваться бесплатно.

Вы можете оформить подписку, чтобы работать с более мощными графическими процессорами, когда они доступны.

Если вам нужно специализированное аппаратное обеспечение, поищите его в GCP Marketplace.

Как долго могут работать блокноты в Colab?link

Платформа Colab предназначена для вычислений в интерактивном режиме. При бездействии среда выполнения отключается.

В бесплатной версии Colab блокноты работают не более 12 часов в зависимости от общей нагрузки на сервис и того, как вы им пользуетесь. В планах Colab Pro и Pro+, а также при оплате по мере использования этот лимит увеличивается с учетом того, сколько у вас вычислительных ресурсов.

Как правило, блокноты работают не более 12 часов в зависимости от нагрузки на сервис и того, как вы им пользуетесь. Если у вас закончатся вычислительные ресурсы в Colab Pro, Pro+ или при оплате по мере использования, выполнение серверного кода может прекратиться.

В Colab Pro+ код может выполняться непрерывно в течение 24 часов при условии, что у вас достаточно ресурсов. Отключение при бездействии происходит, только если прекращается выполнение кода.

Чтобы снять ограничения на время выполнения и работу в фоновом режиме, приобретите виртуальную машину в Google Cloud Platform Marketplace.

Сколько памяти доступно в Colab?link

В бесплатной версии вам доступны виртуальные машины со стандартным объемом памяти.

С платным тарифом вы можете работать на виртуальных машинах с большим объемом памяти в зависимости от их наличия и вашего баланса вычислительных единиц.

Под памятью подразумевается системная память. У всех чипов графических процессоров одинаковый объем памяти.

Как использовать все возможности Colab?link

Закрывайте вкладки Colab, с которыми больше не работаете. Кроме того, старайтесь не нагружать графические процессоры или дополнительную память без необходимости. Так вы будете меньше сталкиваться с лимитами на использование. Вы всегда можете купить больше вычислительной мощности через Pay As You Go.

Подробнее о том, как эффективнее использовать подписку на Colab

Появилось сообщение о том, что мой графический процессор не используется. Что делать?link

Сервис Colab предлагает дополнительные возможности для ускорения вычислений, в том числе графические процессоры и TPU. Однако они могут не использоваться, даже если код выполняется в среде с графическим процессором или TPU. Чтобы не столкнуться с лимитами на использование графического процессора, рекомендуем работать в стандартной среде выполнения, если графический процессор не требуется. Нажмите Среда выполнения > Сменить среду выполнения и для параметра Аппаратный ускоритель выберите значение Нет.

Примеры использования сред выполнения с графическим процессором и TPU в Colab приводятся в образцах блокнотов TensorFlow с графическим процессором и TPU в сервисе Colab.

Новые ИИ-функции в Colab

Какие новые ИИ-функции появились в Google Colab?link

С этим обновлением Colab станет вашим полноценным помощником в написании программ. ИИ-инструменты теперь тесно интегрированы в интерфейс. Они ускоряют выполнение задач и рабочих процессов. Общаться с ИИ можно через единый разговорный интерфейс прямо в блокноте. Основные функции:

Как воспользоваться новыми ИИ-функциями в Colab?link

Они активируются для вас по умолчанию, если вы соответствуете требованиям, и доступны в любой части интерфейса Colab. Проще всего нажать на значок искры в нижней части блокнота. Тогда откроется главная панель чата с Gemini. Кроме того, по мере ввода текста ИИ будет подсказывать вам возможные запросы.

У меня не появились ИИ-функции. Почему?link

Для доступа к ним в аккаунте Google должен быть указан возраст больше 18 лет. В этом случае у вас появятся все инструменты, например значок искры для Gemini и подсказки от ИИ. Если этого не произошло, проверьте, доступны ли они в вашем регионе.

Если вы соответствуете всем требованиям, а ИИ-функции все же отключены, сообщите об этом в разделе отзывов внутри приложения (Справка > Отправить отзыв). Чтобы получить ответ по электронной почте, установите флажок "Мы можем запрашивать у вас дополнительные сведения или сообщать вам об обновлениях по электронной почте".

Какие возможности есть у ИИ в Colab?link

Эти функции очень разнообразны. Например, ИИ может:

Может ли ИИ выполнять код из блокнота автономно?link

Да. Основная способность ИИ – планировать достижение цели и осуществлять эти шаги. Если задача состоит из нескольких этапов, агент представит вам план ее выполнения. Такой задачей может быть, например, анализ набора данных. Когда вы одобрите шаги, агент начнет выполнять их. При этом вы сможете контролировать его действия. По мере работы ИИ оценивает ее результаты, самостоятельно исправляет ошибки и корректирует план в целом.

Получают ли ИИ-функции доступ к интернету?link

Непосредственно подключаться к интернету они не могут. Но ИИ в Colab способен генерировать и выполнять некоторые виды кода: например, запрос для вызова API или виджет для скачивания файла в вашу среду.

Может ли ИИ в Colab получить доступ к моим файлам на Google Диске или конфиденциальным данным?link

По умолчанию эта информация для ИИ недоступна. Получить ее можно только при генерации определенного кода по вашему прямому запросу.

Какие файлы может анализировать ИИ в Colab?link

Поддерживается несколько популярных форматов: CSV, TSV, JSON, а также файлы Excel (XLS, XLSX, XLSM, XLSB). Загружать данные для анализа можно прямо в интерфейсе чата.

Как оставить отзыв о работе ИИ-функций Colab?link

Ваши мнения очень помогают нам в улучшении инструментов. Рядом с каждым ответом ИИ вы увидите значки "Нравится" и "Не нравится". С их помощью можно оценить качество выходных данных. Чтобы написать подробный комментарий, нажмите на значок с тремя точками справа и в открывшемся меню выберите пункт "Отправить отзыв".

Как использовать код, сгенерированный ИИ в Colab?link

ИИ в Colab помогает быстрее генерировать идеи и автоматизировать рабочие процессы. Однако вы несете полную ответственность за использование сгенерированного кода. Перед тем как внедрять его в проект, обязательно проверьте, протестируйте и согласуйте результат. Это поможет убедиться в точности, надежности и уместности решений. Чтобы упростить эту задачу, ИИ сопровождает ссылками фрагменты кода, скопированные из открытых источников.

Какие данные вы собираете? Как они используются?link

Когда вы используете возможности генеративного искусственного интеллекта в Colab, Google собирает следующие данные: запросы, связанный код, сгенерированные результаты, информацию об использовании связанных функций и ваши отзывы. Мы используем эти данные, чтобы предоставлять, улучшать и разрабатывать продукты, сервисы и технологии машинного обучения от Google, включая системы для бизнеса, такие как Google Cloud.

Чтобы обеспечивать качество наших продуктов и улучшать их, специалисты Google могут читать, размечать и обрабатывать ваши запросы, связанный код, сгенерированные результаты, информацию об использовании связанных функций и отзывы. Не указывайте в запросах и отзывах личную или конфиденциальную информацию, с помощью которой можно установить вашу личность или личность других людей. Мы храним ваши данные не более 18 месяцев. Google не может идентифицировать пользователей, предоставляющих такие данные, и выполнять запросы на удаление.

Дополнительные вопросы

Какие браузеры поддерживаются?link

Colab работает в большинстве основных браузеров и наиболее тщательно испытан в последних версиях браузеров Chrome, Firefox и Safari.

Как сервис связан с ресурсом colaboratory.jupyter.org?link

В 2014 году мы работали с командой разработчиков Jupyter над созданием ранней версии сервиса. Затем сервис Colab получил самостоятельное развитие с учетом отзывов пользователей.

Можно ли использовать другие языки программирования?link

В сервисе Colab приоритет отдается языку Python и связанной с ним экосистеме инструментов сторонних разработчиков. Нам известно, что пользователи интересуются, будет ли поддержка других ядер для Jupyter (например, R или Scala). Мы бы хотели внедрить их, но пока не располагаем никакой точной информацией об этом.

Мне нужно сообщить об ошибке или задать вопрос. Как с вами связаться?link

Откройте любой блокнот Colab и в меню "Справка" выберите "Отправить отзыв".

Почему меня просят включить сторонние файлы cookie?link

Colab использует HTML-файлы iframe и service worker, расположенные на отдельных узлах, для безопасного показа наглядных выходных данных. В браузерах требуют включить сторонние файлы cookie для использования файлов service worker внутри iframe. Если вы не хотите включать их для всех сайтов, в настройках браузера добавьте в список исключений следующее имя хоста: googleusercontent.com.

Как изменить шрифт редактора?link

В редакторе Colab используется базовый моноширинный шрифт, но в большинстве современных браузеров его можно изменить. Вот несколько примеров:

Есть ли в Colab поддержка Python 2?link

Python 2 больше не поддерживается в Colab. Подробнее о переносе кода Python 2 на Python 3

Где можно узнать больше о платных версиях Colab?link

Эта информация есть в разделе часто задаваемых вопросов на странице регистрации.

Как оплачиваются подписки?link

Информацию о стоимости Colab Pro, Colab Pro+ и Pay As You Go, а также о смене тарифа вы найдете на странице регистрации.

Как получить доступ к Colab в аккаунте Workspace?link

В Google Workspace доступом к Colab управляет администратор организации.

Чтобы учащиеся младше 18 лет могли пользоваться дополнительными сервисами в своих аккаунтах Google Workspace for Education, необходимо согласие родителей. Запросить его можно с помощью этого шаблона уведомления. Не забудьте добавить Colab в список дополнительных сервисов.

Подробную информацию вы найдете в статье Справочного центра Как проинформировать родителей и законных представителей о Google Workspace for Education.