Что делать, если анализ данных прерывается из-за нехватки памяти в Pandas
TuBrief 편집팀
2026년 7월 13일
0
Computing/Software원본 영상을 바탕으로 AI의 도움을 받아 작성했습니다. 원본 영상이 기준입니다.
커뮤니티의 다른 글
댓글 (0)
Log in to leave a comment
아직 작성된 글이 없습니다
원본 영상을 바탕으로 AI의 도움을 받아 작성했습니다. 원본 영상이 기준입니다.
Log in to leave a comment
아직 작성된 글이 없습니다
Pandas загружает данные в оперативную память целиком. Именно поэтому Python «умирает», если вы пытаетесь открыть CSV-файл размером 20 ГБ на ноутбуке с 16 ГБ ОЗУ. Даже при небольшом увеличении объема данных ноутбук зависает, а ядро Jupyter Notebook завершается с ошибкой. Вы не можете постоянно делать выборку данных или покупать новый компьютер.
Вместо этого используйте DuckDB. Эта библиотека считывает только те данные, которые необходимы в данный момент. Она не загружает весь набор данных в память, а обрабатывает только нужные фрагменты с помощью синтаксиса SQL. Есть причина, по которой дата-инженеры все чаще выбирают её в качестве альтернативы Pandas.
Изменение среды анализа данных проще, чем кажется. Оставьте существующие DataFrame-структуры Pandas на своих местах, заменив только движок.
duckdb.sql() пропишите необходимые условия и агрегации. Фактические вычисления на этом этапе еще не происходят..df() в самом конце.Этот подход обеспечивает эффективность, выходящую далеко за рамки простого изменения кода. Операции, которые приводили к переполнению памяти при использовании groupby в Pandas, в DuckDB стабильно выполняются с использованием дискового пространства.
При работе с большими данными часто случаются ситуации, когда память заканчивается и программа завершается. Чтобы этого избежать, установите «ограждения» в рабочей среде.
Добавьте следующий код в начало скрипта:
`python
import duckdb
con = duckdb.connect()
con.execute("SET memory_limit = '4GB'")
con.execute("SET temp_directory = './tmp'")
`
memory_limit — это лимит, определяющий, сколько оперативной памяти может использовать DuckDB. Если установить его на 4 ГБ, то даже на ноутбуке с 16 ГБ ОЗУ система не будет зависать. Если оперативной памяти недостаточно, DuckDB автоматически записывает данные во временные файлы на диске. Согласно тестам 2023 года, при обработке Parquet-файла размером 140 ГБ DuckDB потребовалось всего 1,3 ГБ ОЗУ для завершения задачи. В случае с Pandas этот процесс занял бы десятки гигабайт памяти и, скорее всего, завершился бы сбоем.
Самый раздражающий момент в анализе данных — когда процесс останавливается из-за некорректного формата. Если типы данных в CSV-файле не соответствуют ожидаемым, анализ даже не начнется.
При использовании функции read_csv активируйте следующие опции:
`python
con.execute("""
SELECT * FROM read_csv('data.csv',
columns={'id': 'INTEGER', 'value': 'DOUBLE'},
store_rejects=true,
strict_mode=false)
""")
`
Благодаря этому весь процесс не прервется из-за несоответствия формата. Ошибочные строки будут изолированы в отдельной таблице. Позже вы сможете просмотреть таблицу reject_errors и выяснить, почему данные оказались повреждены.
Анализ — это не исправление инструментов. Это работа по извлечению инсайтов из данных. Перестаньте десятки раз перезапускать код из-за нехватки памяти, сначала обеспечьте эффективность обработки, заменив движок.