Was tun, wenn die Datenanalyse wegen Speichermangels in Pandas abbricht
TuBrief 편집팀
2026년 7월 13일
0
Computing/Software원본 영상을 바탕으로 AI의 도움을 받아 작성했습니다. 원본 영상이 기준입니다.
커뮤니티의 다른 글
댓글 (0)
Log in to leave a comment
아직 작성된 글이 없습니다
원본 영상을 바탕으로 AI의 도움을 받아 작성했습니다. 원본 영상이 기준입니다.
Log in to leave a comment
아직 작성된 글이 없습니다
Pandas lädt Daten komplett in den Arbeitsspeicher (RAM). Das ist der Grund, warum Python "abstürzt", wenn Sie versuchen, eine 20-GB-CSV-Datei auf einem Laptop mit 16 GB RAM zu öffnen. Sobald die Daten ein wenig zu groß werden, bleibt der Laptop hängen und der Jupyter-Notebook-Kernel stirbt. Sie können nicht jedes Mal die Daten neu sampeln oder Ihren Computer aufrüsten.
Verwenden Sie stattdessen DuckDB. Dieses Tool lädt nur die Daten, die Sie gerade benötigen. Es lädt nicht den gesamten Datensatz in den RAM, sondern durchsucht nur die relevanten Teile mittels SQL-Syntax. Es gibt einen Grund, warum es unter Dateningenieuren als ernsthafte Alternative zu Pandas gehandelt wird.
Die Umstellung Ihrer Datenanalyse-Umgebung ist einfacher als gedacht. Behalten Sie Ihren bestehenden Pandas-DataFrame bei und tauschen Sie lediglich die Engine aus.
duckdb.sql(). Die tatsächliche Berechnung findet hier noch nicht statt..df() aufrufen.Dieser Ansatz bietet mehr Effizienz, als nur den Code zu ändern. Aufgaben, bei denen der RAM bei einem groupby in Pandas explodierte, laufen in DuckDB dank der Nutzung des Festplattenspeichers stabil durch.
Wenn Sie mit großen Datensätzen arbeiten, kommt es häufig vor, dass der gesamte RAM verbraucht wird und das Programm stirbt. Um dies zu verhindern, sollten Sie eine Leitplanke in Ihrer Arbeitsumgebung installieren.
Fügen Sie den folgenden Code am Anfang Ihres Skripts ein:
`python
import duckdb
con = duckdb.connect()
con.execute("SET memory_limit = '4GB'")
con.execute("SET temp_directory = './tmp'")
`
memory_limit ist das Limit, das festlegt, wie viel RAM DuckDB maximal verwenden darf. Wenn Sie es auf 4 GB einstellen, friert das gesamte System auf meinem Laptop mit 16 GB RAM nicht ein. Wenn der RAM nicht ausreicht, schreibt DuckDB die Daten automatisch in temporäre Festplattendateien. Ein Benchmark aus dem Jahr 2023 zeigte, dass DuckDB bei der Verarbeitung einer 140 GB großen Parquet-Datei nur 1,3 GB RAM benötigte. Mit Pandas hätte dieser Vorgang dutzende Gigabyte an RAM beansprucht und wäre schließlich abgestürzt.
Der nervigste Moment bei der Datenanalyse ist, wenn das Parsing aufgrund eines falschen Formats stoppt. Wenn beim Laden einer CSV-Datei die Datentypen nicht übereinstimmen, können Sie nicht einmal mit der Analyse beginnen.
Aktivieren Sie die folgenden Optionen bei der Verwendung der Funktion read_csv:
`python
con.execute("""
SELECT * FROM read_csv('data.csv',
columns={'id': 'INTEGER', 'value': 'DOUBLE'},
store_rejects=true,
strict_mode=false)
""")
`
Auf diese Weise wird der gesamte Prozess nicht durch Daten unterbrochen, die nicht dem Format entsprechen. Fehlerhafte Zeilen werden in einer separaten Tabelle isoliert. Später können Sie einfach die Tabelle reject_errors abfragen, um zu prüfen, warum die Daten beschädigt waren.
Analyse bedeutet nicht, Werkzeuge zu reparieren. Es geht darum, Erkenntnisse aus Daten zu gewinnen. Hören Sie auf, den Code dutzende Male wegen Speicherproblemen neu zu starten, und sorgen Sie stattdessen durch den Wechsel der Engine für eine effiziente Verarbeitung.