Unifying Two Operators with One PIM: Leveraging Hybrid Bonding for Efficient LLM Inference

Dieses Kapitel untersucht die Herausforderungen und Lösungen im Bereich effizienter großsprachiger Modelle (LLM) und konzentriert sich dabei auf die duale rechnerische Beschaffenheit von Vorfüll- und Dekodierphasen. Es stellt HB-PIM vor, eine hybride bonding-basierte Processing-in-Memory-Architektur (PIM), die GEMM- und GEMV-Operationen vereint, die Hardwarenutzung verbessert und die Verarbeitungslatenz verringert. Der Text vertieft sich in die Hardwarearchitektur von HB-PIM, einschließlich seiner Dual-Mode-Verarbeitungseinheit und seines Scheduling-Frameworks, das die Arbeitslastaufteilung und Datenplatzierung optimiert. Experimentelle Ergebnisse zeigen signifikante Leistungsverbesserungen gegenüber den modernsten Basislinien und unterstreichen die Vorteile der Hybrid-Bonding-Technologie bei der LLM-Inferenz. Das Kapitel behandelt auch verwandte Arbeiten in PIM-Architekturen und die Aufteilung der Arbeitslast und bietet einen umfassenden Überblick über die aktuelle Landschaft und zukünftige Richtungen in diesem Bereich.