🧠 מהמוח למכונה — השראה נוירוביולוגית ל-AI

למה זה חשוב

כל מה שאנחנו קוראים לו "Neural Networks" בעולם ה-AI התחיל כניסיון לחקות את המוח. מ-McCulloch ו-Pitts ב-1943 ועד ל-Deep Learning של היום, הקשר בין נוירומדע לבינה מלאכותית הוא אחד מהסיפורים המרתקים ביותר במדע.

• הנוירון המלאכותי נולד מתוך ניסיון למדל נוירון ביולוגי.
• מנגנונים כמו Attention, Reinforcement Learning, ו-Memory Networks קיבלו השראה ישירה מהמוח.
• אבל הפער בין מה שהמוח עושה לבין מה שרשתות נוירונים עושות -- הוא עצום.
• הבנת הפער הזה היא המפתח לדור הבא של AI.

הנוירון הביולוגי עובד ב-1000Hz. הנוירון הדיגיטלי ב-1GHz. ועדיין המוח מנצח בזיהוי חתולים.

רעיונות מרכזיים

ההיסטוריה: מ-McCulloch-Pitts ל-Deep Learning

הקשר בין נוירומדע ו-AI עובר דרך נקודות מפתח:

1943 — McCulloch & Pitts: מודל מתמטי ראשון של נוירון
1949 — Hebb: "Neurons that fire together wire together"
1958 — Rosenblatt: Perceptron — הנוירון הלומד הראשון
1969 — Minsky & Papert: מוכיחים מגבלות Perceptron → "AI Winter"
1986 — Rumelhart, Hinton, Williams: Backpropagation מחדש
1989 — LeCun: CNNs לזיהוי ספרות (בהשראת Visual Cortex)
2012 — AlexNet: Deep Learning מנצח ב-ImageNet
2017 — Transformers: Attention Is All You Need
2020+ — Neuromorphic Computing, SNNs, Brain-Inspired AI

נוירון ביולוגי מול נוירון מלאכותי

בואו נשווה בין השניים:

נוירון ביולוגי:
                    Dendrites (קלט)
                        |
    ← Axon ← [Cell Body / Soma] ← Dendrites
                    |
              Synapse (פלט)

    - מקבל אותות כימיים/חשמליים דרך Dendrites
    - אם הסכום עובר Threshold → Action Potential (Spike)
    - Spike נשלח דרך ה-Axon ל-Synapses
    - כל Synapse משחרר Neurotransmitters

נוירון מלאכותי:
    x1 --(*w1)--> \
    x2 --(*w2)-->  Σ + b --> activation(z) --> output
    x3 --(*w3)--> /

    - מקבל קלטים מספריים
    - מכפיל במשקלים, מוסיף Bias
    - מעביר דרך Activation Function
    - מוציא ערך רציף

Hebbian Learning מול Backpropagation

Hebbian Learning (1949) -- הכלל הנוירוביולוגי הבסיסי ביותר:

"Neurons that fire together wire together"

אם שני נוירונים פעילים בו-זמנית, החיבור ביניהם מתחזק:

$\Delta w_{ij} = \eta \cdot x_i \cdot x_j$

כאשר $\eta$ הוא קצב הלמידה, ו-$x_i, x_j$ הן הפעילויות של שני הנוירונים.

Backpropagation -- האלגוריתם שלא קיים במוח אבל עובד הכי טוב:

$\Delta w_{ij} = -\eta \cdot \frac{\partial L}{\partial w_{ij}}$

כאשר $L$ היא פונקציית ה-Loss. האלגוריתם דורש:

1. Forward pass -- חישוב הפלט
2. חישוב Loss -- כמה טעינו
3. Backward pass -- שליחת הגרדיאנט אחורה דרך כל השכבות

כללי למידה Biologically Plausible

חוקרים מחפשים אלגוריתמים שגם עובדים טוב וגם אפשריים ביולוגית:

Spike-Timing-Dependent Plasticity (STDP):

אם Neuron A יורה לפני Neuron B → חיזוק (LTP)
אם Neuron A יורה אחרי Neuron B → החלשה (LTD)

    Δw
     ^
     |    *
     |   *
     |  *
     | *
-----+---------> Δt (ms)
     |*
     | *
     |  *
     |   *

$\Delta w = \begin{cases} A_+ \exp(-\Delta t / \tau_+) & \text{if } \Delta t > 0 \\ -A_- \exp(\Delta t / \tau_-) & \text{if } \Delta t < 0 \end{cases}$

כאשר $\Delta t = t_{post} - t_{pre}$.

Feedback Alignment (Lillicrap et al., 2016) -- במקום להשתמש במשקלים המדויקים של ה-forward path, משתמשים במשקלים אקראיים קבועים ל-backward pass. מפתיע שזה עובד!

Predictive Coding -- במקום Backpropagation, כל שכבה מנסה לחזות את הקלט שלה. הלמידה מתבססת על מזעור ה-Prediction Error:

$\epsilon_l = x_l - f(\hat{x}_l)$

כאשר $x_l$ הוא הקלט בפועל לשכבה $l$, ו-$f(\hat{x}_l)$ הוא החיזוי מהשכבה שמעל.

Spiking Neural Networks (SNNs)

בעוד רשתות נוירונים קלאסיות עובדות עם ערכים רציפים, Spiking Neural Networks מחקות את הדינמיקה הזמנית של נוירונים ביולוגיים:

נוירון קלאסי (Rate-based):
    Input → Weight × Input → Activation → Output (ערך רציף)

נוירון Spiking (Temporal):
    Input → Membrane Potential מצטבר →
    אם V > threshold → Spike! → Reset

המודל הבסיסי הוא Leaky Integrate-and-Fire (LIF):

$\tau_m \frac{dV}{dt} = -(V - E_L) + R_m I(t)$

כאשר:

• $V$ -- Membrane Potential
• $E_L$ -- Resting Potential (בערך $-70mV$)
• $\tau_m$ -- Time Constant (כמה מהר שוכח)
• $R_m$ -- Membrane Resistance
• $I(t)$ -- זרם נכנס

אם $V > V_{threshold}$ → Spike! → $V \leftarrow V_{reset}$

import numpy as np

def simulate_lif_neuron(I_input, dt=0.1, T=100):
    """Simulate a Leaky Integrate-and-Fire neuron"""
    tau_m = 10.0    # membrane time constant (ms)
    E_L = -70.0     # resting potential (mV)
    V_th = -55.0    # threshold (mV)
    V_reset = -75.0 # reset potential (mV)
    R_m = 10.0      # membrane resistance (MΩ)

    steps = int(T / dt)
    V = np.zeros(steps)
    V[0] = E_L
    spikes = []

    for t in range(1, steps):
        dV = (-(V[t-1] - E_L) + R_m * I_input[t]) / tau_m
        V[t] = V[t-1] + dV * dt

        if V[t] >= V_th:
            spikes.append(t * dt)
            V[t] = V_reset

    return V, spikes

Neuromorphic Computing — חומרה שמחקה מוח

במקום להריץ SNNs על חומרה רגילה (שעוצבה לחישוב קלאסי), חוקרים בונים חומרה שמחקה את המבנה הפיזי של המוח:

Intel Loihi 2:

• מכיל עד מיליון "נוירונים" על שבב
• כל נוירון מחובר לאלפי אחרים
• למידה On-chip עם STDP
• צריכת אנרגיה: מיליוואטים (לעומת מאות ואטים ב-GPU)

IBM TrueNorth:

• 1 מיליון נוירונים, 256 מיליון סינפסות
• צריכת אנרגיה: 70mW
• Event-driven -- לא שעון גלובלי

BrainScaleS (Human Brain Project):

• Analog neuromorphic -- מדמה פיזיקה של נוירונים
• פועל 10,000x מהר מזמן ביולוגי

השוואה:
┌────────────────────┬───────────┬──────────────┬──────────────┐
│ Platform           │ Neurons   │ Power        │ Speed        │
├────────────────────┼───────────┼──────────────┼──────────────┤
│ Intel Loihi 2      │ 1M        │ ~1W          │ Real-time    │
│ IBM TrueNorth      │ 1M        │ 70mW         │ Real-time    │
│ NVIDIA A100 (GPU)  │ Simulated │ 400W         │ Depends      │
│ Human Brain        │ 86B       │ 20W          │ Real-time    │
└────────────────────┴───────────┴──────────────┴──────────────┘

Predictive Coding ו-Free Energy Principle

Predictive Coding היא תאוריה שלפיה המוח הוא בעיקרו מכונת חיזוי. במקום לעבד כל גירוי מאפס, המוח:

1. מחזה מה הוא הולך לקלוט
2. משווה את החיזוי לקלט בפועל
3. מעביר למעלה רק את ה-Prediction Error

Hierarchical Predictive Coding:

    Higher Level (Abstract)
        |  prediction ↓    ↑ error
    Lower Level (Concrete)
        |  prediction ↓    ↑ error
    Sensory Input

דוגמה:
    "אני מצפה לראות חתול" (prediction)
    → מקבל תמונת כלב (input)
    → Prediction Error! → עדכון המודל

Free Energy Principle (Karl Friston) -- התאוריה שכל מערכת חיה פועלת למזער את ה-Free Energy שלה, שזה בעצם bound על ה-Surprise:

$F = D_{KL}[q(\theta) \| p(\theta | x)] - \log p(x)$

בפישוט: המוח מנסה למזער הפתעה על ידי:

1. שינוי המודל הפנימי (Perception / Learning)
2. שינוי הקלט — כלומר פעולה בעולם (Active Inference)

$F \geq -\log p(x) = \text{Surprise}$

הפער בין נוירומדע ל-AI

למרות ההשראה ההיסטורית, הפער בין המוח ל-AI עצום:

כיוונים עתידיים

1. Neuro-AI Convergence -- שימוש ב-AI כמודל לחקר המוח, ובמוח כהשראה ל-AI
2. Energy-Efficient AI -- למידה מהמוח לבנות AI שצורך פחות אנרגיה
3. Continual Learning -- פתרון Catastrophic Forgetting בהשראת המוח (ראו learning-memory-plasticity)
4. Embodied AI -- רובוטים שלומדים כמו תינוקות
5. Consciousness in AI -- השאלה הגדולה: האם AI יכול להיות בעל תודעה?

🛤️ מאיפה מתחילים

רקע נדרש

• Neural Networks -- הבנת הבסיס של רשתות נוירונים
• Transformers -- הארכיטקטורה הדומיננטית ב-AI
• בסיס במתמטיקה: אלגברה לינארית, חדו"א, הסתברות

סדר לימוד מומלץ

1. Neuroscience Basics (Coursera: Computational Neuroscience, U. Washington)
2. קראו: "How to Build a Brain" — Chris Eliasmith
3. Neuromorphic Computing (Intel Loihi Tutorials)
4. SNNs עם snnTorch / NEST
5. Predictive Coding — מאמרי Rao & Ballard (1999)
6. Free Energy Principle — מאמרי Karl Friston

כלים ופריימוורקים

קריאה מומלצת

• Theoretical Neuroscience -- Dayan & Abbott (הספר הקאנוני)
• Neuronal Dynamics -- Gerstner et al. (זמין חינם אונליין)
• Deep Learning and the Brain -- Richards et al. (2019)

📚 לימוד אקדמי

💼 שאלות לראיון עבודה

קישורים לנושאים אחרים

• Neural Networks -- הנוירון המלאכותי והקשר להשראה ביולוגית
• Transformers -- Attention — מנגנון שקיבל השראה (חלקית) מהמוח
• CPU vs GPU -- למה חומרה קלאסית לא מספיקה
• FPGA & TPU -- מאיצי חומרה, השלב הבא: Neuromorphic
• Computational Neuroscience -- מודלים מתמטיים מפורטים של נוירונים
• Learning, Memory & Plasticity -- איך המוח לומד באמת