Harness² איך גורמים לסוכן AI לשדרג את עצמו

מה זה Harness² ואיך הוא עובד?

כל סוכן AI מורכב מהמודל ומה-Harness שסביבו: הוראות מערכת, גבולות, זיכרון, כלים, תתי-סוכנים, סקילים ותוספים. Harness² מכוון את המעטפת הזאת בלולאה של שלושה צעדים: Propose מציע גרסאות, Probe מריץ כל גרסה על אותה משימה, ו-Compose משלב את מה שעבד. המודל נשאר קפוא. ספריית שיפור וקובץ EXPERIENCE.md שומרים לקחים למשימות הבאות. הפרויקט פותח בידי Google Cloud AI Research וחוקרים מ-Northwestern, פורסם ברישיון Apache 2.0, ואינו מוצר רשמי של גוגל.

מה התוצאות בפועל?

WorkBuddy-Bench: מ-72.4 ל-80.8

באתר הפרויקט, עם Gemini 3.5 Flash, ה-Harness הבסיסי קיבל 72.4. אחרי סיבוב אחד הציון עלה ל-77.5, ואחרי חמישה סיבובים ל-80.8. לפי הריפו, צעד אחד שיפר את GLM-5 ואת Gemini 3.5 Flash בעד 11.5 נקודות ב-WorkBuddy-Bench, ב-4.5 נקודות ב-JobBench וב-11.8 נקודות אחוז ב-LAB.

1. מתקינים את הדרישות

צריך Linux, Python 3.12 ו-uv. להרצות עם מודלים צריך Node.js 20 ומעלה ו-Google Cloud CLI. ל-WorkBuddy-Bench צריך Docker, ול-LAB צריך Pandoc ו-Poppler. הגישה למודלים נעשית דרך Vertex AI ומחויבת לפי שימוש.

2. מורידים ומתקינים

מריצים: git clone https://github.com/google-research/harness2.git, נכנסים עם cd harness2, יוצרים סביבה עם uv venv --python 3.12 .venv, מפעילים source .venv/bin/activate ומתקינים עם uv pip install -e ‘.[render]’. בדיקת דמו: harness2-demo --output runs/demo --k 2.

3. מחברים את Google Cloud

מעתיקים את קובץ ההגדרות עם cp .env.example .env, ממלאים את פרויקט Google Cloud ואת המודלים ב-Vertex AI, ואז מתחברים עם gcloud auth application-default login.

4. מכינים בנצ’מרק ובודקים

בוחרים בנצ’מרק: lab, jb או wb. לדוגמה מריצים harness2-setup lab ואחר כך harness2-check --bench lab. התחילו עם --dry-run כדי לראות אילו משימות ירוצו לפני שמבצעים קריאות בתשלום.

5. מריצים, שופטים ומסכמים

מתחילים בתחום אחד, משימה אחת וסיבוב אחד: harness2 --bench lab --k 1 --mode parallel --only-domains antitrust-competition --max-tasks 1. אחר כך מריצים harness2-judge --bench lab --k 1 --mode parallel ולבסוף harness2-report --bench lab --k 1 --mode parallel. התוצאות נשמרות בתיקיית runs. הדגל --k קובע את מספר סיבובי השיפור, ו---mode קובע הרצה מקבילית או סדרתית.

איך מפעילים את אותה שיטה ב-Claude Code?

פותחים את תיקיית הסוכן ומבקשים לשפר את CLAUDE.md ואת הסקילים ב-.claude/skills בלי לגעת במודל. מגדירים משימת בדיקה אמיתית שחוזרת בעסק. השיטה: להציע שלוש גרסאות בתיקיית harness-candidates, לבדוק כל גרסה בתת-סוכן לפי דיוק, שלמות וטון, לשלב את מה שעבד ולעדכן את הקבצים רק אחרי אישור, ואז לשמור 3 עד 5 לקחים ב-EXPERIENCE.md. בכל שיפור עתידי קוראים קודם את הקובץ. זה פרומפט בהשראת Harness², לא הכלי הרשמי.

צ’קליסט לפני הרצה

Linux, Python 3.12 ו-uv מותקנים

חשבון Google Cloud, גישה ל-Vertex AI וקובץ .env מוגדר

הרצה ראשונה עם --dry-run והגבלת גישה לרשת

שיפוט ודוח עם אותם דגלים, ואישור ידני לפני שינוי CLAUDE.md

שאלות נפוצות על Harness²

האם Harness² מאמן מחדש את המודל? לא. המודל נשאר קפוא. רק ההוראות, הכלים, הזיכרון, הסקילים ושאר חלקי ה-Harness משתנים.

האם צריך לדעת לתכנת? כדי להריץ את הכלי הרשמי כן: צריך Linux, Python, Google Cloud ושורת פקודה. כדי ליישם את השיטה על הסוכנים שלכם מספיק Claude Code והפרומפט שבמדריך.

כמה זה עולה ומה עושים אם ההרצה נקטעה? הקוד חינמי ופתוח, אבל הקריאות ל-Vertex AI מחויבות לפי תעריפי Google Cloud. אם הרצה נקטעה, מריצים שוב את אותה פקודה והיא ממשיכה מהמקום שבו נעצרה. הקוד: github.com/google-research/harness2. אתר הפרויקט: harness2.github.io. המאמר: arxiv.org/abs/2610.14224.

רוצים סוכן AI שמשתפר מתהליך לתהליך?
אני מלווה עסקים בבניית סוכני AI, סקילים ואוטומציות שמחוברים לתהליכי העבודה האמיתיים. מתחילים ממשימה אחת שחוזרת, מגדירים בדיקה ברורה ומשפרים בלי לסכן את מה שכבר עובד.

קבעו שיחת התאמה