צוותי התפעול והמוצר של ספקית טלוויזיה וסטרימינג ישראלית גדולה יכולים לשאול עכשיו, בעברית או באנגלית, על עשרות מיליוני רשומות לוג של ניגונים ושל הפלטפורמה. הסוכן עונה במספרים שאפשר לסמוך עליהם, ואומר במפורש מתי הנתונים לא מאפשרים לענות.
מערך הניטור של הספקית כותב כל ניגון, קריאת API ואירוע backend ל־OpenSearch. יש שבעה מקורות לוג, לכל אחד סכמה משלו, ומאות שדות שרבים מהם דלילים. כדי לענות על שאלה כמו ”באיזה מכשיר היו הכי הרבה שגיאות רישוי אתמול?” צריך היה לכתוב Query DSL ידנית. צריך היה גם להכיר מלכודות שאף אחד לא תיעד: אילו שדות ריקים, אילו ערכים קבועים, וכמה מהתעבורה היא ניטור אוטומטי.
התרשים רחב מהמסך: החליקו הצידה לצפייה בכולו →
ה־IAM role של ה־runtime ממופה כ־backend role בהרשאות ה־FGAC של OpenSearch, כך שאין סיסמת מסד נתונים שצריך לשמור או שעלולה לדלוף. ה־policy מציינת במפורש את דומיין ה־staging, וזה מה שמרחיק את הסוכן מהפרודקשן שנמצא באותו חשבון.
המודל בוחר כלי וממלא פרמטרים מוגדרים. מה נחשב ניגון, שגיאה או צפייה, ואילו שדות מותר לפלח או להחזיר, נאכף בקוד Python. כשהיינו צריכים להחליף מודל, כל ההבטחות נשמרו.
הכלים מחזירים משפטים קבועים (must_state, caveats_to_state), באנגלית ובעברית, שמציינים את החלון המדויק שנבדק, מה הוחרג וכמה השדה דליל. המקור של כל מספר לא תלוי בניסוח של המודל.
הלקוח היה צריך לראות פעילות של מנוי מסוים. הכלי מקבל מזהה מדויק אחד, לא מקבל תווים כלליים, מחזיר מעט שדות וכותב שורת audit בכל קריאה. החיפוש הכללי לא יכול להחזיר מזהים בשום צירוף פרמטרים.
כשהכיסוי גדל מ־3 ל־7 מקורות שקלנו להוסיף שכבת orchestrator, והחלטנו שלא. סוכן אחד עם כללי ניתוב מפורשים (צפייה, פלטפורמה, מדידה) כבר ניתב נכון, ונשאר קל יותר לדיבאג.
רוב הערך הגיע מבעיות שהתגלו רק עם נתונים אמיתיים ומשתמשים אמיתיים. מבחר:
גם Lambda URL ציבורי וגם חזית CloudFront נכשלו בגלל resource control policies ברמת הארגון, שלא נראו מתוך החשבון. גילינו אותן רק בניסוי וטעייה.
העברנו את ממשק הצ׳אט ל־App Runner. בקשת HTTPS רגילה אליו היא לא קריאת API של AWS, ולכן המדיניות לא חלה עליה.
חשבון שמנוהל דרך משווק חסם את משפחת המודלים שהסוכן תוכנן עבורה.
עברנו ל־Amazon Nova Pro מאחורי משתנה MODEL_ID אחד. ה־IAM policy למעבר חזרה כבר מוכנה.
ה־role של הסוכן כיסה רק 3 מתוך 7 מקורות. כמה ממצאים של ”השדה ריק” נבעו מכך שחיפשנו במקורות הלא נכונים.
הרחבנו את הגישה (קריאה בלבד), מיפינו כל שדה בכל 7 המקורות, ותיקנו את אוצר המילים של הסוכן בהתאם.
שאילתת ”סה״כ לחלון” פשוטה קרסה, כי OpenSearch משמיט את מפתח ה־aggregations. המודל אמר אז למשתמש שהנתונים ”מחוץ לתקופת השמירה”, וזה לא היה נכון.
תיקנו את הקריסה והוספנו כלל: כשכלי נכשל, אומרים שהוא נכשל ולא ממציאים סיבה.
”צפיות היום בין 10:00 ל־11:00” החזיר תוצאה ריקה למרות שהיו רשומות תואמות. למודל לא היה תאריך אמיתי, והניחוש שלו היה תקין מספיק כדי לעבור ולידציה.
הזרקנו את השעה הנוכחית ב־UTC לכל שאלה.
ההתאמה העמומה דירגה את service קרוב יותר ל־”device” מאשר את deviceType. הסוכן פילח לפי השדה הלא נכון ודיווח על הצלחה.
ההתאמה בודקת עכשיו הכלה של תת־מחרוזת לפני יחס דמיון. שדה אמיתי שהכלי לא מתיר נדחה בשמו.
כל שאלה נכשלה בהפעלת ה־runtime. לוגי הקונטיינר הראו שמודול הסוכן חסר ב־image.
שללנו סשן בחשבון הלא נכון, בדקנו את היסטוריית ה־image ב־ECR, בנינו מחדש ממקור מאומת והשירות חזר באותו יום.
הדשבורד של הלקוח הראה פי 4 בערך יותר ניגונים ממה שהסוכן דיווח.
מצאנו שהפער נובע מהחרגה מתועדת של תעבורת ניטור (כ־72% מרשומות הניגון ב־staging) ומההבדל בין ספירת צפיות לספירת רשומות. הסברנו ללקוח, הוא בחר לכלול את תעבורת הניטור כברירת מחדל, ויישמנו את זה.
טווח זמן גדול החזיר פחות תוצאות מטווח קטן שנמצא בתוכו. ה־trace של OpenTelemetry הראה שהמודל קיצץ טווח שחוצה חצות ליום אחד, ואז תיאר את הטווח המלא.
הוספנו כלל: קריאה אחת לכל יום קלנדרי, חיבור התוצאות, וציון החלון האמיתי של כל קריאה. אומת בפרודקשן כבר בפריסה הראשונה.
זו הרצה חוזרת של מימוש הייחוס שכתבתי כקוד פתוח, על נתונים סינתטיים. אין בה נתונים או קוד של הלקוח. בכל שאלה רואים את קריאות הכלים שהסוכן מבצע, כולל סירובים וניסיונות חוזרים. המספרים מחושבים על ידי קוד הייחוס. פלט הכלים מוצג באנגלית, כמו במערכת האמיתית.
streaming-log-agent-demo: 28 טסטים, רץ בלי ענןשיחת אבחון חינם · 30 דקות · ללא התחייבות
כתבו בכמה שורות: איזה תהליך או מערכת, מה כואב היום (זמן, טעויות, עלויות או פיילוט AI שנתקע) ומי עובד עם זה. אחרי שיחה קצרה מקבלים תוך כ־3 ימים תוכנית כתובה והצעת מחיר סגורה.
נפתח מייל מוכן מראש · מענה תוך יום עסקים
ה־AI קורא. הקוד סופר.
כל הפרויקטים