דלג לתוכן
לוח מחוונים לניתוח איכות שיחות של סוכן AI
אוטומציה וסוכני AI

בקרת איכות לסוכן AI: לדעת מה הוא באמת אומר ללקוחות שלכם

רוב העסקים מפסיקים לקרוא תמלולים אחרי שבועיים. שיטת בקרה של עשרים דקות בשבוע: אילו שיחות לקרוא, איך לתת להן ציון, ומה מחזירים לסוכן.

11 דקות קריאה0 צפיותרפאל הרושלפני 6 ימים
שתף:

כדי לדעת מה הסוכן שלכם אומר ללקוחות צריך שתי שכבות: סינון אוטומטי שעובר על מאה אחוז מהשיחות ומסמן חריגות, וקריאה אנושית של שש עד עשר שיחות מסומנות בשבוע. הסינון נותן כיסוי, הקריאה נותנת הבנה. רוב בעלי העסקים קוראים תמלולים בשבועיים הראשונים ואז מפסיקים, ושם מתחילה שחיקה שאף לקוח לא ידווח עליה.

הסוכן לא נשבר, הוא נסחף

סוכן שיחה לא מפסיק לעבוד בבת אחת, הוא נסחף לאט: המחירון התעדכן והמסמך נשאר ישן, דגם אזל, קהל חדש שואל שאלות אחרות. תוכנה שבורה צועקת, סוכן לא. הוא עונה תשובה סבירה, הלקוח כותב תודה ונעלם, והנתון היחיד שתראו הוא שהחודש נסגרו פחות עסקאות. כשאנחנו בונים סוכן מכירות לעסק, מה שדורש משמעת הוא לא ההקמה אלא השבוע השמיני.

כך נראית סחיפה אחת, מקרוב

ספק מעלה את זמן האספקה מארבעה ימי עסקים לשנים עשר. באתר מעדכנים, במסמך שממנו הסוכן שולף לא, והוא ממשיך לענות ארבעה ימים עד שמגיעות התלונות על חבילות שאיחרו. התיקון הוא לא לעדכן את המסמך אלא להוציא ממנו את זמן האספקה: הסוכן שולף מהמערכת שמתעדכנת באמת, ואם השליפה נכשלת הוא אומר שהוא בודק וחוזר.

שכבת המניעה: מה עדיף לחסום מראש

בקרה שבועית לבדה משאירה טעות חיה עד שבעה ימים, ומה שנאכף בקוד מתקיים תמיד בזמן שמה שכתוב בהוראות מתקיים ברוב המקרים. לכן חלק מהנושאים נסגרים בהקמה.

  • כל נתון שמשתנה, מחיר, מלאי, זמן אספקה ותאריך פנוי, נשלף ממקור חי. מסמך סטטי מתאים רק למה שלא זז.
  • אם אין מקור חי למחירים, עדיף שהסוכן לא ינקוב במחיר אלא יאסוף אפיון וישלח הצעה מאושרת.
  • התראה מיידית על מילות מפתח כמו החזר, פיצוי, עורך דין, מתחייב ותאריך יעד, לטלפון של מי שמוסמך להחליט ולא למייל.
  • תקרות שנאכפות בקוד: אחוז הנחה מקסימלי, טווח התאריכים שמותר להתחייב עליו, ורשימת המוצרים שמותר להזכיר.

פרוטוקול הדגל האדום, השעה הראשונה

מחיר שגוי או התחייבות שלא אושרה הם לא תא בגיליון ניקוד אלא אירוע מסחרי, וסדר הפעולות נקבע מראש: משהים את הסוכן בנושא הספציפי ולא בכיבוי מלא, שולפים מהלוג את כל מי שקיבל את אותה תשובה מאז השינוי, מחליטים מי חוזר אליהם, ורק בסוף מתקנים את המקור.

מאיפה מגיעה רשימת השיחות שאתם אמורים לקרוא?

הרשימה לא קיימת מעצמה. מה שמייצר אותה הוא רשומת סיכום שהסוכן כותב בסוף כל שיחה, לטבלה או למערכת הלקוחות, ומתוכה נבנה מסך שאפשר לסנן בו לפי תוצאה, אורך ודגלים. בוואטסאפ עסקית לבדה אין דבר כזה ואי אפשר לסנן שם כלום, ולכן זה סעיף במסמך האיפיון של הסוכן.

מה הסוכן כותב בסוף כל שיחה

  • תוצאה מרשימה סגורה: נקבעה פגישה, נשלחה הצעה, בוצעה הזמנה, הועבר לאדם, נמסר מידע בלבד, הלקוח נטש, לא רלוונטי. בלי רשימה סגורה, "שיחה בלי תוצאה" היא תחושה ולא מסנן.
  • מספר ההודעות, או משך השיחה בשניות בערוץ הקולי.
  • הנושא הראשי בשתי מילים, ושדה כן או לא: האם נמסר מחיר או תאריך.
  • האם הלקוח ביקש אדם, והאם ההעברה בוצעה בפועל.
  • שאלה אחת שהסוכן מסמן שלא ענה עליה טוב. השדה הזה מחזיר הכי הרבה ערך ביחס למאמץ.

לצדה רץ סינון אוטומטי על כל שיחה: מילות המפתח, השוואת כל מספר שנאמר מול המקור החי, וכלל אורך. קצרה מדי היא שלוש הודעות של הלקוח או פחות, ארוכה מדי היא פי שניים מהחציון בערוץ, ובלי חציון התחילו משתים עשרה הודעות בוואטסאפ ומשש דקות בשיחה קולית.

אילו שיחות לקרוא, וכמה מתוך כמה שנכנסו?

קוראים שש עד עשר שיחות בשבוע, גם כשנכנסות ארבע מאות בחודש. הקריאה האנושית לא נועדה לכיסוי אלא לכיול, והכיסוי מגיע מהסינון האוטומטי שעובר על מאה אחוז מהשיחות.

אז איך יודעים שמה שלא קראתם תקין? לכל שיחה יש תגית תוצאה, ולכן קפיצה בשיעור "נמסר מידע בלבד" נראית מיד, וכל שיחה עברה סריקת מילות מפתח והשוואת מספרים. אחת לחודש קוראים עשר שיחות אקראיות שלא סומנו בכלום, וזה מבחן לסינון: אם צף בהן משהו שהיה אמור להיתפס, מתקנים את כללי הסימון.

  • שיחות שנקטעו באמצע: הלקוח שאל, קיבל תשובה, ולא ענה יותר. מכאן מגיעים רוב התיקונים.
  • שיחות שבהן הלקוח ביקש אדם, בין אם ההעברה קרתה ובין אם לא.
  • שיחות שחרגו מסף האורך לשני הכיוונים, וכל שיחה שנגעה בכסף, בהחזר או בהתחייבות לתאריך.
  • שתיים או שלוש שיחות שהסתיימו בהצלחה, כדי לראות מה בדיוק עבד.

הסימנים שמזהים שיחה גרועה בעשר שניות

  • הלקוח מוסר אותו מידע פעמיים, או שהסוכן שואל שאלה שכבר נענתה.
  • הודעה ארוכה של הסוכן ואחריה תשובה של מילה אחת, או שאלה שנשארה בלי מענה.
  • בשיחה קולית: דיבור על גבי הלקוח, שתיקה ארוכה לפני תשובה, או לקוח שמנסה לקטוע ולא מצליח.
  • סיום יפה בלי צעד הבא. "תודה, אני אחשוב על זה" מסמן שהסוכן שפך מידע ולא ביקש כלום.

איך נותנים ציון לשיחה, ואיזה ציון מחייב פעולה?

ציון שיחה שימושי הוא שלושה צירים בסולם של אחת עד שלוש ודגל בינארי אחד. כל ציר מצביע על שכבה אחרת שצריך לתקן, כך שהניקוד עצמו אומר לכם לאן ללכת.

  • דיוק: האם כל עובדה שנאמרה נכונה ומגובה במקור. ציון נמוך שולח לבסיס הידע.
  • התאמה: האם האורך, הטון והשפה מתאימים לערוץ וללקוח. ציון נמוך שולח להוראות ההתנהגות בלבד.
  • התקדמות: האם השיחה זזה צעד קדימה בתהליך. ציון נמוך כאן הוא לא ניסוח, אלא תהליך או כלי שחסר.
  • הדגל האדום: התחייבות שלא אושרה, מחיר שגוי, הבטחת תאריך, או ניסוח שלא הייתם אומרים ללקוח. הוא מבטל את שאר הציונים ומפעיל את הפרוטוקול שלמעלה.

הרפים צריכים להיות כתובים: ציון אחת בציר כלשהו מחייב תיקון באותו שבוע, ממוצע נמוך מ-2.4 בציר על פני עשר שיחות רצופות הוא בעיה מערכתית, ותקין הוא 2.5 ומעלה בשלושת הצירים בלי דגלים. בקצב של שש עד שמונה שיחות בשבוע ארבעים שיחות מדורגות נצברות בחמישה עד שישה שבועות, ולכן החודש הראשון הוא איסוף.

התקלות שדגימה של שיחה אחת לא תתפוס

כל מה שתואר עד כאן בוחן שיחה אחת בכל פעם, ויש תקלות שמתגלות רק בהשוואה בין שיחות: שתי תשובות שונות לאותה שאלה, מוצר או מדיניות שהסוכן המציא, ולקוח שלוחץ עד שהוא מוציא הנחה. שלושתן דורשות בדיקה יזומה.

  • עקביות: הריצו את עשרים השאלות הנפוצות אצלכם, כל אחת חמש פעמים בשיחות נפרדות, והשוו את העובדות ולא את הניסוח. שתי עובדות שונות לאותה שאלה אומרות כפילות בבסיס הידע או ניסוח דו משמעי.
  • המצאה: שאלו בכוונה על מה שלא קיים, מסלול שאין לכם או מדיניות שלא הגדרתם. התשובה התקינה היא "אין" או "אני בודק ומחזיר תשובה", לא הסבר משכנע.
  • לחץ: שלושה תסריטים קבועים, "מצאתי אצל מתחרה בפחות", "אני סוגר עכשיו אם תרד", "מישהו אצלכם הבטיח לי". התשובה צריכה להיות זהה בכל הרצה.

איך מאתרים כפילויות שכבר יושבות בבסיס הידע

רשמו את העובדות שמשתנות אצלכם: מחיר, זמן אספקה, אחריות, שעות פעילות, מדיניות ביטול, אזורי שירות. חפשו כל אחת מהן, גם כמספר וגם כמונח, בכל מה שהוזן לסוכן, כולל קבצים ישנים שהעליתם בהקמה ושכחתם. כל עובדה מקבלת מסמך בעלים אחד, ובכל מקום אחר מוחקים את הנתון ומפנים אליו.

הרוטינה של עשרים דקות, וחבילת הבדיקה שרצה בלעדיכם

הרוטינה האנושית נגמרת בעשרים דקות כי כל מה שלא דורש שיפוט אנושי רץ אוטומטית לפניה.

  • חמש דקות: פתיחת הרשימה המסוננת ובחירת שש עד עשר שיחות מהדליים.
  • עשר דקות: קריאה ומתן שלושה ציונים ודגל לכל שיחה, כשלושים שניות לשיחה.
  • חמש דקות: ניסוח שלושה תיקונים לכל היותר, כל אחד עם השכבה שאליה הוא הולך.

המגבלה של שלושה תיקונים מכוונת: רשימה של חמישה עשר לא מבוצעת אף פעם. כל תיקון הולך לשכבה אחת בלבד, עובדה לבסיס הידע, התנהגות להוראות, יכולת חסרה לתהליך, והטעות הנפוצה היא לדחוף הכול להוראות עד שהסוכן סותר את עצמו.

מי מריץ את חבילת הבדיקה, ואיך משווים תשובה חופשית לתשובה חופשית

לא משווים טקסט לטקסט. לכל מקרה בדיקה, שהוא שיחה אמיתית ששמרתם אחרי שגרמה לתיקון, כותבים שתיים עד ארבע טענות שחייבות להתקיים: המספר הנכון מופיע, מוצר שלא קיים לא מופיע, יש הצעת צעד הבא. סקריפט מזרים את ההודעות לעותק בדיקה, לא לסוכן החי, ומחזיר טבלה של עבר ונפל. הוא נבנה פעם אחת בהקמה, רץ אחרי כל שינוי וגם פעם בשבוע בלי שינוי, ואדם מסתכל רק על שורות שנפלו או השתנו.

את הסבב צריך לעשות מי שיודע למכור אצלכם, לא מי שאחראי על הטכנולוגיה. לקוחות שמעדיפים שלא לנהל אותו בעצמם מקבלים אותנו בתפקיד הזה, וזה בדרך כלל אחד הדברים הראשונים שאנחנו סוגרים בשיחת ההיכרות.

עברית, שבת ופרטיות: מה שונה בבקרה בישראל

ישראלים כותבים בלי ניקוד ובלי פסיקים, עם שגיאות הקלדה, ובעיקר שולחים שלוש הודעות רצופות במקום אחת. זה לא נושא לבקרה אלא באג הנדסי עם פתרון ידוע: חלון המתנה של שמונה עד חמש עשרה שניות מההודעה האחרונה, ואיחוד ההודעות להקשר אחד לפני שהסוכן עונה. סוכן שעונה על הראשונה מתוך שלוש נראה בתמלול כמו בעיית הבנה, בזמן שהוא בעיית תזמון.

שעות ושפות הן הכרעות שמתקבלות לפני העלייה לאוויר, לא ממצאים מהבקרה. בעשר בלילה הסוכן יכול לענות במלואו, אבל אסור לו להבטיח חזרה של אדם לפני שעת הפתיחה. לשבת ולחגים יש שלוש אפשרויות: פעילות רגילה, מענה פתיחה שמסביר מתי חוזרים, או השתקה מלאה, ובעסק שומר שבת ההכרעה ערכית ולא טכנית. בערבית וברוסית עונים רק אם בסיס הידע קיים בשפה, ואחרת משפט אחד באותה שפה והעברה לאדם. כשאנחנו מקימים סוכן לעסק ישראלי ההכרעות האלה נסגרות מראש.

בתמלול של שיחה קולית שמות רחובות משתבשים וראשי תיבות נשמעים כמו מילים אחרות, ולכן מילה מוזרה היא חשד לשגיאת תמלול ולא טעות של הסוכן. שווה להאזין להקלטה אחת בשבוע, כי קצב וקטיעות לא נראים בטקסט.

התמלולים הם מידע אישי, והאוסף שלהם הוא מאגר מידע. תיקון 13 לחוק הגנת הפרטיות, שנכנס לתוקף באוגוסט 2025, הרחיב את חובות האבטחה, הדיווח על אירועי אבטחה וסמכויות הרשות להגנת הפרטיות, וחובת היידוע קיימת עוד קודם. תפעולית: יידוע בפתיחת שיחה קולית שהיא מוקלטת, מיסוך מספרי זהות ואמצעי תשלום בכתיבה ללוג, תקופת שמירה עם מספר, למשל שנים עשר חודשים לתמלולים ושלושה להקלטות, ומחיקה אוטומטית. בדיקה מול עורך דין היא חלק מההקמה.

מה הסבב הזה נותן לכם מעבר לסוכן עצמו

אחרי חודשיים של סבב מסודר יש לכם תיעוד של מה שהלקוחות באמת שואלים, במילים שלהם. זה חומר גלם למחירון, לדף המוצר ולתסריט המכירה, וככה מתגלה ששאלה שחוזרת בכל שיחה שנייה לא נענית בשום מקום.

הדבר השני שהסבב קונה הוא ביטחון להרחיב סמכות. סוכן מתחיל מצומצם, כי אף אחד לא נותן סמכות למשהו שהוא לא מכיר. אחרי כמה שבועות בלי דגל אדום ועם ציונים יציבים אפשר לתת לו תחום נוסף, קישור לתשלום או קביעת פגישות בלי אישור ידני, ובלי מדידה אין דרך לדעת אם ההרחבה בטוחה. לכן הרבה עסקים נשארים עם סוכן שעושה הרבה פחות ממה שהוא יכול.

שאלות נפוצות

כמה שיחות באמת צריך לקרוא בשבוע?

שש עד עשר בשבוע הן נקודת פתיחה טובה כמעט לכל עסק, גם כשנכנסות מאות שיחות בחודש, כי הקריאה האנושית מכוונת לכיול ולא לכיסוי. הכיסוי מגיע מהסינון האוטומטי שעובר על הכול, והמדגם מוודא שהסינון מסמן נכון. כשהנפח גדל מהדקים את כללי הסימון ולא את המדגם.

מי בעסק צריך לקרוא את השיחות?

מי שיודע למכור אצלכם, ולא מי שאחראי על הטכנולוגיה. אדם שמכיר את הלקוחות מזהה בשנייה ניסוח שמרחיק לקוח או הזדמנות שהוחמצה, וזה פער שלא יופיע בשום דוח. אם אתם הבעלים ואתם עדיין מוכרים בעצמכם, כדאי שהסבב יהיה שלכם בחודשיים הראשונים.

גיליון מספיק, או שצריך כלי ייעודי לבקרת איכות?

בנפח נמוך ובינוני גיליון עם שורה לכל שיחה, שלוש עמודות ציון, עמודת דגל ועמודת הערות עושה את העבודה. כלי ייעודי נחוץ כשצריך תיוג אוטומטי של חריגות, חיפוש חופשי בתמלולים והשוואה בין תקופות, אבל חשוב ממנו הוא שהציונים יישמרו לאורך זמן.

אפשר לתת למנוע ה-AI לדרג את השיחות במקומנו?

כן, וזו הדרך המעשית היחידה בנפח גבוה, אבל רק אחרי שאדם דירג ידנית כשלושים שיחות שמשמשות עוגן. בלי העוגן הדירוג האוטומטי נוטה לתגמל שיחות מנומסות ומסודרות גם כשהן לא הובילו לתוצאה. גם אז אדם צריך לקרוא כמה שיחות בחודש ולבדוק שהציונים תואמים את שלו.

שינינו משהו בסוכן, איך יודעים שלא שברנו משהו אחר?

מריצים את חבילת הבדיקה מול עותק בדיקה של הגרסה החדשה ובודקים אילו טענות שעברו קודם נופלות עכשיו. שינוי בהוראות משפיע כמעט תמיד גם על תרחישים שלא התכוונתם לגעת בהם, במיוחד באורך התשובות ובטון. בימים הראשונים אחרי שינוי משמעותי קוראים יותר שיחות מהרגיל.

שורה תחתונה

סוכן AI הוא לא פרויקט שנגמר ביום העלייה לאוויר, הוא נכס עם שגרת תחזוקה קצרה: חסימות ומקורות חיים שמונעים מראש את הטעויות היקרות, סינון אוטומטי על כל השיחות, ועשרים דקות אנושיות בשבוע. שלושה תיקונים, כל אחד לשכבה אחת, וחבילת בדיקה שתופסת מה שנשבר בדרך.

רפאל הרוש

רפאל הרוש

מייסד ולולינקס, עם שנים של ניסיון מעשי בקידום אורגני מונע קישורים, בניית אתרי נישה ופיתוח אתרים. כותב כמו שהוא עובד: בלי ז'רגון, בלי הבטחות ריקות, עם שקיפות מלאה על כל פעולה.

תחומי התמחות

אסטרטגיית SEOבניית קישוריםAEO & GEOשיווק באמצעות תוכן
#בקרת איכות סוכן AI
#ניטור שיחות בוט
#האזנה לשיחות סוכן
#ציון שיחה
#שיפור סוכן AI
#סוכן AI לעסקים
הזדמנות להזניק את העסק שלך

מוכנים לדרוג גבוה עם מילות הכסף שלכם?

למדתם את התיאוריה - עכשיו הזמן ליישום! תנו לנו לבנות לכם אסטרטגיית קידום שמביאה לקוחות אמיתיים מגוגל ותוצאות מדידות תוך 2-6 חודשים.

למה לקוחות בוחרים ב-Velolinx?

קישורים מאתרים עם DA 70-100
IP ייחודי לכל קישור
כתבות פרימיום 1,500+ מילים
אחריות החלפה 90 יום
תוצאות מוכחות - 340% עלייה ממוצעת
דיווח שקוף על כל קישור

💬 שאלות? צרו קשר: 050-7418449 |velolinx.seo@gmail.com