בדיקה נכונה של ניסויים בחנות אונליין: איך לא להפסיד כסף על שינויים שנראים טובים בתמונה

מה קרה

הכותבת גיוליה פנוצו מצביעה על מעבר בתעשיית ה-SEO: מבדיקת כותרות פשוטות לבדיקות מורכבות הרבה יותר, כמו קישורים פנימיים, תבניות תוכן ושינויים מבוססי AI. הבעיה היא שרוב הניסויים האלה לא באמת מוכיחים מה גרם לתוצאה, גם כשהנתונים נראים טובים על הנייר.

למה זה משנה לכם

אם אתם מנהלים חנות ב-WooCommerce ומעדכנים מיתוג, תבנית דף נחיתה או תבנית מודעות, הפיתוי הגדול הוא להסתכל על ירידה ב-CPC או עלייה ב-CTR ולהכריז ניצחון. למשל, אתם מעלים תבנית חדשה לעמוד המוצר ממש לפני מבצע ראש השנה, ובמקביל משנים את הקריאייטיב בקמפיין הפייסבוק הישראלי שלכם. ה-CTR עולה וה-CPC יורד, ואתם קובעים שהתבנית החדשה היא הסיבה. אבל יכול להיות שהעלייה בקליקים נובעת מהמבצע עצמו, מהחג שמביא יותר קונים לחנות, או מהקריאייטיב החדש, ולא מהתבנית בכלל. אם תבנו החלטות עסקיות על מסקנה שגויה כזו, אתם עלולים להשקיע בכיוון שלא באמת עובד ולהפסיד כסף על שינויים שנראו טובים בתמונה אבל לא שינו כלום בפועל.

מה בדיוק השתנה

המאמר מונה שתי טעויות מרכזיות שחוזרות על עצמן בניסויי אופטימיזציית המרות ואופטימיזציית on page.

הטעות הראשונה היא ריצת ניסוי בלי היפותזה הניתנת להפרכה. במקום לנסח ציפייה מדויקת, הרבה בעלי חנויות פשוט מנסים משהו ובודקים אם זה עבד. ניסוח נכון נראה אחרת: למשל, עדכון כותרות ב-700 עמודים אמור להגדיל קליקים ב-10 אחוז תוך ארבעה שבועות. ציפייה כזו אפשר לבדוק ולהפריך. אם התוצאה לא מגיעה, אתם יודעים שההיפותזה שגויה, במקום להישאר עם תחושת בטן מעורפלת.

הטעות השנייה היא אי בידוד משתנים. קחו לדוגמה בעל חנות WooCommerce שמחליט לשנות את תבנית כותרות המוצר בכל הקטלוג שבועיים לפני מבצע בלאק פריידי. הוא לא מנסח יעד מדויק, רק רוצה לבדוק אם זה עוזר. כשהמבצע מגיע, הקליקים אכן עולים, אבל באותו זמן גם תקציב הפרסום גדל וגם ההנחות בחנות גדולות יותר מכל השנה. בלי היפותזה ברורה ובלי בידוד משתנים, אי אפשר לדעת אם התבנית החדשה תרמה משהו, או שכל העלייה הגיעה מהמבצע והתקציב. כך קורה גם כשבמקביל לבדיקה שלכם גוגל משיק עדכון אלגוריתם, או הפיתוח משנה פיצ'ר באותם עמודים בדיוק. כשכמה דברים קורים יחד, אי אפשר לדעת מה באמת גרם לתוצאה.

כדי להתמודד עם זה, המאמר ממליץ לנהל יומן שינויים ואירועים, שמתעד כל שינוי פנימי ב-SEO, בפיתוח, במוצר ובשיווק, וגם אירועים חיצוניים כמו חגים או שינויי התנהגות חיפוש. כשיש יומן מסודר כזה, בעל חנות WooCommerce יכול לחזור אחורה ולראות שהעלייה בקליקים מתאריכי המבצע חופפת בדיוק להעלאת התקציב, ולא רק לשינוי בתבנית.

מי מושפע

בעלי חנויות WooCommerce ושופיפיי שמריצים ניסויי A/B על דפי מוצר, עמודי נחיתה או תבניות מודעות נמצאים בסיכון הגבוה ביותר, בעיקר סביב תקופות מבצעים כמו חגים או בלאק פריידי, כשכמה שינויים קורים במקביל. גם צוותי שיווק שמודדים הצלחה לפי CTR או CPC בלבד, בלי לבדוק את ההמרה בפועל, עלולים להגיע למסקנות שגויות. אם אתם מריצים קמפיינים בגוגל אדס או בפייסבוק ומשנים קריאייטיב או מיתוג באותו זמן שאתם משנים משהו בחנות, קשה להפריד בין ההשפעות.

מה לעשות

• נסחו היפותזה מדויקת וניתנת להפרכה לפני תחילת כל ניסוי, עם מספר יעד ומסגרת זמן ברורה, כמו 10 אחוז עלייה בקליקים תוך ארבעה שבועות.
• נהלו יומן שינויים קבוע שמתעד כל עדכון בחנות, בקמפיינים ובפיתוח, במיוחד לפני תקופות מבצעים, כדי לזהות גורמים חיצוניים שמשפיעים על התוצאה.
• אל תסתמכו על מדד בודד כמו CTR או CPC. בדקו את אחוז ההמרה בפועל, ואם הוא ירד בלי הסבר ברור, אחוז ההמרה ירד: 10 דברים שחייבים לבדוק לפי הסדר יכול לעזור לכם לאתר את הסיבה.
• אם אתם משנים מחירים או הנחות כחלק מהניסוי, עדיף להריץ את זה בשלבים ולא לכולם בבת אחת. אפשר לקרוא על זה בCRO בשופיפיי: בדיקת הנחות בשלבים עם Rollouts.
• ודאו שהמספרים שאתם רואים בכלי הדיווח אמינים מלכתחילה, לפני שאתם בונים עליהם מסקנות על ניסוי שלם.

מקורות

Search Engine Journal: https://www.searchenginejournal.com/test-like-a-scientist-mistakes-that-undermine-your-seo-experiments/591411/

שאלות נפוצות

איך יודעים אם שינוי בחנות באמת שיפר תוצאות ולא במקרה? בודקים אם ההיפותזה המקורית התממשה במספר ובזמן שהוגדרו מראש, ולא רק אם מדד כלשהו עלה. כדאי גם לבדוק שלא קרה באותו זמן אירוע חיצוני שיכול להסביר את השינוי, כמו מבצע או חג.

מה ההבדל בין מתאם לבין סיבתיות בבדיקות A/B בחנות אונליין? מתאם אומר ששני דברים קרו באותו זמן, למשל עדכון תבנית ועלייה ב-CTR. סיבתיות אומרת שהשינוי שלכם הוא זה שגרם לעלייה, אחרי שבדקתם ושללתם הסברים אחרים כמו קמפיין מקביל, מבצע או עדכון אלגוריתם.

כמה זמן צריך להריץ ניסוי בחנות כדי לקבל תוצאה אמינה? התשובה תלויה בהיקף התנועה ובמסגרת הזמן שהגדרתם בהיפותזה מראש. במקום לקבוע תאריך סתמי, קבעו מראש מה היעד ומתי תבדקו אותו, כמו ארבעה שבועות לבדיקת עלייה בקליקים.

מה זה היפותזה הניתנת להפרכה ולמה היא חשובה בבדיקות שיווק? זו ציפייה מדויקת שאפשר לבדוק ולהוכיח כשגויה, למשל שעדכון כותרות יגדיל קליקים באחוז מסוים תוך פרק זמן נתון. בלי ניסוח כזה, קשה לדעת אם הניסוי הצליח או נכשל, ואפשר בקלות לטעות בפרשנות, במיוחד כששינויים אחרים כמו מבצע או עלייה בתקציב קורים באותו זמן.