Founder Lab Shopify ಸ್ಟೋರ್ ಅನ್ನು AI-ಚಾಲಿತ ಸ್ಕೋರಿಂಗ್ ಟೂಲ್ ಬಳಸಿ ಆರು ಬಾರಿ ಸ್ಕ್ಯಾನ್ ಮಾಡಲಾಯಿತು, ಮತ್ತು ಸ್ಕೋರ್‌ನ ಕೇವಲ “intent” ಅಂಶವು ಮಾತ್ರ ಬದಲಾಯಿತು—ಒಟ್ಟು ಫಲಿತಾಂಶವು ಪ್ರಾಯೋಗಿಕವಾಗಿ ಒಂದೇ ಆಗಿದ್ದರೂ, ಇದು 4 ಮತ್ತು 6 ರ ನಡುವೆ ಬದಲಾಗುತ್ತಿತ್ತು. ಒಂದು ಅಂಗಡಿಯ AI-ಸೃಷ್ಟಿಸಿದ ರೇಟಿಂಗ್‌ನಲ್ಲಿನ ಏಕ-ಅಂಶದ ಬದಲಾವಣೆಯು ಕೇವಲ ಸಾಂಖ್ಯಿಕ ಶಬ್ದ (statistical noise) ಆಗಿರಬಹುದು, ಅದು ನಿಜವಾದ ಸುಧಾರಣೆಯಲ್ಲ ಎಂಬುದನ್ನು ಈ ಸಂಶೋಧನೆ ತೋರಿಸುತ್ತದೆ.

ಈ ಪರೀಕ್ಷೆಯ ಮಹತ್ವವೇನು

ಅಂಗಡಿ ಮಾಲೀಕರು ತಮ್ಮ ಸೈಟ್‌ಗಳಿಗೆ ಒಂದೇ ಸಂಖ್ಯೆಯ ರೇಟಿಂಗ್ ನೀಡುವ ಸ್ವಯಂಚಾಲಿತ ಸಾಧನಗಳ ಮೇಲೆ ಹೆಚ್ಚು ಅವಲಂಬಿತರಾಗುತ್ತಿದ್ದಾರೆ. ಆ ರೇಟಿಂಗ್‌ಗಳು ತ್ವರಿತ ಆರೋಗ್ಯ ತಪಾಸಣೆ ಮತ್ತು ಸುಧಾರಣೆಗಾಗಿ ಮಾರ್ಗಸೂಚಿಯನ್ನು ನೀಡುತ್ತವೆ ಎಂದು ಭರವಸೆ ನೀಡುತ್ತವೆ. ಹೆಚ್ಚಿನ ಸಂಖ್ಯೆ ಎಂದರೆ ಉತ್ತಮ ಸ್ಟೋರ್ ಎಂಬ ಕಲ್ಪನೆಯಿದೆ, ಆದ್ದರಿಂದ ಯಾವುದೇ ಏರಿಕೆಯನ್ನು ಬದಲಾವಣೆಯು ಕೆಲಸ ಮಾಡಿದೆ ಎಂಬುದಕ್ಕೆ ಪುರಾವೆಯೆಂದು ಪರಿಗಣಿಸಲಾಗುತ್ತದೆ. Founder Lab ಈ ಕಲ್ಪನೆಯನ್ನು ಪರಿಶೀಲಿಸಲು ಬಯಸಿತು. ಬದಲಾಗದ ಸ್ಟೋರ್ ಮೇಲೆ ಸಾಧನವನ್ನು ಚಲಾಯಿಸುವ ಮೂಲಕ, ಸ್ಕೋರ್ ತನ್ನಷ್ಟಕ್ಕೆ ತಾನೇ ಎಷ್ಟು ಏರಿಳಿತಗೊಳ್ಳುತ್ತದೆ ಎಂಬುದನ್ನು ತಂಡವು ನೋಡಲು ಸಾಧ್ಯವಾಯಿತು.

ಪ್ರಯೋಗವು ಹೇಗಿತ್ತು

  • ದಿನಾಂಕ 1 (ಜುಲೈ 12): ಒಂದು ಸ್ಕ್ಯಾನ್, ಒಟ್ಟು ಸ್ಕೋರ್ 78, intent 6.
  • ದಿನಾಂಕ 2 (ಜುಲೈ 17): ಐದು ಸ್ಕ್ಯಾನ್‌ಗಳು, ಪ್ರತಿಯೊಂದೂ ಒಂದು ನಿಮಿಷದ ಒಳಗಿದ್ದು, ಈ ಕೆಳಗಿನ ಫಲಿತಾಂಶಗಳನ್ನು ನೀಡಿದವು:
    • ಸ್ಕ್ಯಾನ್ 1: 76 / 4
    • ಸ್ಕ್ಯಾನ್ 2: 76 / 4
    • ಸ್ಕ್ಯಾನ್ 3: 78 / 6
    • ಸ್ಕ್ಯಾನ್ 4: 77 / 5
    • ಸ್ಕ್ಯಾನ್ 5: 77 / 5

ಇತರ ಎಲ್ಲಾ ಉಪ-ಸ್ಕೋರ್‌ಗಳು—visual design, schema markup, trust signals, technical health, pricing, recommendation, ಮತ್ತು brand—ಎಲ್ಲಾ ರನ್‌ಗಳಲ್ಲಿ ಒಂದೇ ಆಗಿದ್ದವು. ಕೇವಲ intent ಉಪ-ಸ್ಕೋರ್ ಮಾತ್ರ ಬದಲಾಯಿತು, ಮತ್ತು intent ಅನ್ನು ಕಳೆದ ನಂತರದ ಒಟ್ಟು ಸ್ಕೋರ್ (78 – 6, 76 – 4, 77 – 5) ಯಾವಾಗಲೂ 72 ಆಗಿತ್ತು. autrementទៀត, ಮೌಲ್ಯಮಾಪನದ ನಿರ್ಣಾಯಕ (deterministic) ಭಾಗಗಳು ಸಂಪೂರ್ಣವಾಗಿ ಸ್ಥಿರವಾಗಿದ್ದವು; ಏಕೈಕ ಬದಲಾಗುವ ಅಂಶವೆಂದರೆ AI-ಚಾಲಿತ intent ಮೌಲ್ಯಮಾಪನ.

“intent” ನ ಅಡಗಿರುವ ಅಸ್ಥಿರತೆ

Intent ಎಂಬುದು ಅಲ್ಗಾರಿದಮ್‌ನ ಒಂದು ಭಾಗವಾಗಿದ್ದು, ಇದು ಒಂದು ಸ್ಟೋರ್ ಖರೀದಿದಾರರ ಉದ್ದೇಶಕ್ಕೆ ಎಷ್ಟು ಚೆನ್ನಾಗಿ ಹೊಂದಿಕೆಯಾಗುತ್ತದೆ ಎಂಬುದನ್ನು ಅಳೆಯಲು ಪ್ರಯತ್ನಿಸುತ್ತದೆ—ಅಂದರೆ ಉತ್ಪನ್ನಗಳ ಮಿಶ್ರಣ, ಕಾಪಿ (copy), ಅಥವಾ ಒಟ್ಟಾರೆ ಸಂದೇಶವು ಖರೀದಿದಾರರು ಹುಡುಕುತ್ತಿರುವುದಕ್ಕೆ ಹೊಂದಿಕೆಯಾಗುತ್ತದೆಯೇ ಎಂದು ನೋಡುತ್ತದೆ. ಒಟ್ಟು ರೇಟಿಂಗ್ ಒಂದೇ ಸಂಖ್ಯೆಯಾಗಿ ಕಾಣಿಸಿಕೊಂಡಾಗ, ಆ ವ್ಯತ್ಯಾಸವನ್ನು ಗಮನಿಸುವುದು ಸುಲಭ. 78 ರಿಂದ 80 ಕ್ಕೆ ಬದಲಾಗುವ ಸ್ಟೋರ್ ಸುಧಾರಿಸಿದಂತೆ ಕಾಣಿಸಬಹುದು, ಆದರೆ ಆ ಬದಲಾವಣೆಯು Founder Lab ಪರೀಕ್ಷೆಯಲ್ಲಿ ಕಂಡುಕೊಂಡ ಅದೇ 2-ಅಂಶದ ಏರಿಳಿತಕ್ಕಿಂತ ಹೆಚ್ಚಿನದಾಗಿರುವುದಿಲ್ಲ.

ಡೆವಲಪರ್‌ಗಳು ಏಕೆ ಹಲವಾರು ಬಾರಿ ಸ್ಕ್ಯಾನ್ ಮಾಡಬೇಕು

ಈ ಪ್ರಯೋಗವು ಒಂದು ಪ್ರಾಯೋಗಿಕ ನಿಯಮವನ್ನು ಸೂಚಿಸುತ್ತದೆ: ಒಂದು ಅಥವಾ ಎರಡು ಅಂಶಗಳ ಏಕ-ಸ್ಕ್ಯಾನ್ ಬದಲಾವಣೆಯನ್ನು ಅದು ಪುನರಾವರ್ತಿತವಾಗುವವರೆಗೆ ಅನುಮಾನಾಸ್ಪದವೆಂದು ಪರಿಗಣಿಸಿ. ಸೈಟ್‌ನ ಒಂದೇ ಸ್ನಾಪ್‌ಶಾಟ್ ಮೇಲೆ ಸಾಧನವನ್ನು ಹಲವಾರು ಬಾರಿ ಚಲಾಯಿಸುವುದು “noise floor” ಅನ್ನು ನೀಡುತ್ತದೆ – ಅಂದರೆ ಏನೂ ಬದಲಾಗದಿದ್ದಾಗ ನೀವು ನಿರೀಕ್ಷಿಸಬಹುದಾದ ಸ್ಕೋರ್‌ಗಳ ವ್ಯಾಪ್ತಿ. ಒಂದು ಹೊಸ ಸುಧಾರಣೆಯು ಸ್ಕೋರ್ ಅನ್ನು ಆ ವ್ಯಾಪ್ತಿಯ ಹೊರಗೆ ನಿರಂತರವಾಗಿ ತಳ್ಳಿದರೆ, ಆ ಬದಲಾವಣೆಯು ಮುಖ್ಯವಾಗಿದೆ ಎಂಬುದಕ್ಕೆ ನಿಮ್ಮ ಬಳಿ ಬಲವಾದ ಪುರಾವೆ ಇರುತ್ತದೆ.

ನಾವು ಇನ್ನು ಮುಂದೆ ಒಂದೇ ಒಂದು ಮರು-ಸ್ಕ್ಯಾನ್ ಅನ್ನು ನಂಬುವುದಿಲ್ಲ. ಪ್ರತಿಯೊಂದು ನೈಜ ಬದಲಾವಣೆಯು ಅದು ಶಬ್ದ (noise) ಅಲ್ಲ ಎಂದು ಸಾಬೀತುಪಡಿಸಲು ಈಗ ಹಲವಾರು ಸ್ಕ್ಯಾನ್‌ಗಳ ಅಗತ್ಯವಿದೆ. ಗಮನವು ಈಗ ಮೂಲ ಹಂತಕ್ಕೆ (upstream) ಸ್ಥಳಾಂತರಗೊಂಡಿದೆ: ಅವರು ಮೊದಲು ನಿರ್ಣಾಯಕ ಅಂಶಗಳನ್ನು—technical health, structured data, ಮತ್ತು site architecture—ಸ್ಥಿರಗೊಳಿಸುತ್ತಾರೆ, ಏಕೆಂದರೆ ಆ ಅಂಶಗಳು ಸ್ಥಿರವಾಗಿವೆ ಮತ್ತು ನೇರವಾಗಿ ಡೆವಲಪರ್‌ನ ನಿಯಂತ್ರಣದಲ್ಲಿವೆ. ಆ ಅಡಿಪಾಯಗಳು ಗಟ್ಟಿಯಾದ ನಂತರವಷ್ಟೇ ಅವರು ಉತ್ಪನ್ನದ ಕಾಪಿ ಅಥವಾ ಇತರ intent-ಸಂಬಂಧಿತ ಸಂಕೇತಗಳೊಂದಿಗೆ ಪ್ರಯೋಗ ಮಾಡುತ್ತಾರೆ, ಮತ್ತು ಅಷ್ಟೂ ಸಹ ಅವರು ಹಲವಾರು ಸ್ಕ್ಯಾನ್‌ಗಳೊಂದಿಗೆ ಫಲಿತಾಂಶಗಳನ್ನು ಪರಿಶೀಲಿಸುತ್ತಾರೆ.

ವ್ಯಾಪಾರಿಗಳಿಗೆ ಇರುವ ಅಪಾಯಗಳು

ಒಬ್ಬ ಅಂಗಡಿ ಮಾಲೀಕನಿಗೆ, ಸುಳ್ಳು ಪ್ರಗತಿಯ ಭಾವನೆಯು ಸಮಯ ಮತ್ತು ಹಣದ ವ್ಯರ್ಥಕ್ಕೆ ಕಾರಣವಾಗಬಹುದು. ನೀವು ಕೇವಲ 2-ಅಂಶದ ಏರಿಕೆಯನ್ನು ಬೆನ್ನಟ್ಟಿದರೆ, ನೀವು ಕಾಪಿ ಬರೆಯುವಿಕೆ, ಚಿತ್ರಗಳ ಬದಲಾವಣೆ ಅಥವಾ ಬೆಲೆ ಪ್ರಯೋಗಗಳಲ್ಲಿ ಹೂಡಿಕೆ ಮಾಡಬಹುದು, ಆದರೆ ಅವು ವಾಸ್ತವವಾಗಿ ಯಾವುದೇ ಗಮನಾರ್ಹ ಬದಲಾವಣೆಯನ್ನು ತರುವುದಿಲ್ಲ. ಇದಕ್ಕೆ ವಿರುದ್ಧವಾಗಿ, ನಿಜವಾದ ಸುಧಾರಣೆಯನ್ನು ಅದು ಶಬ್ದದ ವ್ಯಾಪ್ತಿಯಲ್ಲಿದೆ ಎಂದು ನಿರ್ಲಕ್ಷಿಸುವುದು, ಗೆದ್ದ ಬದಲಾವಣೆಯ ಮೇಲೆ ಹೆಚ್ಚಿನ ಗಮನ ಹರಿಸುವ ಅವಕಾಶವನ್ನು ಕಳೆದುಕೊಳ್ಳುವುದಕ್ಕೆ ಕಾರಣವಾಗಬಹುದು.

ವಿರೋಧಾತ್ಮಕ ವಾದ: ಏಕ-ಸ್ಕ್ಯಾನ್‌ಗಳು ಇನ್ನೂ ಮೌಲ್ಯವನ್ನು ಹೊಂದಿವೆ

ಕೆಲವು ತಜ್ಞರು, ವಿಶೇಷವಾಗಿ ಸಂಪನ್ಮೂಲಗಳು ಸೀಮಿತವಾಗಿರುವಾಗ, ಉನ್ನತ ಮಟ್ಟದ ಮೇಲ್ವಿಚಾರಣೆಗೆ ಒಂದೇ ಒಂದು ಸ್ಕ್ಯಾನ್ ಸಾಕಾಗುತ್ತದೆ ಎಂದು ವಾದಿಸುತ್ತಾರೆ. ನಿರ್ಣಾಯಕ ಘಟಕಗಳು (technical, schema, trust, ಇತ್ಯಾದಿ) ಈಗಾಗಲೇ ವಿಶ್ವಾಸಾರ್ಹವಾಗಿವೆ ಮತ್ತು intent ಸ್ಕೋರ್, ಅಸ್ಥಿರವಾಗಿದ್ದರೂ ಸಹ, ಒಂದು ದಿಕ್ಕಿನ ಒಳನೋಟವನ್ನು ನೀಡುತ್ತದೆ ಎಂದು ಅವರು ಬೆಟ್ಟು ಮಾಡುತ್ತಾರೆ. ಹಲವಾರು ಸ್ಕ್ಯಾನ್‌ಗಳಿಗಾಗಿ ಕಾಯುವುದು ಕ್ರಮವನ್ನು ವಿಳಂಬಗೊಳಿಸಬಹುದಾದ ವೇಗವಾಗಿ ಚಲಿಸುವ ಪರಿಸರದಲ್ಲಿ, ಒಂದೇ ಒಂದು ರೀಡಿಂಗ್ ಪ್ರಾಯೋಗಿಕ ಆಯ್ಕೆಯಾಗಿರಬಹುದು.

ಇಲ್ಲಿನ ವಿನಿಮಯ ಸ್ಪಷ್ಟವಾಗಿದೆ: ಏಕ-ಸ್ಕ್ಯಾನ್ ವೇಗವನ್ನು ನೀಡುತ್ತದೆ ಆದರೆ ಶಬ್ದಕ್ಕೆ (noise) ಪ್ರತಿಕ್ರಿಯಿಸುವ ಅಪಾಯವನ್ನು ಹೊಂದಿರುತ್ತದೆ; ಹಲವಾರು ಸ್ಕ್ಯಾನ್‌ಗಳು ಸಮಯದ ವೆಚ್ಚದೊಂದಿಗೆ ವಿಶ್ವಾಸವನ್ನು ನೀಡುತ್ತವೆ. ವ್ಯಾಪಾರಿಗಳು ತಮ್ಮ ಕೆಲಸದ ವಿಧಾನ ಮತ್ತು ಅಪಾಯದ ಸಹಿಷ್ಣುತೆಗೆ ಯಾವುದು ಹೊಂದಿಕೆಯಾಗುತ್ತದೆ ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸಬೇಕಾಗುತ್ತದೆ.

ಮುಂದೆ ಏನನ್ನು ಗಮನಿಸಬೇಕು

  • ಟೂಲ್ ಪೂರೈಕೆದಾರರು: ಸ್ಕೋರಿಂಗ್ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ಗಳು ತಮ್ಮದೇ ಆದ ಶಬ್ದದ ಅಂದಾಜುಗಳನ್ನು (noise estimates) ಪ್ರಕಟಿಸುತ್ತವೆಯೇ ಅಥವಾ ವಿಶ್ವಾಸಾರ್ಹ ಫಲಿತಾಂಶಗಳಿಗಾಗಿ ಕನಿಷ್ಠ ಎಷ್ಟು ಬಾರಿ ರನ್ ಮಾಡಬೇಕು ಎಂದು ಸೂಚಿಸುತ್ತವೆಯೇ? ಮಾಡೆಲ್ ವ್ಯತ್ಯಾಸದ (model variance) ಬಗ್ಗೆ ಪಾರದರ್ಶಕತೆಯು ಒಂದು ವ್ಯತ್ಯಾಸಕಾರಿಯಾಗಬಹುದು.
  • Shopify ಪರಿಸರ ವ್ಯವಸ್ಥೆ: ಹೆಚ್ಚು ವ್ಯಾಪಾರಿಗಳು AI ಸ್ಕೋರಿಂಗ್ ಅನ್ನು ಅಳವಡಿಸಿಕೊಳ್ಳುತ್ತಿದ್ದಂತೆ, ಪುನರಾವರ್ತಿತ ಪರೀಕ್ಷೆಯ ಬಗ್ಗೆ ಸಮುದಾಯದ ಉತ್ತಮ ಪದ್ಧತಿಗಳು ಹೊರಹೊಮ್ಮಬಹುದು, ಬಹುಶಃ ಹಲವಾರು ಸ್ಕ್ಯಾನ್‌ಗಳನ್ನು ಸ್ವಯಂಚಾಲಿತಗೊಳಿಸುವ ಮತ್ತು ಡೇಟಾವನ್ನು ಕ್ರೋಢೀಕರಿಸುವ ಪ್ಲಗಿನ್‌ಗಳ ರೂಪದಲ್ಲಿ.

ಮುಖ್ಯಾಂಶಗಳು

AI-ಸೃಷ್ಟಿಸಿದ ಅಂಗಡಿಯ ರೇಟಿಂಗ್ ಅದರ ಮೂಲ ಮಾದರಿಯ ಸ್ಥಿರತೆಗೆ ಅನುಗುಣವಾಗಿ ಮಾತ್ರ ನಂಬಲರ್ಹವಾಗಿರುತ್ತದೆ. Founder Lab ನಡೆಸಿದ ಆರು ಬಾರಿ ಸ್ಕ್ಯಾನ್ ಮಾಡಿದ ಪ್ರಯೋಗವು, ಉಳಿದ ಎಲ್ಲವೂ ಸ್ಥಿರವಾಗಿದ್ದರೂ ಸಹ, "intent" ಭಾಗವು ಒಂದೆರಡು ಅಂಕಗಳಷ್ಟು ವ್ಯತ್ಯಾಸವಾಗಬಹುದು ಎಂದು ತೋರಿಸುತ್ತದೆ. ಆದ್ದರಿಂದ, ಡೆವಲಪರ್‌ಗಳು ಅಲ್ಪ ಪ್ರಮಾಣದ ಸ್ಕೋರ್ ಬದಲಾವಣೆಗಳನ್ನು ಕೇವಲ ಶಬ್ದ (noise) ಎಂದು ಪರಿಗಣಿಸಬೇಕು, ಹಲವಾರು ಸ್ಕ್ಯಾನ್‌ಗಳ ಮೂಲಕ ಸುಧಾರಣೆಗಳನ್ನು ಪರಿಶೀಲಿಸಬೇಕು ಮತ್ತು AI-ಗೆ ಸೂಕ್ಷ್ಮವಾಗಿರುವ ಭಾಗಗಳನ್ನು ಬದಲಾಯಿಸುವ ಮೊದಲು ತಮ್ಮ ಅಂಗಡಿಗಳ ನಿರ್ಧರಿಸಬಹುದಾದ ಮತ್ತು ಸಂಪೂರ್ಣವಾಗಿ ನಿಯಂತ್ರಿಸಬಹುದಾದ ಅಂಶಗಳನ್ನು ಸರಿಪಡಿಸುವುದಕ್ಕೆ ಆದ್ಯತೆ ನೀಡಬೇಕು. ಈಗ ಮಾಡುವ ಈ ಹೆಚ್ಚಿನ ಪ್ರಯತ್ನವು, ನಂತರದ ಕಾಲದಲ್ಲಿ ಕಲ್ಪಿತ ಲಾಭಗಳ ಬೆನ್ನಟ್ಟುವುದನ್ನು ತಪ್ಪಿಸುತ್ತದೆ.