วิธีติดตามการถูกเอ่ยถึงของแบรนด์คุณใน ChatGPT

ทำไมการตรวจด้วยมือครั้งเดียวจึงทำให้เข้าใจผิด

การอนุมานของโมเดลภาษาขนาดใหญ่ทำซ้ำให้เหมือนเดิมไม่ได้โดยค่าเริ่มต้น วิศวกรที่ Thinking Machines Lab บันทึกไว้ว่า แม้ตั้งอุณหภูมิเป็นศูนย์ การรวมคำขอเป็นชุดและความไม่แน่นอนในระดับเคอร์เนลก็ทำให้คำขอที่เหมือนกันคืนคำตอบต่างกัน บทความของพวกเขาเรื่องการเอาชนะความไม่แน่นอนในการอนุมานของ LLM อธิบายว่าทำไมพรอมต์เดิมจึงเลื่อนไหลไปในแต่ละรอบ API ของ OpenAI เปิดพารามิเตอร์ seed แบบพยายามให้ดีที่สุดและการควบคุมอุณหภูมิไว้ในเอกสารอ้างอิง chat completions ของตน แต่หน้าจอ ChatGPT สำหรับผู้ใช้ทั่วไปที่คุณและผู้ซื้อของคุณใช้นั้นไม่ได้เปิดทั้งสองอย่างเลย

เหนือความผันผวนจากการสุ่มตัวอย่าง ChatGPT ยังซ้อนชั้นการปรับให้เป็นส่วนตัวเข้าไปอีก คำถามที่พบบ่อยเรื่องหน่วยความจำ ของ OpenAI อธิบายว่าผู้ช่วยสามารถนำรายละเอียดจากบทสนทนาก่อนหน้ามาใช้ในบทสนทนาใหม่ได้ ถ้าคุณใช้เวลาหกเดือนพูดถึงบริษัทตัวเองในบัญชีนั้น บัญชีของคุณก็คือที่ที่แย่ที่สุดสำหรับวัดว่าคนแปลกหน้าได้ยินเรื่องบริษัทของคุณหรือไม่

ยังมีชั้นการดึงข้อมูลอีกด้วย เมื่อ ChatGPT ค้นเว็บ มันจะดึงหน้าเว็บสด ๆ มาและใส่ลิงก์ไว้ ดังที่ OpenAI อธิบายไว้ในประกาศเรื่องChatGPT search การรันสองครั้งที่ห่างกันไม่กี่วินาทีอาจดึงคนละหน้า และจึงไปถึงข้อสรุปคนละอย่าง

สิ่งที่เป็นเดิมพันคือเหตุผลที่เรื่องนี้สำคัญเกินกว่าจะเป็นแค่ความอยากรู้ Pew Research Center พบว่าผู้ใช้ Google คลิกลิงก์ผลลัพธ์ใน 8% ของการเข้าชมที่มีบทสรุปจาก AI ปรากฏ เทียบกับ 15% ของการเข้าชมที่ไม่มี เมื่อคำตอบดูดคลิกไปเสียเอง การถูกเอ่ยชื่ออยู่ในคำตอบก็กลายเป็นการมองเห็นที่นับได้จริง และคุณจัดการมันจากภาพหน้าจอไม่ได้

สร้างชุดพรอมต์ที่ตรงกับคำถามจริงของผู้ซื้อ

ชุดพรอมต์ของคุณคือเครื่องมือวัด ถ้าทำผิดตรงนี้ ตัวเลขทุกตัวที่ตามมาก็เป็นแค่ความรบกวน ความผิดพลาดที่แทบทุกคนทำเป็นอย่างแรกคือไปติดตามพรอมต์ที่มีชื่อแบรนด์ตัวเองอยู่ด้วย เช่น "Growli ดีไหม" ซึ่งไม่ได้วัดอะไรเลย เพราะคุณยื่นคำตอบให้ผู้ช่วยไปเรียบร้อยแล้ว ให้ติดตามคำถามที่ผู้ซื้อถามตั้งแต่ก่อนที่เขาจะรู้ว่าคุณมีตัวตนอยู่

หาวัตถุดิบจากที่ซึ่งภาษาจริงอาศัยอยู่ ทั้งบันทึกเสียงการโทรขาย ตั๋วแจ้งปัญหาจากฝ่ายสนับสนุน ล็อกการค้นหาบนเว็บไซต์ของคุณ คำถามในแบบฟอร์มเริ่มต้นใช้งาน และคำค้นหางยาวใน Google Search Console จากนั้นจึงจัดให้เข้ารูปเป็นสี่ตระกูล

ตั้งเป้าไว้ที่ 30 ถึง 60 พรอมต์ โดยให้น้ำหนักกับตระกูลที่โยงกับรายได้ของคุณ เขียนแบบที่คนพิมพ์จริง ไม่ใช่แบบที่นักการตลาดเขียนหัวข้อ คือ "X ที่ดีที่สุดสำหรับทีมเล็กในงบไม่เกิน 50 ดอลลาร์ต่อเดือน" ไม่ใช่ "ภาพรวมโซลูชัน X" แล้วตรึงถ้อยคำไว้ การแก้ทุกครั้งจะรีเซ็ตเส้นฐาน จึงควรเก็บบันทึกการเปลี่ยนแปลงไว้ และถือว่าพรอมต์ที่เปลี่ยนถ้อยคำแล้วคือพรอมต์ใหม่ที่มีประวัติใหม่ ไม่ใช่ความต่อเนื่องของอันเดิม

• การค้นหาในหมวด เช่น "เครื่องมือบริหารโครงการที่ดีที่สุดสำหรับบริษัทรับเหมาก่อสร้าง" "ใครรับตรวจ SOC 2 ให้สตาร์ตอัประยะเริ่มต้น"
• การเปรียบเทียบ เช่น "X กับ Y สำหรับองค์กรใหญ่" "ทางเลือกแทน X" "ตัวเลือกที่ถูกกว่า X และมี SSO"
• การใช้งานและงานที่ต้องการให้สำเร็จ เช่น "จะย้าย SKU 40,000 รายการไปยัง PIM ใหม่อย่างไร" "เครื่องมือติดตามการมองเห็นในการค้นหาด้วย AI"
• ข้อโต้แย้งและความเสี่ยง เช่น "X ปลอดภัยพอสำหรับข้อมูลสุขภาพไหม" "ผู้ให้บริการรายใดในหมวดนี้ที่บริการหลังการขายแย่"

กำหนดจังหวะการรันและคุมเงื่อนไขให้คงที่

จังหวะการรันคือการแลกกันระหว่างความเชื่อมั่นทางสถิติกับต้นทุน การรันพรอมต์ละหนึ่งครั้งต่อสัปดาห์แทบไม่บอกอะไรเลย เพราะความผันผวนระหว่างรอบใหญ่กว่าความเคลื่อนไหวรายสัปดาห์ส่วนใหญ่ที่คุณสนใจ ขั้นต่ำที่ใช้ได้จริงคือสามรอบต่อหนึ่งพรอมต์ต่อหนึ่งวงรอบ ทำทุกสัปดาห์ เพื่อให้การปรากฏตัวถูกแสดงเป็นอัตรา เช่น "ถูกเอ่ยชื่อใน 7 จาก 12 รอบ" แทนที่จะเป็นแค่มีหรือไม่มี

ให้เพิ่มความถี่รอบ ๆ เหตุการณ์ ไม่ใช่เพิ่มถาวร เช่นการเปิดตัวสินค้า การเปลี่ยนราคา การประกาศระดมทุนของคู่แข่ง หรือคลื่นเนื้อหาใหม่บนเว็บรีวิว ส่วนช่วงระหว่างเหตุการณ์ รายสัปดาห์ก็พอจะเห็นทิศทางแล้ว และยังทำให้ชุดข้อมูลอ่านง่ายอยู่

เงื่อนไขสำคัญพอ ๆ กับความถี่ กฎข้อนี้น่าเบื่อและต่อรองไม่ได้ คือเปลี่ยนทีละอย่าง และอย่าเปลี่ยนการตั้งค่าการวัดผลกับกลยุทธ์เนื้อหาในสัปดาห์เดียวกันเด็ดขาด

อีกทั้งให้บันทึกเวอร์ชันของโมเดลไว้ควบคู่กับทุกรอบที่รัน การอัปเดตโมเดลคือแหล่งเดียวที่ทำให้คำตอบของ AI กระโดดเป็นขั้นได้มากที่สุด และเส้นแนวโน้มที่ไม่มีหมายเหตุกำกับเวอร์ชันจะทำให้คุณไล่แก้ปัญหาเนื้อหาที่แท้จริงแล้วเป็นการเปลี่ยนแปลงของแพลตฟอร์ม

• รันแบบไม่ล็อกอิน หรือในบัญชีสะอาดที่ปิดหน่วยความจำและคำสั่งที่ตั้งไว้เองแล้ว
• ตรึงภาษาและประเทศไว้ต่อหนึ่งพรอมต์ ถ้าจะติดตามคำถามเดิมในอีกตลาดหนึ่ง ให้ถือเป็นพรอมต์แยก ไม่ใช่รูปแปร
• ใช้ช่องทางเดิมอย่างสม่ำเสมอ เพราะหน้าเว็บที่เปิดการค้นหาไว้มีพฤติกรรมต่างจากการเรียก API เปล่า ๆ
• ประทับเวลาทุกอย่างเป็น UTC เพื่อให้เทียบวงรอบกันได้

บันทึกห้าช่องข้อมูลในทุกรอบที่รัน

การปรากฏตัวคือพาดหัว แต่ลำพังมันบอกไม่ได้ว่าคุณควรทำอะไรต่อ ให้บันทึกห้าช่องข้อมูลในแต่ละรอบ แล้วบทวินิจฉัยมักจะเขียนตัวมันเอง

การปรากฏตัว แบรนด์ถูกเอ่ยชื่อหรือเปล่า ให้รวมเป็นสัดส่วนของรอบต่อหนึ่งพรอมต์ แล้วม้วนขึ้นเป็นสัดส่วนของทั้งชุดพรอมต์ นี่คือตัวเลขที่คุณรายงาน

ตำแหน่ง การถูกเอ่ยถึงนั้นลงจอดตรงไหนของคำตอบ เป็นตัวเลือกแรกที่ถูกเอ่ยชื่อ อยู่กลางรายการ หรือเป็นเชิงอรรถหลังคำแนะนำ ผู้ช่วยให้น้ำหนักกับส่วนต้น การเป็นอันดับหกในรายการหกรายการจึงใกล้เคียงกับการไม่มีตัวตนมากกว่าการมีตัวตน

ความรู้สึกและกรอบการนำเสนอ ไม่ใช่แค่บวกหรือลบ แต่คือคำขยายที่ถูกติดไว้กับคุณ เช่น "ดีสำหรับองค์กรใหญ่แต่แพง" หรือ "รายงานแข็งแรง แต่เชื่อมต่อระบบได้จำกัด" คำขยายเหล่านั้นคือบทสรุปแบบบีบอัดของทุกสิ่งที่ผู้ช่วยได้อ่านเกี่ยวกับคุณ และเป็นข้อความที่นำไปทำต่อได้มากที่สุดในข้อมูลทั้งชุด

คู่แข่งที่ถูกเอ่ยชื่อ ให้บันทึกทุกแบรนด์อื่นที่ปรากฏในคำตอบ สิ่งนี้ให้คำนิยามที่แท้จริงซึ่งผู้ช่วยมีต่อหมวดของคุณ ซึ่งมักไม่ใช่คำนิยามบนสไลด์วางตำแหน่งของคุณ พร้อมรายชื่อเรียงลำดับว่าคุณกำลังเสียส่วนแบ่งในคำตอบให้ใครจริง ๆ

การอ้างอิง เก็บทุก URL ที่คำตอบใส่ลิงก์ไว้ นี่คือชั้นของเหตุและผล ถ้าคู่แข่งชนะพรอมต์หนึ่งเพราะบทความรวมรายชื่อบนเว็บของบุคคลที่สามจัดให้เขาอยู่อันดับแรก สิ่งที่ต้องแก้คือหน้านั้น ทั้งการติดต่อไป การขอแก้ไข หรือการให้ข้อมูลที่ดีกว่า ไม่ใช่การเขียนบล็อกเพิ่มอีกหนึ่งชิ้นบนโดเมนของคุณเอง OpenAI ระบุบ็อตของตนและวิธีที่ผู้เผยแพร่จะควบคุมมันไว้ในเอกสารเรื่องบ็อต ซึ่งควรอ่านทบทวนก่อนจะสรุปว่าเนื้อหาของคุณมองไม่เห็นเพราะเหตุผลด้านเนื้อหา ไม่ใช่เพราะเหตุผลด้านการเข้าถึง

อ่านแนวโน้ม ไม่ใช่อ่านคำตอบ

เมื่อบันทึกครบสี่หรือห้าวงรอบแล้ว ให้หยุดอ่านคำตอบทีละอัน แล้วเริ่มอ่านทั้งชุดข้อมูล มีสามรูปแบบที่ควรลงมือทำอะไรสักอย่าง และหนึ่งรูปแบบที่ควรเมิน

การขึ้นหรือลงอย่างต่อเนื่องของอัตราการปรากฏตัวทั้งตระกูลพรอมต์ เช่นพรอมต์เชิงเปรียบเทียบทั้งหมดของคุณ คือสัญญาณจริง ซึ่งมักสาวกลับไปได้ว่าเป็นเพราะมีเนื้อหาใหม่จากภายนอกเข้ามาหรือหลุดออกจากแหล่งอ้างอิง ส่วนการกระโดดเป็นขั้นพร้อมกันทั้งชุดพรอมต์ในวันเดียวนั้นแทบทุกครั้งคือการอัปเดตโมเดล ให้ตรวจหมายเหตุกำกับเวอร์ชันก่อนจะไปเขียนอะไรใหม่ ส่วนการเปลี่ยนไปของคำขยายที่ติดกับแบรนด์คุณ แม้การปรากฏตัวจะนิ่งอยู่ ก็คือสัญญาณเตือนที่เร็วที่สุดเท่าที่คุณจะได้รับว่ามีเรื่องเล่ากำลังก่อตัว และมันยังแก้ได้ถูกที่สุดด้วย

สิ่งที่ควรเมินคือความเคลื่อนไหวของพรอมต์เดียวในวงรอบเดียว นั่นคือความรบกวนจากการสุ่มตัวอย่าง และการไล่ตามมันเผาผลาญความน่าเชื่อถือของคุณต่อหน้าผู้บริหารเร็วกว่าการรายงานว่าไม่มีความเคลื่อนไหวเลยเสียอีก

ให้แบ่งข้อมูลที่รวบมาตามตระกูลพรอมต์ก่อนนำเสนอ การแข็งแรงในพรอมต์เชิงการใช้งานแต่อ่อนแอในการค้นหาระดับหมวด เป็นคนละปัญหากับกรณีตรงข้ามโดยสิ้นเชิง อย่างแรกคือช่องว่างเรื่องการวางตำแหน่ง ส่วนอย่างหลังคือช่องว่างเรื่องความครอบคลุมในที่ซึ่งผู้ช่วยไปหยิบข้อมูลมา เราลงลึกเรื่องกรอบการวินิจฉัยนี้ไว้ในคู่มือของเราเรื่องการมองเห็นใน AI

การติดตามด้วยมือ และจุดที่ระบบอัตโนมัติได้ที่ยืนของมัน

คุณทำเรื่องนี้ด้วยมือได้ ให้สร้างชุดพรอมต์ในสเปรดชีต รันสามรอบต่อหนึ่งพรอมต์ในเซสชันเบราว์เซอร์ที่สะอาด แล้วบันทึกห้าช่องข้อมูล สำหรับพรอมต์ 30 ข้อ รอบละสามครั้ง เท่ากับ 90 บทสนทนาที่ต้องอ่านและลงรหัสในแต่ละวงรอบ ราว ๆ หนึ่งวันทำงานแบบตั้งใจต่อสัปดาห์ และส่วนที่ช้าคือการลงรหัส เพราะการตัดสินเรื่องตำแหน่งและความรู้สึกให้สม่ำเสมอตลอด 90 คำตอบนั้นยากกว่าที่ฟังดู

มีสองอย่างที่ทำให้การติดตามด้วยมือพังเมื่อขยายขนาด อย่างแรกคือความสม่ำเสมอ คนสองคนลงรหัสความรู้สึกไม่เหมือนกัน และคนคนเดียวก็ลงรหัสไม่เหมือนกันในวันศุกร์ อย่างที่สองคือความครอบคลุม ผู้ซื้อไม่ได้ใช้แค่ ChatGPT และชุดพรอมต์ที่วัดบนผู้ช่วยรายเดียวก็ไม่ได้บอกอะไรคุณเลยเกี่ยวกับ Gemini, Perplexity, Claude หรือ Copilot ซึ่งดึงข้อมูลจากคนละที่และอ้างอิงคนละแหล่ง

นี่คือปัญหาที่เราสร้าง Growli ขึ้นมาเพื่อแก้ มันรันชุดพรอมต์ของคุณข้ามผู้ช่วยรายใหญ่ตามตารางเวลา บันทึกการปรากฏตัว ตำแหน่ง ความรู้สึก การถูกเอ่ยถึงพร้อมคู่แข่ง และการอ้างอิงด้วยวิธีเดียวกันทุกวงรอบ แล้วเปลี่ยนช่องว่างที่พบให้เป็นรายการหน้าเว็บและแหล่งข้อมูลที่ต้องแก้ซึ่งจัดลำดับความสำคัญไว้แล้ว ไม่ว่าคุณจะเลือกทางไหน วิธีการก็เหมือนกัน คือพรอมต์ที่ตายตัว การรันซ้ำ ห้าช่องข้อมูล และการตัดสินใจบนแนวโน้มแทนภาพหน้าจอ

FAQ