Cách xác định nội dung chất lượng thấp, mỏng, được viết bằng AI hàng loạt bằng Screaming Frog và OpenAI

Chất lượng nội dung là yếu tố quan trọng trong thứ hạng của công cụ tìm kiếm và sự tương tác của người dùng. Việc xác định các trang có nội dung chất lượng thấp hoặc mỏng có thể giúp bạn nâng cao giá trị của trang web, cải thiện SEO và mang lại trải nghiệm tốt hơn cho khách truy cập. Trong hướng dẫn này, tôi sẽ chỉ cho bạn cách sử dụng tính năng JavaScript tùy chỉnh của Screaming Frog và API của OpenAI để tự động đánh giá chất lượng nội dung của bạn.

Kiểm tra thủ công nội dung trang web để tìm ra các vấn đề về chất lượng là một nhiệm vụ khó khăn và tốn thời gian. Việc sàng lọc từng trang để đánh giá tính nguyên bản, tính liên quan và giá trị có thể rất khó khăn, đặc biệt là đối với các trang web lớn có hàng trăm hoặc hàng nghìn trang.

Thách thức này trở nên nghiêm trọng hơn khi cố gắng phát hiện nội dung do AI tạo ra, điều này có thể làm suy yếu tính độc đáo và tính xác thực của trang web của bạn. Những điểm khó khăn này làm nổi bật nhu cầu về giải pháp tự động xác định hiệu quả nội dung chất lượng thấp, mỏng hoặc được viết bằng AI, cho phép bạn tập trung nỗ lực vào việc nâng cao chất lượng tổng thể của trang web.

Hướng dẫn này sẽ chỉ cho bạn cách sử dụng Tính năng JavaScript tùy chỉnh của Screaming Frog và API của OpenAI để tự động hóa quy trình này, giúp bạn tiết kiệm thời gian và cung cấp cho bạn bản kiểm tra nội dung toàn diện mà bạn có thể dễ dàng thực hiện.

Những gì bạn cần:

• Screaming Frog SEO Spider: Phiên bản 19.0 trở lên.
• Khóa API OpenAI: Truy cập vào mô hình GPT-4 hoặc GPT-3.5-turbo của OpenAI thông qua API.
• Microsoft Excel: Để phân tích dữ liệu.

Chú thích: Bạn phải có khóa API OpenAI đang hoạt động. Đăng ký tại Trang web của OpenAI nếu bạn không có.

Tổng quan về Quy trình

1. Cấu hình Screaming Frog: Thiết lập Screaming Frog để hiển thị JavaScript và sử dụng đoạn mã JavaScript tùy chỉnh.
2. Sử dụng API của OpenAI:JavaScript tùy chỉnh gửi nội dung trang đến API của OpenAI để đánh giá chất lượng nội dung.
3. Thu thập dữ liệu trang web của bạn: Screaming Frog thu thập các URL đã chỉ định, thu thập điểm chất lượng và đánh giá.
4. Phân tích dữ liệu: Xuất dữ liệu thu thập sang Excel, trích xuất điểm và xác định các trang cần cải thiện.

Hướng dẫn từng bước một

1. Bắt đầu Screaming Frog SEO Spider

Khởi chạy ứng dụng Screaming Frog SEO Spider trên máy tính của bạn.

2. Kích hoạt tính năng hiển thị JavaScript

Để hiển thị chính xác nội dung động và thực thi tập lệnh của chúng tôi:

• Đến phần Cấu hình > Spider.
• Click vào Rendering tab.
• Chọn JavaScript từ các tùy chọn hiển thị.
• Nhấp chuột OK.

3. Cấu hình JavaScript tùy chỉnh

Thiết lập đoạn mã JavaScript tùy chỉnh để giao tiếp với API của OpenAI:

• Đến phần Cấu hình > Tuỳ chỉnh > JavaScript.
• Nhấp vào Thêm để tạo một đoạn mã mới.
• Nhấp vào biểu tượng JS để mở trình soạn thảo mã JavaScript.

Chèn Mã JavaScript Tùy chỉnh

Sao chép và dán đoạn mã sau vào trình soạn thảo tập lệnh:

// Ask ChatGPT about AI detection // // Adjust the value of 'question' on line 26. // Adjust the value of 'userContentList' on line 27, currently set to body text. // Other examples such as page title, meta description, heading h1 or h2 are // shown on line 32 onwards. // // // This script demonstrates how JavaScript Snippets can communicate with // APIs, in this case ChatGPT. // // This script also shows how the Spider will wait for JavaScript Promises to // be fulfilled i.e. the fetch request to the ChatGPT API when fulfilled // will return the data to the Spider. // // IMPORTANT: // You will need to supply your API key below on line 25 which will be stored // as part of your SEO Spider configuration in plain text. Also be mindful if // sharing this script that you will be sharing your API key also unless you // delete it before sharing. // // Also be aware of API limits when crawling large web sites with this snippet. // const OPENAI_API_KEY = 'YOUR_OPENAI_API_KEY'; const question = `**The Score is: %%**\n\n You are an expert in detecting low-quality, thin, and unhelpful content. Start your response with **The Score is: %%** followed by your analysis.\n\n **Assessment:**\n\n Consider the following criteria, citing specific examples from the text to support your analysis:\n\n - **Lack of Originality:** Does the content provide unique insights, personal experiences, or well-researched perspectives, or is it simply rehashing common knowledge?\n\n - **Unnatural Phrasing:** Does the language sound robotic, awkward, or overly formal? Does it lack a natural flow or smooth transitions?\n\n - **Purpose:** Is the content informative, engaging, and relevant for its intended audience and purpose?\n\n - **Value:** Does the text go beyond surface-level observations to offer meaningful information, insights, or analysis?\n\n - **Supporting Evidence:** Are claims supported by credible examples, data, research, or citations? Are the examples relevant and well-explained?\n\n - **Tone:** Is the tone engaging and appropriate for the intended audience? Does it make the text enjoyable to read?\n\n **Reasoning:**\n\n Provide a concise explanation of the reasoning behind your assessment and score.\n\n **Score:**\n\n After your analysis, assign a probability score (0-100%) indicating how likely the content is to be low-quality, thin, or unhelpful:\n\n - **0-20%:** Very unlikely to be low-quality. The text is well-written, informative, and engaging, showing strong signs of quality.\n\n - **21-40%:** Unlikely to be low-quality, though there may be room for improvement.\n\n - **41-60%:** Possibly low-quality, but further analysis may be required.\n\n - **61-80%:** Likely low-quality, with multiple signs of thinness or lack of helpfulness.\n\n - **81-100%:** Very likely low-quality due to numerous factors indicating poor content.`; const userContentList = [document.body.innerText]; // Page Title // const userContentList = [document.title]; // meta description // const userContentList = [document.querySelector('meta[name="description"]')?.getAttribute('content')]; // heading h1 (replace with h2 etc as required) // const userContentList = [...document.querySelectorAll('h1')].map(h => h.textContent); function chatGptRequest(userContent) { return fetch('https://api.openai.com/v1/chat/completions', { method: 'POST', headers: { 'Authorization': `Bearer ${OPENAI_API_KEY}`, "Content-Type": "application/json", }, body: JSON.stringify({ "model": "gpt-4o", "messages": [ { role: "user", content: `${question} ${userContent}` } ], "temperature": 0.7 }) }) .then(response => { if (!response.ok) { return response.text().then(text => {throw new Error(text)}); } return response.json(); }) .then(data => { return data.choices[0].message.content.trim(); }); } return Promise.all(userContentList.map(userContent => { return chatGptRequest(userContent); })) .then(data => seoSpider.data(data)) .catch(error => seoSpider.error(error));

Quan trọng: Thay thế 'KHÓA API_OPENAI_CỦA BẠN' với khóa API OpenAI thực tế của bạn. Giữ khóa API của bạn an toàn và không chia sẻ công khai.

Lưu tập lệnh

• Đặt cho tập lệnh của bạn một cái tên dễ nhận biết, chẳng hạn như “Đánh giá chất lượng nội dung”.
• Nhấp chuột OK để lưu tập lệnh.

4. Nhập URL để kiểm tra

Bạn có thể thu thập toàn bộ trang web của mình hoặc nhập danh sách các URL cụ thể (khuyến khích nhập danh sách sau).

Để nhập URL:

• Đến phần Chế độ > Danh sách.
• Nhấp vào Tải lên > Dán.
• Dán danh sách URL của bạn vào hộp thoại.
• Nhấp chuột OK.

5. Bắt đầu bò

• Nhấn vào Bắt đầu nút để bắt đầu thu thập thông tin.
• Screaming Frog sẽ thu thập từng URL, chạy JavaScript tùy chỉnh và thu thập dữ liệu.
• Chuyển đến tab JavaScript tùy chỉnh để kiểm tra tiến trình thu thập thông tin.

6. Xuất và Phân tích Kết quả

Xuất dữ liệu

• Sau khi thu thập dữ liệu hoàn tất, hãy chuyển đến Xuất khẩu .
• Lưu bản xuất dưới dạng tệp Excel hoặc CSV.

Mở trong Excel

• Mở tệp trong Microsoft Excel.
• Bạn sẽ thấy các URL cùng với dữ liệu trả về từ JavaScript tùy chỉnh (tức là đánh giá nội dung).

Hiểu về đoạn mã JavaScript tùy chỉnh

Đoạn mã JavaScript tùy chỉnh thực hiện các hành động sau:

1. Định nghĩa một lời nhắc:Tạo lời nhắc chi tiết hướng dẫn AI đánh giá chất lượng nội dung dựa trên một số tiêu chí.
2. Trích xuất nội dung trang: Lấy lại văn bản bên trong từ phần thân trang (document.body.innerText).
   • Tùy chọn: Bạn có thể điều chỉnh userContentList để nhắm mục tiêu vào các yếu tố cụ thể, chẳng hạn như tiêu đề hoặc mô tả meta.
3. Gọi API của OpenAI: Gửi yêu cầu đến OpenAI API kèm theo lời nhắc và nội dung trang.
4. Xử lý phản hồi: Nhận và trả về đánh giá của AI, bao gồm điểm số và lý luận.

Giải thích các biến số chính

• OPENAI_API_KEY: Khóa API OpenAI của bạn để xác thực.
• question: Lời nhắc được cung cấp cho AI.
• userContentList: Một mảng chứa nội dung cần phân tích.

Lưu ý về các mô hình

• Tập lệnh sử dụng tham số “model”: “gpt-4”.
• Nếu bạn không có quyền truy cập vào GPT-4, bạn có thể thay đổi thành “model”: “gpt-4o”, “model”: “gpt-4o-mini” hoặc “model”: “gpt-3.5-turbo”.

Sử dụng Excel để trích xuất điểm

Phản ứng của AI bắt đầu bằng “Điểm số là: XX%”, Nơi XX là điểm số.

Để trích xuất điểm này để sắp xếp và lọc:

1. Mở thu thập thông tin trong Excel hoặc CSV.
2. Chèn một cột mới:Bên cạnh cột chứa phản hồi của AI.
3. Sử dụng Công thức Excel tùy chỉnh:

=VALUE(MID(A2,FIND(":",A2)+2,FIND("%",A2)-FIND(":",A2)-2)/100)

• Thay thế A2 với ô tham chiếu chứa phản hồi của AI.

3. Kéo công thức: Áp dụng cho tất cả các hàng có chứa dữ liệu.

Công thức hoạt động như thế nào

• FIND(":", A2)+2: Tìm vị trí sau dấu hai chấm và dấu cách.
• FIND("%", A2): Tìm vị trí của ký hiệu phần trăm.
• MID(...): Trích xuất chuỗi con chứa điểm số.
• VALUE(...): Chuyển đổi văn bản được trích xuất thành giá trị số.

Ví dụ

Nếu phản ứng của AI trong tế bào A2 là:

The Score is: 75% **Assessment:** ... (assessment text) 

Công thức sẽ trích xuất 0.75 dưới dạng một con số.

Tổng kết

Bằng cách tích hợp Screaming Frog với các mô hình ngôn ngữ của OpenAI, bạn có thể tự động hóa quá trình kiểm tra nội dung trang web của bạn để tìm ra các vấn đề về chất lượng. Phương pháp này cho phép bạn nhanh chóng xác định các trang có thể cần cải thiện, đảm bảo trang web của bạn duy trì các tiêu chuẩn cao cho cả người dùng và công cụ tìm kiếm.

Bạn đã thử sử dụng tập lệnh này để kiểm tra nội dung trang web của mình chưa? Tôi rất muốn nghe về trải nghiệm của bạn. Bạn đã tùy chỉnh tập lệnh để phù hợp với nhu cầu cụ thể của mình hay tập trung vào các thành phần nội dung cụ thể chưa? Hãy chia sẻ hiểu biết của bạn và cho chúng tôi biết cách tiếp cận này đã giúp bạn nâng cao chất lượng trang web của mình như thế nào.

Hãy nhớ sử dụng công cụ mạnh mẽ này một cách có trách nhiệm, cân nhắc đến giới hạn sử dụng API và các mối quan tâm về quyền riêng tư. Kiểm tra nội dung thường xuyên có thể dẫn đến hiệu suất SEO tốt hơn, tăng cường sự tương tác của người dùng và sự hiện diện trực tuyến mạnh mẽ hơn.

Câu Hỏi Thường Gặp

1. Có an toàn khi chia sẻ khóa API OpenAI của tôi trong tập lệnh không?

Không, khóa API của bạn là thông tin nhạy cảm. Không bao giờ chia sẻ khóa API của bạn công khai hoặc đưa nó vào các tập lệnh mà người khác có thể truy cập. Luôn giữ an toàn cho nó.

2. Nếu tôi không có quyền truy cập vào GPT-4 thì sao?

Bạn có thể sửa đổi tập lệnh để sử dụng GPT-4o, GPT-4o-mini hoặc GPT-3.5-turbo bằng cách thay đổi tham số mô hình:

"model": "gpt-4o-mini",

3. Có mất chi phí nào khi sử dụng API OpenAI không?

Có, sử dụng API OpenAI sẽ phát sinh chi phí dựa trên mức sử dụng. Để tiết kiệm chi phí, hãy giới hạn số lượng URL bạn quyết định thu thập. Tham khảo Trang giá của OpenAI để biết thêm chi tiết.

4. Tôi có thể điều chỉnh các tiêu chí được sử dụng trong đánh giá như thế nào?

Bạn có thể sửa đổi câu hỏi biến trong tập lệnh (const câu hỏi = 'xxx') để bao gồm hoặc loại trừ các tiêu chí dựa trên nhu cầu cụ thể của bạn.

5. Tôi có thể sử dụng phương pháp này để phân tích nội dung không phải tiếng Anh không?

Có, các mô hình của OpenAI hỗ trợ nhiều ngôn ngữ. Tuy nhiên, hiệu quả có thể khác nhau tùy theo ngôn ngữ và mô hình được sử dụng.

6. Giới hạn tỷ lệ API là gì?

Giới hạn tỷ lệ API phụ thuộc vào tài khoản OpenAI của bạn và mô hình được sử dụng. Kiểm tra Hướng dẫn giới hạn tốc độ của OpenAI để biết thêm thông tin chi tiết.