Як масово ідентифікувати низькоякісний, тонкий, написаний штучним інтелектом вміст за допомогою Screaming Frog і OpenAI

in Ресурси та інструменти

Якість вмісту є важливим фактором рейтингу в пошуковій системі та залучення користувачів. Виявлення сторінок із низькоякісним або слабким вмістом може допомогти вам підвищити цінність вашого веб-сайту, покращити пошукову оптимізацію (SEO) і забезпечити кращий досвід для відвідувачів. У цьому посібнику я покажу вам як використовувати спеціальну функцію JavaScript Screaming Frog і API OpenAI для автоматичної оцінки якості вашого вмісту.

Перевірка вмісту веб-сайту вручну на наявність проблем із якістю є складним і трудомістким завданням. Просіювання кожної сторінки для оцінки оригінальності, релевантності та цінності може бути надзвичайно важким, особливо для великих веб-сайтів із сотнями чи тисячами сторінок.

Проблема посилюється при спробі виявити створений ШІ контент, який може підірвати унікальність і автентичність вашого сайту. Ці больові точки підкреслюють необхідність автоматизоване рішення, яке ефективно визначає низькоякісний, тонкий або написаний штучним інтелектом вміст, що дозволяє зосередити зусилля на покращенні загальної якості веб-сайту.

Цей посібник покаже вам, як користуватися Спеціальна функція JavaScript Screaming Frog і API OpenAI для автоматизації цього процесу, заощаджуючи ваш час і надаючи комплексний аудит вмісту, який ви можете легко виконати.

Що вам потрібно:

  • Кричати Frog SEO павук: Версія 19.0 або новіша.
  • Ключ OpenAI API: доступ до моделі OpenAI GPT-4 або GPT-3.5-turbo через API.
  • Microsoft Excel: Для аналізу даних.

Зауважте: Ви повинні мати активний ключ OpenAI API. Зареєструйтесь на Веб-сайт OpenAI якщо у вас його немає.

Огляд процесу

  1. Налаштувати Screaming Frog: Налаштуйте Screaming Frog для відтворення JavaScript і використання спеціального фрагмента коду JavaScript.
  2. Використовуйте API OpenAI: Спеціальний JavaScript надсилає вміст сторінки до API OpenAI, який оцінює якість вмісту.
  3. Скануйте свій веб-сайт: Screaming Frog сканує вказані URL-адреси, збираючи показники якості та оцінки.
  4. Проаналізуйте дані: експортуйте дані сканування в Excel, витягніть бали та визначте сторінки, які потребують покращення.

Покрокове керівництво

1. Запустіть Screaming Frog SEO Spider

Запустіть програму Screaming Frog SEO Spider на своєму комп’ютері.

2. Увімкніть рендеринг JavaScript

Щоб точно відтворити динамічний вміст і виконати наш сценарій:

  • Відкрийте конфігурація > Павук.
  • Натисніть на надання Вкладка.
  • Select JavaScript з параметрів візуалізації.
  • Натисніть OK.
Увімкнути рендеринг JavaScript ScreamingFrog

3. Налаштуйте власний JavaScript

Налаштуйте спеціальний фрагмент JavaScript, який взаємодіє з API OpenAI:

  • Відкрийте конфігурація > виготовлений на замовлення > JavaScript.
  • Натисніть на додавати щоб створити новий фрагмент.
  • Натисніть піктограму JS щоб відкрити редактор коду JavaScript.
Користувацький редактор JavaScript Screaming Frog

Вставте спеціальний код JavaScript

Скопіюйте та вставте наступний код у редактор сценаріїв:

// Ask ChatGPT about AI detection
//
// Adjust the value of 'question' on line 26.
// Adjust the value of 'userContentList' on line 27, currently set to body text.
// Other examples such as page title, meta description, heading h1 or h2 are
// shown on line 32 onwards.
//    
// 
// This script demonstrates how JavaScript Snippets can communicate with 
// APIs, in this case ChatGPT.
// 
// This script also shows how the Spider will wait for JavaScript Promises to
// be fulfilled i.e. the fetch request to the ChatGPT API when fulfilled
// will return the data to the Spider.
// 
// IMPORTANT:
// You will need to supply your API key below on line 25 which will be stored
// as part of your SEO Spider configuration in plain text. Also be mindful if 
// sharing this script that you will be sharing your API key also unless you 
// delete it before sharing.
// 
// Also be aware of API limits when crawling large web sites with this snippet.
//

const OPENAI_API_KEY = 'YOUR_OPENAI_API_KEY';
const question = `**The Score is: %%**\n\n
You are an expert in detecting low-quality, thin, and unhelpful content. Start your response with **The Score is: %%** followed by your analysis.\n\n
**Assessment:**\n\n
Consider the following criteria, citing specific examples from the text to support your analysis:\n\n
- **Lack of Originality:** Does the content provide unique insights, personal experiences, or well-researched perspectives, or is it simply rehashing common knowledge?\n\n
- **Unnatural Phrasing:** Does the language sound robotic, awkward, or overly formal? Does it lack a natural flow or smooth transitions?\n\n
- **Purpose:** Is the content informative, engaging, and relevant for its intended audience and purpose?\n\n
- **Value:** Does the text go beyond surface-level observations to offer meaningful information, insights, or analysis?\n\n
- **Supporting Evidence:** Are claims supported by credible examples, data, research, or citations? Are the examples relevant and well-explained?\n\n
- **Tone:** Is the tone engaging and appropriate for the intended audience? Does it make the text enjoyable to read?\n\n
**Reasoning:**\n\n
Provide a concise explanation of the reasoning behind your assessment and score.\n\n
**Score:**\n\n
After your analysis, assign a probability score (0-100%) indicating how likely the content is to be low-quality, thin, or unhelpful:\n\n
- **0-20%:** Very unlikely to be low-quality. The text is well-written, informative, and engaging, showing strong signs of quality.\n\n
- **21-40%:** Unlikely to be low-quality, though there may be room for improvement.\n\n
- **41-60%:** Possibly low-quality, but further analysis may be required.\n\n
- **61-80%:** Likely low-quality, with multiple signs of thinness or lack of helpfulness.\n\n
- **81-100%:** Very likely low-quality due to numerous factors indicating poor content.`;
const userContentList = [document.body.innerText];

// Page Title
// const userContentList = [document.title];

// meta description
// const userContentList = [document.querySelector('meta[name="description"]')?.getAttribute('content')];

// heading h1 (replace with h2 etc as required)
// const userContentList = [...document.querySelectorAll('h1')].map(h => h.textContent);

function chatGptRequest(userContent) {
    return fetch('https://api.openai.com/v1/chat/completions', {
        method: 'POST',
        headers: {
            'Authorization': `Bearer ${OPENAI_API_KEY}`,
            "Content-Type": "application/json",
        },
        body: JSON.stringify({
            "model": "gpt-4o",
            "messages": [
                {
                    role: "user",
                    content: `${question} ${userContent}`
                }
            ],
            "temperature": 0.7
        })
    })
    .then(response => {
        if (!response.ok) {
            return response.text().then(text => {throw new Error(text)});
        }                
        return response.json();
    })
    .then(data => {
        return data.choices[0].message.content.trim();
    });
}

return Promise.all(userContentList.map(userContent => {
    return chatGptRequest(userContent);
}))
.then(data => seoSpider.data(data))
.catch(error => seoSpider.error(error));

Важливий: Замінити 'YOUR_OPENAI_API_KEY' з вашим фактичним ключем OpenAI API. Тримайте свій ключ API в безпеці та не розголошуйте його публічно.

Збережіть сценарій

  • Дайте своєму сценарію зрозумілу назву, наприклад «Оцінка якості контенту».
  • Натисніть OK щоб зберегти сценарій.

4. Імпорт URL-адрес для аудиту

Ви можете просканувати весь веб-сайт або імпортувати список конкретних URL-адрес (рекомендовано останнє).

Щоб імпортувати URL-адреси:

  • Відкрийте режим > список.
  • Натисніть на Завантажувати > Паста.
  • Вставте список URL-адрес у діалогове вікно.
  • Натисніть OK.

5. Розпочніть сканування

  • Натисніть Start кнопку, щоб почати сканування.
  • Screaming Frog просканує кожну URL-адресу, запустить спеціальний JavaScript і збере дані.
  • Перейдіть на вкладку Custom JavaScript, щоб перевірити хід сканування.
оцінка вмісту openai

6. Експортуйте та аналізуйте результати

Експортувати дані

  • Після завершення сканування перейдіть до Експорт кнопки.
  • Збережіть експорт як файл Excel або CSV.

Відкрити в Excel

  • Відкрийте файл у Microsoft Excel.
  • Ви побачите URL-адреси разом із даними, отриманими від спеціального JavaScript (тобто оцінки вмісту).

Розуміння спеціального фрагмента JavaScript

Спеціальний фрагмент JavaScript виконує такі дії:

  1. Визначає підказку: Створює детальну підказку, яка інструктує ШІ оцінити якість вмісту на основі кількох критеріїв.
  2. Витягує вміст сторінки: Отримує внутрішній текст із основної частини сторінки (document.body.innerText).
    • опціональний: Ви можете налаштувати userContentList для націлювання на певні елементи, такі як заголовки чи мета-описи.
  3. Викликає API OpenAI: надсилає запит до OpenAI API із запитом і вмістом сторінки.
  4. Обробляє відповідь: отримує та повертає оцінку ШІ, яка включає бали та міркування.

Пояснення ключових змінних

  • OPENAI_API_KEY: ваш ключ OpenAI API для автентифікації.
  • question: підказка, надана ШІ.
  • userContentList: масив, що містить вміст для аналізу.

Примітка щодо моделей

  • Скрипт використовує параметр «model»: «gpt-4».
  • Якщо у вас немає доступу до GPT-4, ви можете змінити це на «модель»: «gpt-4o», «модель»: «gpt-4o-mini» або «модель»: «gpt-3.5-turbo» .

Використання Excel для отримання балів

Відповідь ШІ починається з «Оцінка: XX%», Де XX це числова оцінка.

Щоб отримати цю оцінку для сортування та фільтрації:

  1. Відкрийте сканування в Excel або CSV.
  2. Вставте новий стовпець: поруч зі стовпцем, що містить відповідь ШІ.
  3. Використовуйте спеціальну формулу Excel:
=VALUE(MID(A2,FIND(":",A2)+2,FIND("%",A2)-FIND(":",A2)-2)/100)
  • заміщати A2 з посиланням на клітинку, що містить відповідь ШІ.
  1. Перетягніть формулу: Застосуйте його до всіх рядків, що містять дані.
Оцінки вмісту Screaming Frog OpenAI в Excel

Як працює формула

  • FIND(":", A2)+2: знаходить позицію після двокрапки та пробілу.
  • FIND("%", A2): знаходить позицію символу відсотка.
  • MID(...): Витягує підрядок, що містить партитуру.
  • VALUE(...): перетворює витягнутий текст на числове значення.

Приклад

Якщо відповідь ШІ в клітинці A2 це:

The Score is: 75%

**Assessment:**

... (assessment text)

Формула витягне 0.75 як число.

Обернути

Завдяки інтеграції Screaming Frog з мовними моделями OpenAI, ви можете автоматизувати процес перевірки вмісту вашого веб-сайту на наявність проблем із якістю. Цей метод дозволяє швидко визначати сторінки, які можуть потребувати вдосконалення, гарантуючи, що ваш сайт підтримує високі стандарти як для користувачів, так і пошукові системи.

Чи пробували ви використовувати цей сценарій для перевірки вмісту свого веб-сайту? Я хотів би почути про ваш досвід. Ви налаштували сценарій відповідно до ваших конкретних потреб чи зосередилися на певних елементах вмісту? Поділіться своєю ідеєю та повідомте нам, як цей підхід допоміг вам підвищити якість вашого сайту.

Не забувайте відповідально використовувати цей потужний інструмент, враховуючи обмеження щодо використання API та проблеми конфіденційності. Регулярний аудит вашого вмісту може призвести до краща ефективність SEO, збільшення залучення користувачів і сильніша присутність в Інтернеті.

Питання і відповіді

1. Чи безпечно ділитися моїм ключем OpenAI API у сценарії?

Ні, ваш ключ API є конфіденційною інформацією. Ніколи не повідомляйте свій ключ API публічно та не включайте його в сценарії, до яких інші можуть отримати доступ. Завжди тримайте його в безпеці.

2. Що робити, якщо я не маю доступу до GPT-4?

Ви можете змінити сценарій для використання GPT-4o, GPT-4o-mini або GPT-3.5-turbo, змінивши параметр моделі:

"model": "gpt-4o-mini",

3. Чи є витрати, пов’язані з використанням OpenAI API?

Так, використання OpenAI API стягує витрати залежно від використання. Щоб заощадити на витратах, обмежте кількість URL-адрес, які ви вирішите сканувати. Зверніться до Сторінка цін OpenAI for details.

4. Як я можу скоригувати критерії, що використовуються в оцінюванні?

Ви можете змінити питання змінна в скрипті (const question = 'xxx'), щоб включити або виключити критерії на основі ваших конкретних потреб.

5. Чи можу я використовувати цей метод для аналізу вмісту не англійською мовою?

Так, моделі OpenAI підтримують кілька мов. Однак ефективність може відрізнятися залежно від мови та моделі, що використовується.

6. Які обмеження швидкості API?

Обмеження швидкості API залежать від вашого облікового запису OpenAI і використовуваної моделі. Перевірте Інструкції OpenAI щодо обмеження швидкості для отримання додаткової інформації.

про автора

Метт Алгрен

Матіас Альгрен є генеральним директором і засновником Website Rating, керуючи глобальною командою редакторів і авторів. Має ступінь магістра інформатики та менеджменту. Після раннього досвіду веб-розробки під час навчання в університеті його кар’єра повернулася до SEO. Понад 15 років у SEO, цифровому маркетингу та веб-розробках. Він також зосереджується на безпеці веб-сайтів, про що свідчить сертифікат із кібербезпеки. Цей різноманітний досвід лежить в основі його лідерства в Website Rating.

Головна » Ресурси та інструменти » Як масово ідентифікувати низькоякісний, тонкий, написаний штучним інтелектом вміст за допомогою Screaming Frog і OpenAI
Поділіться з...