Screaming Frog와 OpenAI를 사용하여 대량으로 저품질, 얇은 AI 작성 콘텐츠를 식별하는 방법

콘텐츠 품질은 검색 엔진 순위와 사용자 참여에 중요한 요소입니다. 품질이 낮거나 빈약한 콘텐츠가 있는 페이지를 식별하면 웹사이트의 가치를 높이고 SEO를 개선하며 방문자에게 더 나은 경험을 제공하는 데 도움이 될 수 있습니다. 이 가이드에서는 다음을 보여드리겠습니다. Screaming Frog의 사용자 지정 JavaScript 기능과 OpenAI의 API를 사용하여 콘텐츠 품질을 자동으로 평가하는 방법.

품질 문제에 대한 웹사이트 콘텐츠를 수동으로 감사하는 것은 어렵고 시간이 많이 걸리는 작업입니다.. 독창성, 관련성, 가치를 평가하기 위해 각 페이지를 살펴보는 것은 특히 수백 또는 수천 개의 페이지가 있는 대규모 웹사이트의 경우 압도적일 수 있습니다.

사이트의 고유성과 진정성을 훼손할 수 있는 AI 생성 콘텐츠를 감지하려고 할 때 이러한 과제는 더욱 심화됩니다. 이러한 문제점은 다음과 같은 필요성을 강조합니다. 저품질, 얇음 또는 AI로 작성된 콘텐츠를 효율적으로 식별하는 자동화 솔루션이를 통해 귀하는 웹사이트의 전반적인 품질을 향상하는 데 노력을 집중할 수 있습니다.

이 가이드에서는 사용 방법을 보여줍니다. Screaming Frog의 사용자 정의 JavaScript 기능 그리고 OpenAI의 API를 사용하면 이 과정을 자동화하여 시간을 절약하고 쉽게 조치할 수 있는 포괄적인 콘텐츠 감사를 얻을 수 있습니다.

필요한 것 :

• 비명 소리 개구리 SEO 거미: 버전 19.0 이상.
• OpenAI API 키: API를 통해 OpenAI의 GPT-4 또는 GPT-3.5-turbo 모델에 접근합니다.
• Microsoft Excel에서: 데이터 분석을 위해.

주의 사항: 활성 OpenAI API 키가 있어야 합니다. 에서 가입하세요. OpenAI의 웹사이트 당신이 하나가 없다면.

프로세스 개요

1. Screaming Frog 구성: JavaScript를 렌더링하고 사용자 정의 JavaScript 코드 조각을 사용하도록 Screaming Frog를 설정합니다.
2. OpenAI의 API를 사용하세요: 사용자 지정 JavaScript는 페이지 콘텐츠를 OpenAI API로 전송하고, 이를 통해 콘텐츠 품질을 평가합니다.
3. 웹사이트 크롤링: Screaming Frog는 지정된 URL을 크롤링하여 품질 점수와 평가를 수집합니다.
4. 데이터 분석: 크롤링 데이터를 Excel로 내보내고, 점수를 추출하고, 개선이 필요한 페이지를 식별합니다.

단계별 가이드

1. Screaming Frog SEO Spider 시작

컴퓨터에서 Screaming Frog SEO Spider 애플리케이션을 실행하세요.

2. JavaScript 렌더링 활성화

동적 콘텐츠를 정확하게 렌더링하고 스크립트를 실행하려면:

• We Buy Orders 신청서를 클릭하세요. 구성 > 거미.
• 온 클릭 표현 탭.
• 선택 자바 스크립트 렌더링 옵션에서.
• OK.

3. 사용자 정의 JavaScript 구성

OpenAI의 API와 통신하는 사용자 정의 JavaScript 스니펫을 설정합니다.

• We Buy Orders 신청서를 클릭하세요. 구성 > 관습 > 자바 스크립트.
• 를 클릭하십시오 추가 새로운 스니펫을 만듭니다.
• JS아이콘을 클릭하세요 JavaScript 코드 편집기를 엽니다.

사용자 정의 JavaScript 코드 삽입

다음 코드를 복사하여 스크립트 편집기에 붙여넣으세요.

// Ask ChatGPT about AI detection // // Adjust the value of 'question' on line 26. // Adjust the value of 'userContentList' on line 27, currently set to body text. // Other examples such as page title, meta description, heading h1 or h2 are // shown on line 32 onwards. // // // This script demonstrates how JavaScript Snippets can communicate with // APIs, in this case ChatGPT. // // This script also shows how the Spider will wait for JavaScript Promises to // be fulfilled i.e. the fetch request to the ChatGPT API when fulfilled // will return the data to the Spider. // // IMPORTANT: // You will need to supply your API key below on line 25 which will be stored // as part of your SEO Spider configuration in plain text. Also be mindful if // sharing this script that you will be sharing your API key also unless you // delete it before sharing. // // Also be aware of API limits when crawling large web sites with this snippet. // const OPENAI_API_KEY = 'YOUR_OPENAI_API_KEY'; const question = `**The Score is: %%**\n\n You are an expert in detecting low-quality, thin, and unhelpful content. Start your response with **The Score is: %%** followed by your analysis.\n\n **Assessment:**\n\n Consider the following criteria, citing specific examples from the text to support your analysis:\n\n - **Lack of Originality:** Does the content provide unique insights, personal experiences, or well-researched perspectives, or is it simply rehashing common knowledge?\n\n - **Unnatural Phrasing:** Does the language sound robotic, awkward, or overly formal? Does it lack a natural flow or smooth transitions?\n\n - **Purpose:** Is the content informative, engaging, and relevant for its intended audience and purpose?\n\n - **Value:** Does the text go beyond surface-level observations to offer meaningful information, insights, or analysis?\n\n - **Supporting Evidence:** Are claims supported by credible examples, data, research, or citations? Are the examples relevant and well-explained?\n\n - **Tone:** Is the tone engaging and appropriate for the intended audience? Does it make the text enjoyable to read?\n\n **Reasoning:**\n\n Provide a concise explanation of the reasoning behind your assessment and score.\n\n **Score:**\n\n After your analysis, assign a probability score (0-100%) indicating how likely the content is to be low-quality, thin, or unhelpful:\n\n - **0-20%:** Very unlikely to be low-quality. The text is well-written, informative, and engaging, showing strong signs of quality.\n\n - **21-40%:** Unlikely to be low-quality, though there may be room for improvement.\n\n - **41-60%:** Possibly low-quality, but further analysis may be required.\n\n - **61-80%:** Likely low-quality, with multiple signs of thinness or lack of helpfulness.\n\n - **81-100%:** Very likely low-quality due to numerous factors indicating poor content.`; const userContentList = [document.body.innerText]; // Page Title // const userContentList = [document.title]; // meta description // const userContentList = [document.querySelector('meta[name="description"]')?.getAttribute('content')]; // heading h1 (replace with h2 etc as required) // const userContentList = [...document.querySelectorAll('h1')].map(h => h.textContent); function chatGptRequest(userContent) { return fetch('https://api.openai.com/v1/chat/completions', { method: 'POST', headers: { 'Authorization': `Bearer ${OPENAI_API_KEY}`, "Content-Type": "application/json", }, body: JSON.stringify({ "model": "gpt-4o", "messages": [ { role: "user", content: `${question} ${userContent}` } ], "temperature": 0.7 }) }) .then(response => { if (!response.ok) { return response.text().then(text => {throw new Error(text)}); } return response.json(); }) .then(data => { return data.choices[0].message.content.trim(); }); } return Promise.all(userContentList.map(userContent => { return chatGptRequest(userContent); })) .then(data => seoSpider.data(data)) .catch(error => seoSpider.error(error));

중대한: 바꾸다 '당신의 OPENAI API 키' 실제 OpenAI API 키로. API 키를 안전하게 보관하고 공개적으로 공유하지 마세요.

스크립트 저장

• 스크립트에 다음과 같이 인식 가능한 이름을 지정하세요. “콘텐츠 품질 평가”.
• OK 스크립트를 저장하세요.

4. 감사할 URL 가져오기

전체 웹사이트를 크롤링할 수도 있고 특정 URL 목록을 가져올 수도 있습니다(후자를 권장합니다).

URL을 가져오려면:

• We Buy Orders 신청서를 클릭하세요. 모드 > 명부.
• 를 클릭하십시오 가이드라가 > 파스타.
• URL 목록을 대화 상자에 붙여넣습니다.
• OK.

5. 크롤 시작

• 클릭 스타트 크롤링을 시작하려면 버튼을 클릭하세요.
• Screaming Frog는 각 URL을 크롤링하고, 사용자 정의 JavaScript를 실행하고, 데이터를 수집합니다.
• 크롤링 진행 상황을 확인하려면 사용자 지정 JavaScript 탭으로 이동하세요.

6. 결과 내보내기 및 분석

데이터 내보내기

• 크롤링이 완료되면 다음으로 이동하세요. 수출 버튼을 클릭합니다.
• 내보낸 내용을 Excel 또는 CSV 파일로 저장합니다.

엑셀에서 열기

• Microsoft Excel에서 파일을 엽니다.
• 사용자 정의 JavaScript에서 반환된 데이터와 함께 URL이 표시됩니다(즉, 콘텐츠 평가).

사용자 정의 JavaScript 스니펫 이해

사용자 정의 JavaScript 스니펫은 다음 작업을 수행합니다.

1. 프롬프트를 정의합니다: AI가 여러가지 기준에 따라 콘텐츠 품질을 평가하도록 지시하는 자세한 메시지를 작성합니다.
2. 페이지 콘텐츠 추출: 페이지 본문에서 내부 텍스트를 검색합니다.document.body.innerText).
   • Optional: 조정할 수 있습니다 userContentList 제목이나 메타 설명과 같은 특정 요소를 타겟팅합니다.
3. OpenAI의 API를 호출합니다: 프롬프트와 페이지 콘텐츠와 함께 OpenAI API에 요청을 보냅니다.
4. 응답을 처리합니다: 점수와 추론을 포함한 AI의 평가를 수신하여 반환합니다.

주요 변수 설명

• OPENAI_API_KEY: 인증을 위한 OpenAI API 키입니다.
• question: AI에 제공된 프롬프트입니다.
• userContentList: 분석할 내용이 포함된 배열입니다.

모델에 대한 참고 사항

• 스크립트는 “model”: “gpt-4” 매개변수를 사용합니다.
• GPT-4에 액세스할 수 없는 경우 이를 "model": "gpt-4o", "model": "gpt-4o-mini" 또는 "model": "gpt-3.5-turbo"로 변경할 수 있습니다.

Excel을 사용하여 점수 추출

AI의 응답은 다음으로 시작됩니다. “점수는: XX%”어디로 XX 숫자로 표현된 점수입니다.

정렬 및 필터링을 위해 이 점수를 추출하려면:

1. 크롤링을 엽니다 Excel 또는 CSV 형식으로.
2. 새로운 열 삽입: AI의 응답이 포함된 열 옆.
3. 사용자 정의 Excel 수식 사용:

=VALUE(MID(A2,FIND(":",A2)+2,FIND("%",A2)-FIND(":",A2)-2)/100)

• 교체 A2 AI의 응답이 포함된 셀 참조를 사용합니다.

3. 수식을 드래그하세요: 데이터가 포함된 모든 행에 적용합니다.

공식 작동 방식

• FIND(":", A2)+2: 콜론과 공백 뒤의 위치를 ​​찾습니다.
• FIND("%", A2): 퍼센트 기호의 위치를 ​​찾습니다.
• MID(...): 점수가 포함된 하위 문자열을 추출합니다.
• VALUE(...): 추출된 텍스트를 숫자 값으로 변환합니다.

예시

AI가 셀에서 응답하면 A2 입니다

The Score is: 75% **Assessment:** ... (assessment text) 

공식은 추출됩니다 0.75 숫자로서

마무리

Screaming Frog를 OpenAI의 언어 모델과 통합하여 귀하의 웹사이트 콘텐츠의 품질 문제를 감사하는 프로세스를 자동화할 수 있습니다.. 이 방법을 사용하면 개선이 필요한 페이지를 신속하게 식별하여 사이트가 사용자와 사이트 운영자 모두에게 높은 기준을 유지하도록 할 수 있습니다. 검색 엔진.

이 스크립트를 사용하여 웹사이트 콘텐츠를 감사해 보셨나요? 귀하의 경험에 대해 듣고 싶습니다. 귀하의 특정 요구 사항에 맞게 스크립트를 사용자 지정했거나 특정 콘텐츠 요소에 집중했나요? 귀하의 통찰력을 공유하고 이 접근 방식이 귀하의 사이트 품질을 향상시키는 데 어떻게 도움이 되었는지 알려주세요.

API 사용 제한 및 개인 정보 보호 문제를 고려하여 이 강력한 도구를 책임감 있게 사용하는 것을 잊지 마세요. 콘텐츠를 정기적으로 감사하면 다음과 같은 결과를 얻을 수 있습니다. 더 나은 SEO 성능, 사용자 참여 증가, 온라인 존재감 강화.

자주 묻는 질문

1. 스크립트에서 OpenAI API 키를 공유하는 것이 안전합니까?

아니요, API 키는 민감한 정보입니다. API 키를 공개적으로 공유하거나 다른 사람이 액세스할 수 있는 스크립트에 포함하지 마세요. 항상 안전하게 보관하세요.

2. GPT-4에 접근할 수 없으면 어떻게 하나요?

모델 매개변수를 변경하여 GPT-4o, GPT-4o-mini 또는 GPT-3.5-turbo를 사용하도록 스크립트를 수정할 수 있습니다.

"model": "gpt-4o-mini",

3. OpenAI API를 사용하는 데 비용이 발생합니까?

네, OpenAI API를 사용하면 사용량에 따라 비용이 발생합니다. 비용을 절감하려면 크롤링하기로 결정한 URL 수를 제한하세요. 참조 OpenAI의 가격 페이지 를 참조하세요

4. 평가에 사용된 기준을 어떻게 조정할 수 있나요?

당신은 수정할 수 있습니다 문제 스크립트의 변수(const 질문 = 'xxx') 귀하의 특정 요구 사항에 따라 기준을 포함하거나 제외합니다.

5. 이 방법을 사용하여 영어가 아닌 콘텐츠를 분석할 수 있나요?

네, OpenAI의 모델은 여러 언어를 지원합니다. 그러나 효과는 언어와 사용된 모델에 따라 다를 수 있습니다.

6. API 속도 제한은 무엇입니까?

API 속도 제한은 OpenAI 계정과 사용된 모델에 따라 달라집니다. 확인 OpenAI의 속도 제한 지침