RSS 구독 요약 LLM Slack Bot 만들기

 

📌 Overview

슬랙 개인 채널에서 여러 기술 블로그를 RSS 피드로 구독 중인데요, 문서 전체 내용을 요약해서 각 글에 댓글로 정리해 두면, 다양한 아티클을 더 빠르고 효율적으로 이해하는 데 도움이 될 것 같다는 생각이 들었습니다.

 

특히 일부 테크 블로그는 기술뿐 아니라 디자인, 데이터, 프로덕트 등 여러 분야의 콘텐츠도 함께 다루기 때문에, 요약과 함께 카테고리별로 분류까지 해주면 훨씬 유용할 것 같습니다.

 

슬랙 AI 요약 기능이 Pro 요금제에서만 제공되다 보니, 직접 간단한 앱을 구현해보려고 합니다.

 

📌 Architecture

 

 

RSS 구독 중인 블로그에 새로운 글이 발행되면 이를 특정 구독 채널에 공유합니다.
이는 RSS Slack App 을 통해 구성합니다.

 

💡 RSS 앱 설치 및 구독 방법은 다음 문서를 참고하세요.
👉 문서 링크

 

특정 채널에 새로운 메시지가 등록되면 해당 이벤트를 감지하고 AWS Lambda에서 운영 중인 Slack Bot에 전달합니다.
Slack Bot 은 메시지 내의 첨부된 문서 링크를 통해서 원본 문서를 탐색하고 요약된 메시지를 생성해서 채널에 응답합니다.

 

📌 Slack Bot Message Handling

Slack Bolt for JavaScript

Slack 에는 Node.js 환경에서 동작하는 봇을 구현할 수 있는 공식 프레임워크인 Bolt 가 제공됩니다.

해당 프레임워크를 통해 원하는 요구사항을 충족하는 봇 애플리케이션을 커스터마이징할 수 있습니다.

 

💡Bolt 를 통해 Slack Bot을 구성하는 보다 자세한 내용은 다음 문서를 참고해 주세요.
👉 Bolt for JavaScript

 

Slack Events API

Slack Events API 는 slack bot이 Slack 활동을 감지하고 적절한 응답을 제공할 수 있도록 하는 API입니다.

Socket 모드와 public HTTP endpoint 모드 중 하나를 선택해서 적용할 수 있습니다.

저는 별도의 방화벽은 사용하고 있지 않고 production 앱을 AWS Lambda 환경에서 운영할 예정이기 때문에 HTTP 방식을 사용했습니다.

로컬 개발환경의 경우 public HTTP endpoint를 제공하기 위해서 reverse proxy를 사용해야 하는데 이를 위해서 ngrok 솔루션을 활용할 수 있습니다.

두 모드의 차이점은 이 문서 에서 확인할 수 있습니다.

 

Demo 앱 예시

 

Event message Parsing

현재 RSS 구독 중인 블로그의 발행 소식은 다음과 같은 형식으로 전달되고 있습니다.

 

 

message 리스너에서는 이 메시지를 다음과 같은 형식으로 전달받고 있습니다.

 

{
  text: '<https://medium.com/daangn/%EC%9B%B9%EC%95%B1-%EC%84%9C%EB%B2%84-%EB%A1%9C%EA%B9%85-%EA%B0%9C%EC%84%A0%EA%B8%B0-10e819a39a1d?source=rss----4505f82a2dbd---4|웹앱 서버 로깅 개선기>\n' +
    '안녕하세요! 동네생활팀 프론트엔드 엔지니어 인턴 링커(Linker)예요. 저희 팀은 동네 정보와 이야기를 자유롭게 나누는 커뮤니티, 동네생활을 만들고 있어요.동네생활은 모바일 기기 성능이 좋지 않거나 웹뷰 로딩이 느린 환경에서도 사용자에게 원활한 경험을 제공하기 위해 Streaming SSR*을 도입했어요. 이런 구조에서 디버깅을 수월하게 하기 위해 서버 로깅을 적극적으로 활용해 왔죠. 그런데 서비스 규모가 커지면서 서버 내부에서 출력되는 로깅이 많아지자 몇 가지 문제를 직면하게 됐어요.',
 // ...
}

 

메시지 구조를 뜯어보면 다음과 같습니다.

• 제목 영역은 링크 형식인 경우 | 구분자를 통해서 링크와 표시형식을 구분
• 메시지에 본문이 포함된 경우에는 제목 영역에 \n(개행문자) 를 추가하고 이후에 본문 내용이 concat 되어서 전달

 

우리에게 필요한 것은 본문이 아닌 원문의 링크이기 때문에 적절한 파싱이 필요합니다.

우선 \n 문자를 기준으로 split 한 다음 title, content 영역을 구분해 줍니다.

 

const [title, content] = rawMessage.split('\n')

 

이제 title 에는 다음과 같은 형식으로 문자열이 들어오게 됩니다.

 

<https://medium.com/daangn/%EC%9B%B9%EC%95%B1-%EC%84%9C%EB%B2%84-%EB%A1%9C%EA%B9%85-%EA%B0%9C%EC%84%A0%EA%B8%B0-10e819a39a1d?source=rss----4505f82a2dbd---4|웹앱 서버 로깅 개선기>

 

여기서 실제 링크 영역만 추출하는 방법으로 정규표현식을 활용할 수 있습니다.

전방탐색(look-ahead)과 후방탐색(look-behind)을 함께 사용하면 됩니다.

 

const sourceLink = title.match(/(?<=<).*(?=\|)/g)[0]

 

Message replies

Bolt API에서 특정 메시지에 댓글을 추가하려면 say 호출 시 thread_ts 를 추가하면 됩니다.

여기서 thread_ts 는 댓글을 추가할 스레드의 고유 ID 값이며 이는 메시지 이벤트 핸들러를 통해 조회할 수 있습니다.

 

app.message(/.*/, async ({ event, message, say }) => {
  // ...

  await say({
    text: `추출된 원문 링크는 다음과 같네요: ${sourceLink}`,
    thread_ts: message.ts,
  })
})

 

 

보다 자세한 내용은 Message 공식문서를 참고하세요.

 

📌 LLM을 활용해서 아티클 요약하기

LLM Model 선정

무료로 사용할 수 있는 공개 LLM API 플랫폼들이 몇 가지 있습니다.

크게 GitHub Models 와 Google AI Studio 를 고민해 봤는데, Google에서 제공하는 Gemini 모델이 Free Tier에서 처리할 수 있는 input token의 범위가 더 커서 이걸 활용해 보기로 했습니다.

 

사용법에 대한 자세한 내용은 다음 공식 문서를 참고해 주세요.

https://ai.google.dev/gemini-api/docs

Gemini API  |  Google AI for Developers

 

Prompt 구성

최초에는 Gemini에 역할을 부여하고 응답 시 고려해야 할 사항, 그리고 응답 형식을 전달해 주고 참조해야 할 문서 링크를 전달해 주는 방식으로 접근했습니다.

 

const response = await ai.models.generateContent({
  model: 'gemini-2.5-pro',
  contents: generatePrompt(resourceLink),
  config: {      
      systemInstruction: 'You are senior software engineer and you are summarizing a blog post for your team.', 
      thinkingConfig: {
          temperature: 0, // lower temperature for deterministic output
          thinkingBudget: 0, // disable thinking and reduce latency cause it is not needed when summarizing (maybe?) 
        },      
        tools: [{ urlContext: {} }],    
    },
})

function generatePrompt(resourceLink) {
  return `
  [Summary Guidelines]
  Please follow the guidelines below when summarizing:
    •    Read the blog post at the link provided and summarize the key points as if you’re sharing it with your team.
    •    Avoid unnecessary embellishments—keep the writing clear and concise.
    •    Use simple and clear language.
    •    Do not infer or add any information that is not explicitly mentioned in the blog post.
    • Do not include any additional information or context outside of the blog post.
    •    No greetings or closing remarks are necessary.
    •    Response in Korean.
    • Do not use bold or italics in the response.

  [Exception Handling Guidelines]
  If the blog post is not accessible or does not contain sufficient information, please respond with:
    •    "아티클에 접근할 수 없습니다."

  [Summary Format]
  Please format the summary as follows:
    • Infer Category of the blog post from content.
      •    Category should be one of the following with backticks:
        'AI', 'Web Development', 'Mobile Development', 'DevOps', 'Cloud Computing', 'Data Science', 'Cybersecurity', 'Software Engineering', 'Programming Languages', 'Frameworks and Libraries'.
    • Summarize content should be in bullet points.
      • This should be after the category.
      •    Use bullet points for each key point.
      •    Each bullet point should be concise.
    • Use headings to separate different sections of the summary.
      • Use sub-categorize with sub-headings (ex. h2, h3 ...).
      • Use sub-categorize actively to make the summary more readable.

  [Summary Example]
  Here is an example of how the summary should look. follow the same format:
  •    Category: \`AI\`  

  •    Heading 1
    - Sub-point 1
    - Sub-point 2

  •    Heading 2
    - Sub-point 1
    - Sub-point 2

  ... and so on.

  [Blog Post to Summarize]
  Read the blog post at the following link:
    •    ${resourceLink}
  `
}

 

Gemini API에는 URL Context라는 실험적인 기능을 제공하고 있습니다.

https://ai.google.dev/gemini-api/docs/url-context

URL context  |  Gemini API  |  Google AI for Developers

 

이를 통해 실제 아티클의 내용에 접근해서 콘텐츠에 대한 요약본을 생성할 수 있습니다.

다만 아직 실험적인 단계라서 그런지 일부 아티클은 유효한 접근을 하지 못하는 경우가 있었습니다.

 

 

url-context 도구를 통해 아티클에 접근이 불가능한 상태라면 직접 아티클을 크롤링해서 요약본을 생성하고 싶었습니다.

function calling을 통해서 기능을 세분화하려고 했는데, Gemini API는 현재 function calling과 URL context(또는 tool) 기능을 동시에 한 요청에서 사용할 수 없는 제약사항이 있습니다.

 

await ai.models.generateContent({
    model: 'gemini-2.5-flash',
    config: {
        tools: [{ urlContext: {}, functionDeclarations: [someFunction] }] // ❌
    }
})

 

이러한 문제를 해결하기 위해서 프롬프트 단계를 나누는 방식으로 접근했습니다.

1. 먼저 url-context tool을 이용해서 해당 콘텐츠에 접근할 수 있는지 판단한다.
2. 접근이 가능한 상태라면, 기존 url-context를 활용하는 방식으로 요약
3. 접근이 어려운 상태라는 응답 메시지를 받으면 직접 크롤링해서 요약본을 프롬프트에 전달
4. 크롤러로 접근이 안 되는 상태라면 요약불가 처리

 

const response = await ai.models.generateContent({
    /** */
})

if (isFailureResponse(response)) {
    /** 크롤링 후 아티클 임베딩하여 재요청 */
} else {
    /** 정상응답 반환 */
}

 

crawlee 라이브러리를 이용해서 간단한 크롤링 코드를 추가했습니다.

 

export async function crawling({ url, onFinish, onFailure }) {
  const crawler = createCrawler({ onFinish, onFailure })

  await crawler.run([url])
}

function createCrawler({ onFinish, onFailure }) {
  const config = new Configuration({
    /**
     * 💡 NOTE:
     * Do not persist storage in this crawler.
     * This is because the crawler is used in a serverless environment,
     * and we do not want to persist any data between invocations.
     * If you need to persist data, use a different crawler with a persistent storage configuration.
     */
    persistStorage: false,
  })
  const crawler = new CheerioCrawler(
    {
      async requestHandler({ $ }) {
        const article = $('article').text()

        onFinish(article)
      },
      async failedRequestHandler() {
        onFailure()
      },
    },
    config
  )

  return crawler
}

 

서버리스 환경에서 각 invokation 간에 데이터를 영속적으로 유지할 필요는 없기 때문에 persistStorage 옵션은 사용하지 않았습니다.

Slack Event API 에는 응답 지연시간 3초 이내에 2xx status code로 응답하지 않으면 이벤트 응답 실패로 간주하고 3번 재시도합니다.

 

이러한 제약 때문에 아티클을 조회하고 콘텐츠를 요약하는 과정이 길어지는 경우 의도하지 않게 Lambda 함수가 재시도되는 문제가 있었습니다.

Lambda는 실행 시간과 횟수에 따라 과금되기 때문에 이 문제를 해결할 필요가 있었습니다.

 

요청에 대한 응답을 처리하는 프로세스와 실제 요약을 처리하는 프로세스를 분리하는 등으로 해결할 수도 있지만 더 단순하게 문제를 해결하기 위해서 Message 이벤트 핸들러에서 전달받을 수 있는 재시도 횟수를 참고하기로 했습니다.

Slack Event API는 요청 재시도 시에 HTTP 헤더에 x-slack-retry-num 를 추가해서 전달합니다.

그리고 이 값은 bolt sdk 내에서는 context.retryNum 으로 참조가 가능합니다.

 

// bolt-js 소스코드
// https://github.com/slackapi/bolt-js/blob/9337e0616f058f1459ef1ad922dfba38048dac3b/src/receivers/HTTPModuleFunctions.ts#L13

export const extractRetryNumFromHTTPRequest = (req: IncomingMessage): number | undefined => {
  let retryNum: number | undefined;
  const retryNumHeaderValue = req.headers['x-slack-retry-num'];
  if (retryNumHeaderValue === undefined) {
    retryNum = undefined;
  } else if (typeof retryNumHeaderValue === 'string') {
    retryNum = Number.parseInt(retryNumHeaderValue, 10);
  } else if (Array.isArray(retryNumHeaderValue) && retryNumHeaderValue.length > 0) {
    retryNum = Number.parseInt(retryNumHeaderValue[0], 10);
  }
  return retryNum;
};

 

context.retryNum 가 0보다 큰 경우 재시도 요청으로 간주하고 early-return 합니다.

 

app.message(/.*/, async ({ context, event, message, say }) => {
  const isRetry = isRetryEvent(context)

  if (isRetry) {
    // If this is a retry event, we do not want to process it again.
    // This is to prevent duplicate processing of the same event.
    return
  }

  // ...
}

function isRetryEvent(context) {
  const isRetry = (context.retryNum ?? 0) > 0

  return isRetry
}

 

📌 Slack Bot 배포하기

serverless framework

AWS Lambda를 통해서 서버리스 환경을 직접 구축하는 대신 AWS CloudFormation을 통해서 템플릿 파일을 통해 리소스를 할당 및 관리할 수 있는 방법을 제공해 줍니다.

serverless.yaml 파일을 생성한 뒤에 필요한 리소스 타입을 정의합니다.

 

service: slack-bot-clippy

frameworkVersion: '4'

useDotenv: true

provider:
  name: aws
  runtime: nodejs22.x
  region: ap-northeast-2
  environment:
    SLACK_SIGNING_SECRET: ${env:SLACK_SIGNING_SECRET}
    SLACK_BOT_TOKEN: ${env:SLACK_BOT_TOKEN}
    AWS_CLIENT_TIMEOUT: 30000
    GEMINI_API_KEY: ${env:GEMINI_API_KEY}

functions:
  slack:
    handler: app.handler
    maximumRetryAttempts: 0
    timeout: 20
    events:
      - http:
          path: slack/events
          method: post
plugins:
  - serverless-offline

 

로컬환경에서 AWS Lambda 동작을 확인하기 위해서 serverless-offline 플러그인을 활용할 수 있습니다.

해당 플러그인은 로컬환경에서 API Gateway와 Lambda 동작을 에뮬레이션합니다.

배포는 다음 커멘드로 간편하게 가능합니다.

 

serverless deploy

 

 

생성된 endpoint를 Slack App 설정에서 Event Subscription Request URL로 지정해 주면 됩니다.

해당 endpoint는 API Gateway를 통해 제공되는 API Endpoint가 됩니다.

 

 

이후에 RSS 구독 중인 채널에 clippy 봇을 추가하면 됩니다.

 

📌 마무리

 

 

이번 기회에 AWS Lambda 환경을 직접 구성하고, LLM 모델을 활용한 간단한 애플리케이션도 만들어봤습니다.

비교적 단순한 요약 작업이라서 프롬프트 한두 줄로 끝날 줄 알았는데, 원하는 형태로 응답을 정확하게 얻어내려면 예상보다 훨씬 세밀한 프롬프트 설계가 필요했습니다.