End-to-End 연습5_LLM 대화형 RAG 챗봇 구현하기 이번에는 정해진 시간에 응답이 오는 알림이 아니라, 유저와 실시간으로 대화가 가능하도록 만들어보려고 합니다. 우선 텔레그램 봇 라이브러리를 설치 후에pip install python-telegram-bot 봇 실행 파일 bot.py를 만들고파일에 다음 내용을 작성 본격적으로 RAG를 올리기 전에, 실시간 챗봇 테스트를 해보겠습니다.from telegram import Updatefrom telegram.ext import ApplicationBuilder, ContextTypes, MessageHandler, filtersTELEGRAM_BOT_TOKEN = "**********"# 텔레그램 메시지 수신 시 호출되는 함수async def handle_message(update: Update, contex.. End_to_End 연습4_LLM 답변 생성하기 이번엔 LLM을 한번 다뤄보는 시간...!!api key를 받아 프롬프트를 전달하고 결과를 챗봇으로 받아보도록 하겠습니다 openai로 하려고 했다가 유료길래gemini로 변경했습니다 (점점 모자이크가 늘어나네..) main함수에도 아래와 같은 명령어 추가 그 결과 다음과 같은 메시지가 왔습니다. 성공!하지만 단순히 종가만 알려주는 건 부족하다고 생각합니다 이동평균을 고려해 MA5와 MA20 지표를 계산하고이를 LLM에게 넘겨주어 더 나은 분석결과를 도출해내보겠습니다.다음과 같이 쿼리 수정, 이동평균값 계산. query = "SELECT Date, Close FROM samsung_stock ORDER BY Date ASC" df = pd.read_sql(query, con=engine) .. End-to-End 연습3_챗봇 알림 서비스 구현 자동 알림 서비스를 만들어봅시다 텔레그램과 Slack을 통해서 매일 종가 안내를 보내보겠습니다.먼저 조금 더 쉬운 텔레그램부터! 그러면 텔레그램 앱으로 이렇게 옵니다 import urllib.parseimport pandas as pdimport requestsfrom sqlalchemy import create_enginedef send_telegram(message): bot_token = "@@@@@@@@" chat_id = "@@@@@@@" url = f"https://api.telegram.org/bot{bot_token}/sendMessage" requests.post(url, data={"chat_id": chat_id, "text": message})def main().. End-to-End 연습2_데이터 수집 자동화&웹 시각화 EC2 가상 컴퓨터 환경 준비sudo apt updatesudo apt upgrade -ysudo apt install python3-pip python3-venv -ymkdir stock_projectcd stock_projectpython3 -m venv venvsource venv/bin/activatepip install yfinance pandas sqlalchemy pymysql cryptography#ssl 인증서 다운로드curl -O https://truststore.pki.rds.amazonaws.com/global/global-bundle.pemnano global-bundle.pemnano collect_data.pypython collect_data.pydatesudo timedat.. End-to-End 연습1_AWS 환경 구축 [파이썬/AWS] yfinance 주가 데이터를 AWS RDS MySQL에 적재하고 DBeaver로 확인하기안녕하세요! 오늘은 파이썬으로 금융 데이터를 수집하여 AWS RDS(MySQL) 클라우드 데이터베이스에 적재하고, DBeaver를 통해 데이터베이스를 확인하는 전체 데이터 파이프라인 기초 과정을 정리해 보려고 합니다.1. AWS RDS(MySQL) 데이터베이스 준비가장 먼저 클라우드 환경에 데이터를 저장할 데이터베이스를 준비합니다.AWS 콘솔 검색창에 RDS를 검색한 후 서비스 목록에서 Aurora and RDS를 선택합니다.MySQL 인스턴스를 생성하고, 퍼블릭 액세스 허용 및 보안 그룹(3306 포트) 설정을 완료합니다.2. DBeaver와 AWS RDS 연결 및 SSL 설정클라우드 DB에 데이.. 가설검정1 [ 통계학도감8 ] 가설검정 관측된 여러 평균이나 분산 사이의 차이가 모집단에도 있다고 해도 될지의 여부를 판정한다. 비교할 통계량의 종류에 따라 여러가지 검정이 있다. 특정 값과 표본 평균의 검정 특정 비율과 표본비율의 검정 특정 분산과 표본분산의 검정 무상관 검정 평균 차이 검정 등분산 검정 비율 차이 검정 검정에서는 모집단에 관한 가설이 옳은지 어떤지 확률적으로 판정하기 위해 어떤 가설을 세울 것인지가 아주 중요하다. 귀무가설 연구에서 채택하고 싶은 내용과는 반대되는 가설을 말한다. '차이가 없다'거나 '처리 효과가 없다'와 같은 내용이다. 검정은 이 가설을 반증해 보는 것이다. 대립가설 귀무가설이 기각되었을 때, 대신 채택되는 가설을 말한다. 본래 연구에서 주장하고 싶은 내용이다. 유의수준 어느 정도의 정확도로 귀무.. 추측통계학2 [ 통계학도감7 ] 지난 시간에 이어 표본통계량의 분포에 대해 알아보겠습니다. 개별 관측 데이터 뿐만 아니라 표본통계량도 확률분포를 따르는데요, 다만 분포의 형태는 통계량에 따라 다르므로 대표적인 표본평균, 표본비율, 표본분산, 표본상관계수의 분포를 포스팅해보겠습니다. 표본분포(표본통계량의 분포) 표본분포는 통계량의 값이 다르기 때문에 불규칙한 분포를 보입니다. 이때, 불규칙한 분포 크기(표준편차)를 표준오차라 하고, 오차 범위를 예측하는 데 사용합니다. 표본평균의 분포(정규분포) 표본의 크기가 충분히 커지면, 표본평균 $\bar{x} $의 분포는 정규분포를 따릅니다. 표준화한 표본평균의 분포 표준화한 표본평균 $z_{\bar{x} }$는 표분정규분포(z 분포)를 따릅니다. $z_{\bar{x} }=\frac{\bar{x}.. 추측통계학1 [ 통계학도감6 ] 추측 통계학은 관측 데이터(표본)로부터, 그 배경에 있는 모집단의 특성을 추측하는 학문입니다(기술통계학은 추출된 관측데이터의 특징만을 파악하기 때문에 모수 추측은 하지 않습니다). 데이터가 적을 경우에도 분석 결과가 잘못되지 않도록 '오차'라는 개념을 도입하는 것이 기술통계학과 다른점입니다. 추측통계학은 표본을 사용해 그 추출원인 모집단의 특징(모수)를 추측합니다. 모수 모수란 모집단의 평균이나 분산 등 모집단의 분포 형태를 결정하는 값으로, 파라미터라고도 합니다. 대표본과 소표본 대표본일수록 정밀도가 높은 추측이 가능합니다. 소표본에 기술통계학적 방식을 그대로 이용하면 추측의 정도가 낮아지며, 검정 등이 잘못될 가능성이 있습니다.(소표본의 문제) *명확하게 정해진 것은 없지만 n 이전 1 2 3 다음
