note1

안녕하세요! 오늘은 네이버 증권 인기검색 종목, 해외 증시 크롤링 코드를 배포하려고 합니다. 1. 네이버 증권 인기종목 크롤링 # 패턴1. 라이브러리 로드 import requests from bs4 import BeautifulSoup # 패턴2. 크롤링하고 싶은 페이지 URL넣음 res = requests.get('https://finance.naver.com/') # 패턴3. 데이터 구조화 soup = BeautifulSoup(res.content,'html.parser') #container > div.aside > div > div.aside_area.aside_popular > table > tbody > tr:nth-child(1) > th > a css = '#container > div...

안녕하세요! 오늘은 BeautifulSoup을 활용한 뉴스 이슈 리스트 가져오기, 링크 가져오기 코드를 배포합니다. 1. 뉴스 이슈 가져오기 크롤링 코드 # 패턴1. 라이브러리 로드 import requests from bs4 import BeautifulSoup # 패턴2. 크롤링하고 싶은 페이지 URL넣음 res = requests.get('https://news.daum.net/') # 패턴3. 데이터 구조화 #내가 한 방법은 맞음, 패턴을 찾아야함. 근데 select_one이 아니라 select #nchild를 없애니까 len을 하니 20개가 추출됨 soup = BeautifulSoup(res.content,'html.parser') #css = 'body > div.container-doc > ..

안녕하세요! 오늘은 다음 뉴스기사와 네이버뉴스 기사 크롤링 코드를 배포합니다. 1. 다음 뉴스 기사 제목 크롤링 # 패턴1. 라이브러리 로드 import requests from bs4 import BeautifulSoup head = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36'} url = 'https://news.naver.com/main/read.nhn?mode=LSD&mid=shm&sid1=102&oid=025&aid=0003065817' res = requests.get(url,headers = head) # 패턴..

안녕하세요! 오늘은 beautifulsoup을 활용한 크롤링 패턴 코드를 연습하려고 합니다. 1. 라이브러리 임포트 request: 웹페이지 가져오기 bs4(BeautifulSoup):웹페이지 분석 라이브러리 import requests from bs4 import BeautifulSoup 2. 웹페이지 가져오기 URL 요청을 하고, HTML을 받는다 requests.get() 함수로 요청한다. res.status_code가 200이면 성공이다. #'https://news.v.daum.net/v/20201230200156918' res = requests.get('https://news.v.daum.net/v/20201230200156918') #200이면 성공 res.status_code 3. 웹페이지..

안녕하세요! 오늘은 크롤링 기초에 대해 정리하겠습니다. 1. BeautifulSoup 환경 구성하기 !pip install beautifulSoup4 먼저 beautifulSoup4를 설치합니다. 이후 bs4라는 패키지로부터 BeautifulSoup라는 모듈을 임포트 합니다. # bs4라는 패키지로부터 BeautifulSoup라는 모듈을 임포트 from bs4 import BeautifulSoup html = """ [1]크롤링이란? 웹페이지에서 필요한 데이터를 추출하는 것 파이썬을 중심으로 다양한 웹크롤링 기술 발달 바로가기 [국내도서]신나는 파이썬 [국내도서] 혼자 공부하는 파이썬 [국내도서] Effective Python 2nd 이펙티브 파이썬 : 파이썬 코딩의 기술 """ html을 가정했을 때 ..

안녕하세요! 오늘은 easyocr을 사용해 파이썬으로 영수증을 분석해보려 합니다. https://pypi.org/project/easyocr/ easyocr End-to-End Multi-Lingual Optical Character Recognition (OCR) Solution pypi.org 1. easyocr 환경 만들기 %pip install easyocr 먼저 easyocr을 설치합니다. 이후 링크의 usage에 가서 코드를 복사합니다. import easyocr reader = easyocr.Reader(['en','ko'],gpu=False) # this needs to run only once to load the model into memory result = reader.readtex..

안녕하세요! 오늘은 비전공자도 가능한 파이썬으로 사진 위도, 경도 시간을 알아내려고 합니다. [정리 전] KakaoTalk_2022-05-06 14-58-50.jpg [정리 후] 시흥시_은행동_2022-06-04 14-06-00.jpg 이렇게 이름을 변경하려고 하는데요 1. 사진에서 정보 추출 * 위도, 경도(GPS 정보 추출) 추출 * 시간 2. 위도, 경도 -> 주소로 변환 3. 파일이름 변경 * 변경 전:KakaoTalk_2022-05-20 14-22-57.jpg * 변경후:아산시_구령리_2022-05-20 14-22-57.jpg 로 지정했습니다. 1. 사진 정보 추출 먼저 사진 정보를 추출하려고 합니다. from PIL import Image #파이썬 이미지 라이브러리(Python Image Li..

안녕하세요. 오늘은 파이썬으로 초간단하게 QR코드를 만들어 보려고 합니다. 1. 파이썬 링크 접속하기(PyPl) https://pypi.org/project/qrcode/ 먼저 파이썬 코드를 가진 PyPl에 접속합니다. QR코드를 담고 있습니다. 2. 터미널 들어가기 터미널에 들어가 코드를 입력해 줍니다. 참고로 전 VS CODE의 터미널을 사용했습니다. pip install qrcode pip install pillow 만약 저처럼 VS CODE를 사용하신다면, 이렇게 바로 입력도 가능합니다. 3. 코드 복사 이후 아까 들어간 사이트의 밑을 내려보면 usage라고 적힌 부분이 있습니다. import qrcode img = qrcode.make('만들 주소 넣기') img type(img) img.sav..

안녕하세요! 오늘은 데이터 분석 환경을 설정하려고 합니다. #1. 기본 웹 브라우저 선택 기본 웹 브라우저를 Chrome으로 설정해주는 것이 좋습니다. #2. Chat GPT 설정하기 Chat gpt를 설정하기 위해선 여러 과정이 필요합니다. 먼저 https://openai.com/chatgpt 에 들어가 회원가입을 합니다. 그리고 구글 웹스토어에 들어가 '프롬프트 지니: ChatGPT 자동 번역기'를 설치합니다. 프롬프트 지니는 기존 GPT의 영문을 국문으로 번역해주는 역할을 합니다. 이렇게 프롬프트 지니를 설치하면 이런 화면이 뜹니다. 이제 '프롬프트 지니가 자동으로 번역을 해드릴게요!' 에 질문을 한글로 던지면 이렇게 답변이 뜹니다. 그럼 끝입니다.