본문 바로가기

전체 글

 (187)
[파이썬] 네이버증권 테마종목 크롤링 (2-2) beautifulsoup4 크롤링 지난 글에서 모든 테마 이름과, 테마 번호까지 얻었다. 그리고 그 테마에 접근하는 url의 규칙 또한 알고 있다. num이라는 list에 테마 넘버가 다 들어가 있고, 그것을 위 url의 XXX 부분에 대입하면 된다. 1번 글에서 확인했듯이 회사명은 에, 설명은 에 있다. 그렇게 얻은 데이터를 string으로 처리하는 과정에 대한 설명을 생략하고 코드를 보면 아래와 같다. detail_url = "" now = detail_url+'36' res = requests.get(now) soup = bs(res.text, 'lxml') info = soup.find_all('p', attrs={"class": "info_txt"}) #회사 설명 company = soup.find_all('strong', at..
[파이썬] 네이버증권 테마종목 크롤링(2-1) beautifulsoup4 크롤링 1. 테마 번호 추출 지난 글에서 종목을 찾은 것처럼 테마별 시세에서 각각의 테마를 의미하는 값을 보니 안에 테마 넘버가 있다. import requests from bs4 import BeautifulSoup as bs url = "" page_url = "" num = [] urls = [] name = [] now = page_url+"1" res = requests.get(now) soup = bs(res.text, 'lxml') theme_list = soup.find_all('td', attrs={"class": "col_type1"}) for i in theme_list: print(i) 현재 보고 있는 첫 페이지(page=1)만 처리하는 코드 url = “naver.com/(생략)&page..
[파이썬] 네이버증권 테마종목 크롤링 (1) url 분석 및 html 구조 파악 이번 글까지는 파이썬 코드가 등장하지 않는다. 사실 다 써놓고 보니 너무 조악해서 안 보고 넘어가도 좋을 것 같다. 크롤링의 기초와 HTML 구조를 파악하여 어떻게 접근할 지 구상하는 것이 이번 글의 목표이다. 그리고 최종 목적은 네이버증권의 테마별 종목과 테마명을 크롤링하여 엑셀에 저장하는 것까지이다. 그러기위해 네이버증권의 웹페이지를 살펴보자. 여기에서 우리가 관심있는 것은 테마이다. 더보기를 누르면 수많은 테마가 있는데 약 2024년 기준 약 283개이다. 처음보는 단어인 ‘제대혈’ 테마를 눌러서 물음표에 마우스를 올리면 제대혈에 대한 설명이 뜬다. 종목명 옆의 문서모양에 마우스를 올리면 해당 종목이 해당 테마로 분류된 이유를 서술한다. 약 280개 테마가 있고 한 테마는 2~141개의 종목이 있는..
[파이썬] 네이버증권 테마종목 크롤링 (0) 업로드 계기 및 잡설 누가 내 글을 보는 것도 부끄럽지만 누가 내 코드를 보는 것은 훨씬 부끄럽다. 내 코드는 개쓰레기이기 때문이다. 내가 봐도 안 좋은 글이 블로그에 많다. 하지만 이 코드만큼 나쁜 글은 보통 여기에 올리지 않는다. 18세의 문과 여고생이 처음으로 짠 코드라면 귀엽게 봐줄 수도 있겠으나 난 늙고 병든 아저씨이고 컴퓨터를 전공하기까지 했다. 오답노트와 같은 내 코드를 블로그에 올리는 것이 여간 수치스러운 일이 아니지만 그럼에도 불구하고 한번 해보기로 했다. 오랜만에 코드를 짜보니 기분이 괜찮아서 ㅎㅎ; 잘하는 사람이 여기까지 올 일은 없겠으나 누군가가 내 코드를 어떻게 수정하면 좋을지 조언을 해주었으면 좋겠다. 내가 알고 있는 문제점과 알지도 못하는 문제점이 있을 텐데 내가 아는 문제점은 아래와 같다. 우선 ..
[자작시] 주황은 고통, 파랑은 광기 노란색은 트럼펫, 초록색은 바이올린, 파란색은 첼로, 남색은 더블베이스 하늘색은 플루트 보라색은 바순, 하얀색은 휴식입니다. 수많은 색깔이 시끄러워 귀를 막고 눈을 뜨거나 눈을 감고 귀를 엽니다. 눈을 감아도 보이는 노란 소리에 귀조차 막아버리면 남은 것은 검정이 아닌 하양입니다. 모든 빛을 합친 것이 흰색이지만 모든 감각을 차단한 것도 흰색입니다. 나는 오늘 진하고 고급스러운 갈색을 점심으로 먹었으며 연초록색의 저녁을 먹었습니다. 참으로 은은하고 조용하지만 듣기 좋은 식사였습니다. 평소라면 형광빛이 도는 주황색 꿈을 꾸고 싶습니다만 오늘은 머리가 어지러워 진하고 맑은 남색의 밤을 보내고 싶습니다.
[일상] 심야영화 무법자 - 중앙선으로 걷기 고등학교 때부터 대학생 때까지 집 앞 영화관에서 심야 영화를 종종 봤다. 11시에서 1시쯤에 시작한 영화는 끝나면 1시에서 3시까지 늦어질 때가 있다. 이때는 차도 없고 신호등도 주황색 점멸등으로 깜빡이고 횡단보도 신호등도 불이 꺼진다. 집에 가는 길은 5분 남짓인데 마트를 끼고 있는 영화관이라 주변 도로가 넓어 왕복 8차선 정도 된다. 이때 중앙선을 따라 걷는걸 좋아한다. 새벽의 찬 공기와 조용한 적막과 함께 넓은 도로의 중앙에 서면 개운한 해방감에 기분이 좋아진다. 소심한 일탈에서 오는 배덕감 또한 훌륭한 토핑이다. 생각해 보면 이런 길은 다른 곳에서는 찾기 어려울 것 같다. 앞뒤로도, 양옆으로도 탁 트인 널찍한 8차선에 차는 거의 없는, 새벽에 집까지 가뿐히 걸어갈 수 있는 그런 곳. 이젠 서울에 ..
[자작시] 무중력 그르니에의 책을 읽고 무중력을 느낀 누군가. 그에게 무중력은 불편과 편함의 양립인가 보다. 제목부터 중력인 영화 가 묘사한 무중력은 지독하게 압도되는 숨막힘이다. 아이러니하게도 우리를 편안하게 하는 것은 땅에 나를 묶어놓은 중력이다. 레드가 살았던 쇼생크는 그에게 꼭 맞는 중력으로 그를 끌어당긴다. 내 산만한 시의 무중력함이 불편하기에 시의 행성이 알맞은 구절만을 당기었으면. 내가 할 일을 네가 해주었으면...
[자작시] 좋아하는 것과 사랑하는 것의 차이는 무엇인가요? 아무리 혀 끝으로는 좋아한다고 말한들너의 표정과 말투는 진실을 말하는구나 사랑하는 그를 말할 때의 너의 상기된 얼굴과 올라간 입꼬리들썩이는 어깨를 감출 방법을너는 모르는구나. 좋아하는 것을 사랑하는 것으로 바꾸는 것이 얼마나 어려운 지온몸으로 설명하는 너를 통해 알게 되었다.

티스토리툴바