모바일 오유 바로가기
http://m.todayhumor.co.kr
분류 게시판
베스트
  • 베스트오브베스트
  • 베스트
  • 오늘의베스트
  • 유머
  • 유머자료
  • 유머글
  • 이야기
  • 자유
  • 고민
  • 연애
  • 결혼생활
  • 좋은글
  • 자랑
  • 공포
  • 멘붕
  • 사이다
  • 군대
  • 밀리터리
  • 미스터리
  • 술한잔
  • 오늘있잖아요
  • 투표인증
  • 새해
  • 이슈
  • 시사
  • 시사아카이브
  • 사회면
  • 사건사고
  • 생활
  • 패션
  • 패션착샷
  • 아동패션착샷
  • 뷰티
  • 인테리어
  • DIY
  • 요리
  • 커피&차
  • 육아
  • 법률
  • 동물
  • 지식
  • 취업정보
  • 식물
  • 다이어트
  • 의료
  • 영어
  • 맛집
  • 추천사이트
  • 해외직구
  • 취미
  • 사진
  • 사진강좌
  • 카메라
  • 만화
  • 애니메이션
  • 포니
  • 자전거
  • 자동차
  • 여행
  • 바이크
  • 민물낚시
  • 바다낚시
  • 장난감
  • 그림판
  • 학술
  • 경제
  • 역사
  • 예술
  • 과학
  • 철학
  • 심리학
  • 방송연예
  • 연예
  • 음악
  • 음악찾기
  • 악기
  • 음향기기
  • 영화
  • 다큐멘터리
  • 국내드라마
  • 해외드라마
  • 예능
  • 팟케스트
  • 방송프로그램
  • 무한도전
  • 더지니어스
  • 개그콘서트
  • 런닝맨
  • 나가수
  • 디지털
  • 컴퓨터
  • 프로그래머
  • IT
  • 안티바이러스
  • 애플
  • 안드로이드
  • 스마트폰
  • 윈도우폰
  • 심비안
  • 스포츠
  • 스포츠
  • 축구
  • 야구
  • 농구
  • 바둑
  • 야구팀
  • 삼성
  • 두산
  • NC
  • 넥센
  • 한화
  • SK
  • 기아
  • 롯데
  • LG
  • KT
  • 메이저리그
  • 일본프로야구리그
  • 게임1
  • 플래시게임
  • 게임토론방
  • 엑스박스
  • 플레이스테이션
  • 닌텐도
  • 모바일게임
  • 게임2
  • 던전앤파이터
  • 마비노기
  • 마비노기영웅전
  • 하스스톤
  • 히어로즈오브더스톰
  • gta5
  • 디아블로
  • 디아블로2
  • 피파온라인2
  • 피파온라인3
  • 워크래프트
  • 월드오브워크래프트
  • 밀리언아서
  • 월드오브탱크
  • 블레이드앤소울
  • 검은사막
  • 스타크래프트
  • 스타크래프트2
  • 베틀필드3
  • 마인크래프트
  • 데이즈
  • 문명
  • 서든어택
  • 테라
  • 아이온
  • 심시티5
  • 프리스타일풋볼
  • 스페셜포스
  • 사이퍼즈
  • 도타2
  • 메이플스토리1
  • 메이플스토리2
  • 오버워치
  • 오버워치그룹모집
  • 포켓몬고
  • 파이널판타지14
  • 배틀그라운드
  • 기타
  • 종교
  • 단어장
  • 자료창고
  • 운영
  • 공지사항
  • 오유운영
  • 게시판신청
  • 보류
  • 임시게시판
  • 메르스
  • 세월호
  • 원전사고
  • 2016리오올림픽
  • 2018평창올림픽
  • 코로나19
  • 2020도쿄올림픽
  • 게시판찾기
  • 게시물ID : programmer_22669
    작성자 : 머래
    추천 : 0
    조회수 : 1984
    IP : 106.245.***.184
    댓글 : 6개
    등록시간 : 2018/10/26 13:34:17
    http://todayhumor.com/?programmer_22669 모바일
    [초보] 파이썬 웹크롤링 코드 좀 봐주세요!
    옵션
    • 본인삭제금지
    안녕하세요! 저번에도 업무자동화 독학 가능하냐고 질문 올렸었는데 많이들 친절하게 알려주셔서 감동먹었었어요..! 감사드려요 ㅎㅎ <div><br></div> <div>지금 도서관에서 사회복무요원으로 복무 중인데 주요 업무 중 하나가 새로 나온 책들 제목, 저자, 출판사 가격 등의 정보를 인터넷에서 엑셀로 복사 붙히기 하는거예요. <span style="font-size:9pt;">이런식으로요!</span></div> <div><br></div> <div><table border="1" width="100%" cellpadding="3" cellspacing="0" style="border-style:solid;border-collapse:collapse;"><tbody><tr><td> 제목</td> <td> 저자</td> <td> 출판사</td> <td> 표지</td> <td>가격</td> <td> ISBN</td> <td> 출판일</td></tr><tr><td> The Mamba Mentality: How I Play</td> <td> Kobe Bryant</td> <td> Farrar, Straus and Giroux</td> <td> Hardcover</td> <td> $35.00</td> <td> 9780374201234</td> <td> 10/23/2018</td></tr><tr><td> The Reckoning</td> <td> John Grisham</td> <td> Knopf Doubleday Publishing Group</td> <td> Hardcover</td> <td> $29.95</td> <td> 9780385544153</td> <td> 10/23/2018</td></tr></tbody></table></div> <div><br></div> <div>근데 신간들이 한 두권 있는 것도 아니고, 매일 하려니까 하루에 100권도 찾고 손목이랑 눈이 너무 아프더라구요 ㅠㅠ 알아보니까 파이썬으로 웹 크롤링이라는 걸 하면 업무자동화 할 수 있다길래 공부시작했어요. 프로그래밍은 완전 처음이라 완전자동화는 힘들 것 같아서 조언해주신대로 반자동을 목표로 일단 시작을 했어요. 그래도 혼자 하다보니<span style="font-size:9pt;">까 막히는 부분이 많더라구요... 그래서 질문 좀 드릴께요! (쌩초보라 질문하는 법도 잘 모르겠네요..)</span></div> <div><br></div> <div>저는 두가지 코드를 작성했어요. 첫번째는 메인 페이지에서 상세페이지 링크들을 뽑는 코드고, 두번째는 그 링크들을 넣고 돌리면 제가 원하는 책 정보들이 나오는 코드예요. <span style="background-color:#ffff00;">제가 질문하고싶은 것은 이 두 코드를 하나로 합치는 법이예요.</span> 할 수 있을 것 같은데 어떻게 해야하는지 모르겠어요... ㅠㅠ</div> <div><br></div> <div>일단 코드 설명부터 드리자면, 저는 <span style="font-size:9pt;"><a target="_blank" href="https://www.barnesandnoble.com/">https://www.barnesandnoble.com/</a> 이란 곳에서 책에 관한 자료를 뽑아왔어요. 영문 책들 위주로 찾아야하는데 여기가 제일 정리가 잘 되어있더라구요.</span></div> <div><br></div> <div><a target="_blank" href="https://www.barnesandnoble.com/b/new-releases/_/N-1oyg?Nrpp=40&Ns=P_Sales_Rank%7C0&page=1">https://www.barnesandnoble.com/b/new-releases/_/N-1oyg?Nrpp=40&Ns=P_Sales_Rank%7C0&page=1</a></div> <div>여기에 들어가보시면 최근 3개월동안 나온 책들을 잘 팔리는 순서대로 뽑은 목록이 나와요. 저는 아래의 코드(Barnes&Noble_1)로 이 페이지에서 각각의 책들의 상세페이지 링크들을 뽑았어요. 제가 필요한 정보들은 상세페이지 안에 있거든요.</div> <div><span style="font-size:9pt;"><br></span></div> <div><span style="font-size:9pt;">----------------------------------------------Barnes&Noble_1-------------------------------------------------</span></div> <div><pre style="background-color:#2b2b2b;color:#a9b7c6;font-family:'굴림체';font-size:9pt;"><span style="color:#cc7832;">import </span>requests<br><span style="color:#cc7832;">import </span>bs4<br><br><span style="color:#cc7832;">def </span><span style="color:#ffc66d;">get_product_info</span>(book):<br> atag = book.find(<span style="color:#6a8759;">"a"</span>)<br> href = atag[<span style="color:#6a8759;">"href"</span>]<br> link_second_half = href.split(<span style="color:#6a8759;">";"</span>)[<span style="color:#6897bb;">0</span>]<br> link = <span style="color:#6a8759;">"<a target="_blank" href="https://www.barnesandnoble.com">https://www.barnesandnoble.com</a>" </span>+ link_second_half<br><span style="color:#cc7832;">return </span>link<br><br><span style="color:#cc7832;">def </span><span style="color:#ffc66d;">get_page_info</span>(url):<br> result = requests.get(url)<br> bs_obj = bs4.BeautifulSoup(result.content<span style="color:#cc7832;">, </span><span style="color:#6a8759;">"html.parser"</span>)<br> shelf = bs_obj.find(<span style="color:#6a8759;">"div"</span><span style="color:#cc7832;">, </span>{<span style="color:#6a8759;">"class"</span>:<span style="color:#6a8759;">"product-shelf-grid"</span>})<br> books = shelf.findAll(<span style="color:#6a8759;">"div"</span><span style="color:#cc7832;">, </span>{<span style="color:#6a8759;">"class"</span>:<span style="color:#6a8759;">"product-shelf-title product-info-title pt-xs"</span>})<br> link_list = [get_product_info(book) <span style="color:#cc7832;">for </span>book <span style="color:#cc7832;">in </span>books]<br><span style="color:#cc7832;">return </span>link_list<br><br>urls = [<br><span style="color:#6a8759;">"<a target="_blank" href="https://www.barnesandnoble.com/b/new-releases/_/N-1oyg?Nrpp=20&Ns=P_Sales_Rank%7C0&page=1">https://www.barnesandnoble.com/b/new-releases/_/N-1oyg?Nrpp=20&Ns=P_Sales_Rank%7C0&page=1</a>"</span><span style="color:#cc7832;">,<br></span><span style="color:#cc7832;"> </span><span style="color:#6a8759;">"<a target="_blank" href="https://www.barnesandnoble.com/b/new-releases/_/N-1oyg?Nrpp=20&Ns=P_Sales_Rank%7C0&page=2">https://www.barnesandnoble.com/b/new-releases/_/N-1oyg?Nrpp=20&Ns=P_Sales_Rank%7C0&page=2</a>"</span><span style="color:#cc7832;">,<br></span><span style="color:#cc7832;"> </span><span style="color:#6a8759;">"<a target="_blank" href="https://www.barnesandnoble.com/b/new-releases/_/N-1oyg?Nrpp=20&Ns=P_Sales_Rank%7C0&page=3">https://www.barnesandnoble.com/b/new-releases/_/N-1oyg?Nrpp=20&Ns=P_Sales_Rank%7C0&page=3</a>"<br></span><span style="color:#6a8759;"> </span>]<br><br><span style="color:#cc7832;">for </span>page_number <span style="color:#cc7832;">in </span><span style="color:#8888c6;">range</span>(<span style="color:#6897bb;">0</span><span style="color:#cc7832;">, </span><span style="color:#8888c6;">len</span>(urls)):<br> get_links = get_page_info(urls[page_number])<br><span style="color:#8888c6;">print</span>(get_links)</pre></div> <div><div style="text-align:left;"><img src="http://thimg.todayhumor.co.kr/upfile/201810/15405251568ed06ca221044837af28d32590ee7b77__mn216626__w1591__h150__f41988__Ym201810.png" width="800" height="75" alt="캡처.PNG" class="chimg_photo" style="border:none;" filesize="41988"></div></div> <div><div><br></div> <div>urls안에 원하는 페이지 수 만큼 주소 넣고 돌리면 링크들이 이렇게 쭉 나와요.</div> <div><br></div> <div>그리고 이 링크들을 복사해서 아래의 코드(Barnes&Noble_2)에 붙여넣고 돌려서 제가 원하는 제목, 저자, 가격 등의 정보를 뽑았어요.</div></div> <div><br></div> <div><div><span style="font-size:9pt;">----------------------------------------------Barnes&Noble_1-------------------------------------------------</span></div></div> <div><pre style="background-color:#2b2b2b;color:#a9b7c6;font-family:'굴림체';font-size:9pt;"><span style="color:#cc7832;">import </span>requests<br><span style="color:#cc7832;">import </span>bs4<br><br><span style="color:#cc7832;">def </span><span style="color:#ffc66d;">get_book_info</span>(url):<br> result = requests.get(url)<br> bs_obj = bs4.BeautifulSoup(result.content<span style="color:#cc7832;">, </span><span style="color:#6a8759;">"html.parser"</span>)<br><br> table = bs_obj.find(<span style="color:#6a8759;">"table"</span><span style="color:#cc7832;">, </span>{<span style="color:#6a8759;">"class"</span>: <span style="color:#6a8759;">"plain centered"</span>})<br> table_detail = table.findAll(<span style="color:#6a8759;">"td"</span>)<br> contributors = bs_obj.find(<span style="color:#6a8759;">"span"</span><span style="color:#cc7832;">, </span>{<span style="color:#6a8759;">"class"</span>:<span style="color:#6a8759;">"contributors"</span>})<br> publisher_blank = table_detail[<span style="color:#6897bb;">1</span>].text.split(<span style="color:#6a8759;">"</span><span style="color:#cc7832;">\n</span><span style="color:#6a8759;">"</span>)<br><br> title = bs_obj.find(<span style="color:#6a8759;">"h1"</span><span style="color:#cc7832;">, </span>{<span style="color:#6a8759;">"class"</span>:<span style="color:#6a8759;">"pdp-header-title"</span>}).text<br> author = contributors.find(<span style="color:#6a8759;">"a"</span>).text<br> publisher = publisher_blank[<span style="color:#6897bb;">1</span>]<br> price = bs_obj.find(<span style="color:#6a8759;">"s"</span><span style="color:#cc7832;">, </span>{<span style="color:#6a8759;">"class"</span>: <span style="color:#6a8759;">"old-price"</span>}).text<br> cover = bs_obj.find(<span style="color:#6a8759;">"h2"</span><span style="color:#cc7832;">, </span>{<span style="color:#6a8759;">"id"</span>:<span style="color:#6a8759;">"pdp-info-format"</span>}).text<br> isbn = table_detail[<span style="color:#6897bb;">0</span>].text<br> date = table_detail[<span style="color:#6897bb;">2</span>].text<br><br><span style="color:#cc7832;">return </span>{<span style="color:#6a8759;">"제목"</span>:title<span style="color:#cc7832;">, </span><span style="color:#6a8759;">"저자"</span>:author<span style="color:#cc7832;">, </span><span style="color:#6a8759;">"출판사"</span>:publisher<span style="color:#cc7832;">, </span><span style="color:#6a8759;">"정가"</span>:price<span style="color:#cc7832;">, </span><span style="color:#6a8759;">"표지"</span>:cover<span style="color:#cc7832;">, </span><span style="color:#6a8759;">"ISBN"</span>:isbn<span style="color:#cc7832;">, </span><span style="color:#6a8759;">"출판년"</span>:date}<br><br>urls = [<span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/the-mamba-mentality-kobe-bryant/1128756303?ean=9780374201234">https://www.barnesandnoble.com/w/the-mamba-mentality-kobe-bryant/1128756303?ean=9780374201234</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/the-reckoning-john-grisham/1128754609?ean=9780385544153">https://www.barnesandnoble.com/w/the-reckoning-john-grisham/1128754609?ean=9780385544153</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/every-breath-nicholas-sparks/1128233010?ean=9781538715772">https://www.barnesandnoble.com/w/every-breath-nicholas-sparks/1128233010?ean=9781538715772</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/ship-of-fools-tucker-carlson/1128709155?ean=9781501183669">https://www.barnesandnoble.com/w/ship-of-fools-tucker-carlson/1128709155?ean=9781501183669</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/the-dubrow-diet-heather-dubrow/1128262978?ean=9781939457714">https://www.barnesandnoble.com/w/the-dubrow-diet-heather-dubrow/1128262978?ean=9781939457714</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/cook-like-a-pro-ina-garten/1128573617?ean=9780804187046">https://www.barnesandnoble.com/w/cook-like-a-pro-ina-garten/1128573617?ean=9780804187046</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/racing-to-the-finish-dale-earnhardt-jr/1128128133?ean=9780785221609">https://www.barnesandnoble.com/w/racing-to-the-finish-dale-earnhardt-jr/1128128133?ean=9780785221609</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/gmorning-gnight-lin-manuel-miranda/1129098589?ean=9781984854278">https://www.barnesandnoble.com/w/gmorning-gnight-lin-manuel-miranda/1129098589?ean=9781984854278</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/the-happy-cookbook-steve-doocy/1128106540?ean=9780062838940">https://www.barnesandnoble.com/w/the-happy-cookbook-steve-doocy/1128106540?ean=9780062838940</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/dare-to-lead-bren-brown/1129054835?ean=9780399592522">https://www.barnesandnoble.com/w/dare-to-lead-bren-brown/1129054835?ean=9780399592522</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/unsheltered-barbara-kingsolver/1127834367?ean=9780062887047">https://www.barnesandnoble.com/w/unsheltered-barbara-kingsolver/1127834367?ean=9780062887047</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/the-next-person-you-meet-in-heaven-mitch-albom/1128018113?ean=9780062874313">https://www.barnesandnoble.com/w/the-next-person-you-meet-in-heaven-mitch-albom/1128018113?ean=9780062874313</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/a-spark-of-light-jodi-picoult/1128106313?ean=9781984800671">https://www.barnesandnoble.com/w/a-spark-of-light-jodi-picoult/1128106313?ean=9781984800671</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/killing-the-ss-bill-oreilly/1128533650?ean=9781250165541">https://www.barnesandnoble.com/w/killing-the-ss-bill-oreilly/1128533650?ean=9781250165541</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/the-clockmakers-daughter-kate-morton/1128249250?ean=9781982113940">https://www.barnesandnoble.com/w/the-clockmakers-daughter-kate-morton/1128249250?ean=9781982113940</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/shook-one-charlamagne-tha-god/1128615643?ean=9781501193255">https://www.barnesandnoble.com/w/shook-one-charlamagne-tha-god/1128615643?ean=9781501193255</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/the-laws-of-human-nature-robert-greene/1128233534?ean=9780525428145">https://www.barnesandnoble.com/w/the-laws-of-human-nature-robert-greene/1128233534?ean=9780525428145</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/the-gift-that-i-can-give-kathie-lee-gifford/1128128162?ean=9781400209248">https://www.barnesandnoble.com/w/the-gift-that-i-can-give-kathie-lee-gifford/1128128162?ean=9781400209248</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/the-bullet-journal-method-ryder-carroll/1128106231?ean=9780525533337">https://www.barnesandnoble.com/w/the-bullet-journal-method-ryder-carroll/1128106231?ean=9780525533337</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/fear-bob-woodward/1129202161?ean=9781501175510">https://www.barnesandnoble.com/w/fear-bob-woodward/1129202161?ean=9781501175510</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/brief-answers-to-the-big-questions-stephen-hawking/1128751044?ean=9781984817723">https://www.barnesandnoble.com/w/brief-answers-to-the-big-questions-stephen-hawking/1128751044?ean=9781984817723</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/the-tattooist-of-auschwitz-heather-morris/1127027624?ean=9780062797155">https://www.barnesandnoble.com/w/the-tattooist-of-auschwitz-heather-morris/1127027624?ean=9780062797155</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/ambush-james-patterson/1127922385?ean=9780316273985">https://www.barnesandnoble.com/w/ambush-james-patterson/1127922385?ean=9780316273985</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/the-witch-elm-tana-french/1128330704?ean=9780735224629">https://www.barnesandnoble.com/w/the-witch-elm-tana-french/1128330704?ean=9780735224629</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/the-sun-and-her-flowers-kaur-rupi/1129162336?ean=9781449495763">https://www.barnesandnoble.com/w/the-sun-and-her-flowers-kaur-rupi/1129162336?ean=9781449495763</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/the-whole30-slow-cooker-melissa-hartwig/1128516874?ean=9781328531049">https://www.barnesandnoble.com/w/the-whole30-slow-cooker-melissa-hartwig/1128516874?ean=9781328531049</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/where-the-crawdads-sing-delia-owens/1127681226?ean=9780735219090">https://www.barnesandnoble.com/w/where-the-crawdads-sing-delia-owens/1127681226?ean=9780735219090</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/them-ben-sasse/1128271920?ean=9781250193681">https://www.barnesandnoble.com/w/them-ben-sasse/1128271920?ean=9781250193681</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/presidents-of-war-michael-beschloss/1127750846?ean=9780307409607">https://www.barnesandnoble.com/w/presidents-of-war-michael-beschloss/1127750846?ean=9780307409607</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/all-about-cake-christina-tosi/1127834028?ean=9780451499523">https://www.barnesandnoble.com/w/all-about-cake-christina-tosi/1127834028?ean=9780451499523</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/lethal-white-robert-galbraith/1129059866?ean=9780316422734">https://www.barnesandnoble.com/w/lethal-white-robert-galbraith/1129059866?ean=9780316422734</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/shade-pete-souza/1128829317?ean=9780316421829">https://www.barnesandnoble.com/w/shade-pete-souza/1128829317?ean=9780316421829</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/leaders-stanley-mcchrystal/1128233494?ean=9780525534372">https://www.barnesandnoble.com/w/leaders-stanley-mcchrystal/1128233494?ean=9780525534372</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/the-noma-guide-to-fermentation-rene-redzepi/1128830166?ean=9781579657185">https://www.barnesandnoble.com/w/the-noma-guide-to-fermentation-rene-redzepi/1128830166?ean=9781579657185</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/holy-ghost-john-sandford/1127901865?ean=9780735217324">https://www.barnesandnoble.com/w/holy-ghost-john-sandford/1127901865?ean=9780735217324</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/not-quite-over-you-susan-mallery/1127630722?ean=9781335474636">https://www.barnesandnoble.com/w/not-quite-over-you-susan-mallery/1127630722?ean=9781335474636</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/in-pieces-sally-field/1127786169?ean=9781538763025">https://www.barnesandnoble.com/w/in-pieces-sally-field/1127786169?ean=9781538763025</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/andrew-jackson-and-the-miracle-of-new-orleans-brian-kilmeade/1126048980?ean=9780735213241">https://www.barnesandnoble.com/w/andrew-jackson-and-the-miracle-of-new-orleans-brian-kilmeade/1126048980?ean=9780735213241</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/desperate-measures-stuart-woods/1127903027?ean=9780735219229">https://www.barnesandnoble.com/w/desperate-measures-stuart-woods/1127903027?ean=9780735219229</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/matty-matheson-matty-matheson/1128110558?ean=9781419732454">https://www.barnesandnoble.com/w/matty-matheson-matty-matheson/1128110558?ean=9781419732454</a>'</span>]<br><br><span style="color:#cc7832;">for </span>url <span style="color:#cc7832;">in </span>urls:<br> book_info_list = get_book_info(url)<br><span style="color:#8888c6;">print</span>(book_info_list)<br><br><br></pre></div> <div><div style="text-align:left;"><img src="http://thimg.todayhumor.co.kr/upfile/201810/1540525446919c441fb4dd44758233765c34d8b682__mn216626__w1593__h308__f161621__Ym201810.png" width="800" height="155" alt="캡처2.PNG" class="chimg_photo" style="border:none;" filesize="161621"></div><br></div> <div>이렇게 딕셔너리 형태로 출력하는 것까지 했으니까, JSON이라는 걸 이용해서 보기 좋게 만든 다음 엑셀에 붙여넣으면 될 것 같아요. (아직 JSON 공부를 시작 안해서 어떨지는 모르겠지만요...)</div> <div><br></div> <div>웹 크롤링 작업할 때 이런식으로 파이썬 파일 여러개 만들어서 하는 것 맞나요? 아니면 그냥 하나의 파이썬 파일로 합칠 수도 있나요? 고수님들이 보시기에 어떤가요? 더 깔끔하게 표현 될 수 있을까요? 아니면 웹 크롤링 말고 더 효율적인 방법이 있을까요? (API라던가... 까마득하네요 휴) 그리고 제가 원하는 자료가 한 번에 엑셀로 저장되게 완전 자동화가 될 수도 있을까요? </div> <div><br></div> <div>긴 글 읽어주셔서 감사합니다!</div>

    이 게시물을 추천한 분들의 목록입니다.
    푸르딩딩:추천수 3이상 댓글은 배경색이 바뀝니다.
    (단,비공감수가 추천수의 1/3 초과시 해당없음)

    죄송합니다. 댓글 작성은 회원만 가능합니다.

    번호 제 목 이름 날짜 조회 추천
    22672
    웹에서 php vs python 어떻게 다르게 쓰이는지 궁금합니다 [4] opinion 18/10/27 23:29 2134 0
    22671
    c# if 조건에 != 는 두개 못넣나요? [3] 피영신 18/10/27 22:14 1156 0
    22670
    [본삭금]매트랩에서 minimum sampling rate가 몇인가요? 본인삭제금지 Talaria 18/10/27 02:10 714 0
    [초보] 파이썬 웹크롤링 코드 좀 봐주세요! [6] 본인삭제금지 머래 18/10/26 13:34 1985 0
    22668
    C언어 파일 입출력할때 [2] 나는누구 18/10/25 16:34 816 0
    22667
    pic 관련 궁금한점 있습니다 [1] 본인삭제금지 칠레산포도 18/10/24 19:07 664 0
    22666
    비주얼 스튜디오 c언어 모르겠어요 [9] 초짜라이더 18/10/23 20:30 1201 0
    22665
    와 알고리즘 코드 작성했는데 어디가 잘못된건지 진짜 모르겠어요 [3] 본인삭제금지 블로블로그 18/10/22 23:54 1243 0
    22664
    경리 프로그램 뭐 쓰시나요 victorang 18/10/22 17:31 900 0
    22663
    c# SQLite 참조가 안됩니다. [4] 본인삭제금지 달려라하니~ 18/10/22 14:19 846 0
    22662
    워드프레스 관련 질문입니다만... 뚠뚜니라이츄 18/10/20 23:09 607 0
    22660
    C# 데이터 수집 저장 구현.. [6] 달려라하니~ 18/10/19 16:11 1298 1
    22658
    백준 사이트 문제 하나 질문 하겠습니다. [2] 본인삭제금지 우와우와우왕 18/10/18 02:08 1006 0
    22657
    소설 알고리즘 1부. 같이먹자 18/10/17 23:43 800 1
    22656
    Opengl 월드뷰/로컬뷰 개념좀 알려주세요. NONE020 18/10/17 23:16 638 0
    22655
    개인 개발품을 회사에 팔아보신분 계신가요? [1] 기다려꼬꼬 18/10/17 18:45 948 0
    22652
    한국형 개발자 스티커 샵 오픈했어요! [11] 크롭샷 18/10/14 21:13 3137 2
    22651
    클래스가 서로를 교차 포함할때 컴파일에러 해결방법 있을까요?? [6] 본인삭제금지 우와우와우왕 18/10/13 20:30 1563 0
    22650
    php readfile(메모장에 저장된 데이터 가져오기)줄바꿈 질문좀요ㅠ [2] 천연지하수 18/10/13 14:21 771 0
    22649
    이클립스 oxygen 설치하는데 오류로그좀 봐주실분 계신가요 ㅠㅠ [1] 닉넴이죠 18/10/13 01:59 1107 0
    22648
    프로그램 제작 의뢰하고 싶으면 어디서 해야 하나요? [2] 팩션마니아 18/10/12 14:58 1024 0
    22646
    c++ 링크드리스트 질문좀 드려도 될까요? [7] 베스트금지베오베금지본인삭제금지 안양흔남 18/10/10 21:32 927 0
    22645
    제가 취업한 회사가 자체 기술력을 보유한 회사는 아니라고 나오는데... [6] user6000 18/10/09 19:07 1236 0
    22644
    10진수로 받은것을 8진수로 변환방법 [5] 나는누구 18/10/08 22:45 973 0
    22643
    (초보) 안드로이드 build.gradle [2] IPID 18/10/08 22:18 1774 0
    22640
    본삭금질문] 익스11에서 루리웹과 오유가 원활하게 돌아가지 않습니다. [6] 창작글본인삭제금지 ChunMA 18/10/08 00:58 666 0
    22639
    체크섬 분석하는데 머리가 깨질 것 같군요 ㅠㅠ [2] 베스트금지베오베금지외부펌금지 아니뭐라고 18/10/06 09:07 776 0
    22638
    업무자동화 독학 가능하긴한가요..? [21] 본인삭제금지 머래 18/10/05 14:39 1465 0
    22637
    혹시 썸네일 이미지에대해 아시는분?? [1] 본인삭제금지 ForeverUS 18/10/05 09:41 721 0
    22636
    웹 네트워크에 대해서 알고 싶은데 추천해주시는 책이 있을까요?? [2] 본인삭제금지 블로블로그 18/10/04 15:56 757 0
    [◀이전10개] [11] [12] [13] [14] [15] [16] [17] [18] [19] [20] [다음10개▶]
    단축키 운영진에게 바란다(삭제요청/제안) 운영게 게시판신청 자료창고 보류 개인정보취급방침 청소년보호정책 모바일홈