모바일 오유 바로가기
http://m.todayhumor.co.kr
분류 게시판
베스트
  • 베스트오브베스트
  • 베스트
  • 오늘의베스트
  • 유머
  • 유머자료
  • 유머글
  • 이야기
  • 자유
  • 고민
  • 연애
  • 결혼생활
  • 좋은글
  • 자랑
  • 공포
  • 멘붕
  • 사이다
  • 군대
  • 밀리터리
  • 미스터리
  • 술한잔
  • 오늘있잖아요
  • 투표인증
  • 새해
  • 이슈
  • 시사
  • 시사아카이브
  • 사회면
  • 사건사고
  • 생활
  • 패션
  • 패션착샷
  • 아동패션착샷
  • 뷰티
  • 인테리어
  • DIY
  • 요리
  • 커피&차
  • 육아
  • 법률
  • 동물
  • 지식
  • 취업정보
  • 식물
  • 다이어트
  • 의료
  • 영어
  • 맛집
  • 추천사이트
  • 해외직구
  • 취미
  • 사진
  • 사진강좌
  • 카메라
  • 만화
  • 애니메이션
  • 포니
  • 자전거
  • 자동차
  • 여행
  • 바이크
  • 민물낚시
  • 바다낚시
  • 장난감
  • 그림판
  • 학술
  • 경제
  • 역사
  • 예술
  • 과학
  • 철학
  • 심리학
  • 방송연예
  • 연예
  • 음악
  • 음악찾기
  • 악기
  • 음향기기
  • 영화
  • 다큐멘터리
  • 국내드라마
  • 해외드라마
  • 예능
  • 팟케스트
  • 방송프로그램
  • 무한도전
  • 더지니어스
  • 개그콘서트
  • 런닝맨
  • 나가수
  • 디지털
  • 컴퓨터
  • 프로그래머
  • IT
  • 안티바이러스
  • 애플
  • 안드로이드
  • 스마트폰
  • 윈도우폰
  • 심비안
  • 스포츠
  • 스포츠
  • 축구
  • 야구
  • 농구
  • 바둑
  • 야구팀
  • 삼성
  • 두산
  • NC
  • 넥센
  • 한화
  • SK
  • 기아
  • 롯데
  • LG
  • KT
  • 메이저리그
  • 일본프로야구리그
  • 게임1
  • 플래시게임
  • 게임토론방
  • 엑스박스
  • 플레이스테이션
  • 닌텐도
  • 모바일게임
  • 게임2
  • 던전앤파이터
  • 마비노기
  • 마비노기영웅전
  • 하스스톤
  • 히어로즈오브더스톰
  • gta5
  • 디아블로
  • 디아블로2
  • 피파온라인2
  • 피파온라인3
  • 워크래프트
  • 월드오브워크래프트
  • 밀리언아서
  • 월드오브탱크
  • 블레이드앤소울
  • 검은사막
  • 스타크래프트
  • 스타크래프트2
  • 베틀필드3
  • 마인크래프트
  • 데이즈
  • 문명
  • 서든어택
  • 테라
  • 아이온
  • 심시티5
  • 프리스타일풋볼
  • 스페셜포스
  • 사이퍼즈
  • 도타2
  • 메이플스토리1
  • 메이플스토리2
  • 오버워치
  • 오버워치그룹모집
  • 포켓몬고
  • 파이널판타지14
  • 배틀그라운드
  • 기타
  • 종교
  • 단어장
  • 자료창고
  • 운영
  • 공지사항
  • 오유운영
  • 게시판신청
  • 보류
  • 임시게시판
  • 메르스
  • 세월호
  • 원전사고
  • 2016리오올림픽
  • 2018평창올림픽
  • 코로나19
  • 2020도쿄올림픽
  • 게시판찾기
  • 게시물ID : programmer_22669
    작성자 : 머래
    추천 : 0
    조회수 : 1975
    IP : 106.245.***.184
    댓글 : 6개
    등록시간 : 2018/10/26 13:34:17
    http://todayhumor.com/?programmer_22669 모바일
    [초보] 파이썬 웹크롤링 코드 좀 봐주세요!
    옵션
    • 본인삭제금지
    안녕하세요! 저번에도 업무자동화 독학 가능하냐고 질문 올렸었는데 많이들 친절하게 알려주셔서 감동먹었었어요..! 감사드려요 ㅎㅎ <div><br></div> <div>지금 도서관에서 사회복무요원으로 복무 중인데 주요 업무 중 하나가 새로 나온 책들 제목, 저자, 출판사 가격 등의 정보를 인터넷에서 엑셀로 복사 붙히기 하는거예요. <span style="font-size:9pt;">이런식으로요!</span></div> <div><br></div> <div><table border="1" width="100%" cellpadding="3" cellspacing="0" style="border-style:solid;border-collapse:collapse;"><tbody><tr><td> 제목</td> <td> 저자</td> <td> 출판사</td> <td> 표지</td> <td>가격</td> <td> ISBN</td> <td> 출판일</td></tr><tr><td> The Mamba Mentality: How I Play</td> <td> Kobe Bryant</td> <td> Farrar, Straus and Giroux</td> <td> Hardcover</td> <td> $35.00</td> <td> 9780374201234</td> <td> 10/23/2018</td></tr><tr><td> The Reckoning</td> <td> John Grisham</td> <td> Knopf Doubleday Publishing Group</td> <td> Hardcover</td> <td> $29.95</td> <td> 9780385544153</td> <td> 10/23/2018</td></tr></tbody></table></div> <div><br></div> <div>근데 신간들이 한 두권 있는 것도 아니고, 매일 하려니까 하루에 100권도 찾고 손목이랑 눈이 너무 아프더라구요 ㅠㅠ 알아보니까 파이썬으로 웹 크롤링이라는 걸 하면 업무자동화 할 수 있다길래 공부시작했어요. 프로그래밍은 완전 처음이라 완전자동화는 힘들 것 같아서 조언해주신대로 반자동을 목표로 일단 시작을 했어요. 그래도 혼자 하다보니<span style="font-size:9pt;">까 막히는 부분이 많더라구요... 그래서 질문 좀 드릴께요! (쌩초보라 질문하는 법도 잘 모르겠네요..)</span></div> <div><br></div> <div>저는 두가지 코드를 작성했어요. 첫번째는 메인 페이지에서 상세페이지 링크들을 뽑는 코드고, 두번째는 그 링크들을 넣고 돌리면 제가 원하는 책 정보들이 나오는 코드예요. <span style="background-color:#ffff00;">제가 질문하고싶은 것은 이 두 코드를 하나로 합치는 법이예요.</span> 할 수 있을 것 같은데 어떻게 해야하는지 모르겠어요... ㅠㅠ</div> <div><br></div> <div>일단 코드 설명부터 드리자면, 저는 <span style="font-size:9pt;"><a target="_blank" href="https://www.barnesandnoble.com/">https://www.barnesandnoble.com/</a> 이란 곳에서 책에 관한 자료를 뽑아왔어요. 영문 책들 위주로 찾아야하는데 여기가 제일 정리가 잘 되어있더라구요.</span></div> <div><br></div> <div><a target="_blank" href="https://www.barnesandnoble.com/b/new-releases/_/N-1oyg?Nrpp=40&Ns=P_Sales_Rank%7C0&page=1">https://www.barnesandnoble.com/b/new-releases/_/N-1oyg?Nrpp=40&Ns=P_Sales_Rank%7C0&page=1</a></div> <div>여기에 들어가보시면 최근 3개월동안 나온 책들을 잘 팔리는 순서대로 뽑은 목록이 나와요. 저는 아래의 코드(Barnes&Noble_1)로 이 페이지에서 각각의 책들의 상세페이지 링크들을 뽑았어요. 제가 필요한 정보들은 상세페이지 안에 있거든요.</div> <div><span style="font-size:9pt;"><br></span></div> <div><span style="font-size:9pt;">----------------------------------------------Barnes&Noble_1-------------------------------------------------</span></div> <div><pre style="background-color:#2b2b2b;color:#a9b7c6;font-family:'굴림체';font-size:9pt;"><span style="color:#cc7832;">import </span>requests<br><span style="color:#cc7832;">import </span>bs4<br><br><span style="color:#cc7832;">def </span><span style="color:#ffc66d;">get_product_info</span>(book):<br> atag = book.find(<span style="color:#6a8759;">"a"</span>)<br> href = atag[<span style="color:#6a8759;">"href"</span>]<br> link_second_half = href.split(<span style="color:#6a8759;">";"</span>)[<span style="color:#6897bb;">0</span>]<br> link = <span style="color:#6a8759;">"<a target="_blank" href="https://www.barnesandnoble.com">https://www.barnesandnoble.com</a>" </span>+ link_second_half<br><span style="color:#cc7832;">return </span>link<br><br><span style="color:#cc7832;">def </span><span style="color:#ffc66d;">get_page_info</span>(url):<br> result = requests.get(url)<br> bs_obj = bs4.BeautifulSoup(result.content<span style="color:#cc7832;">, </span><span style="color:#6a8759;">"html.parser"</span>)<br> shelf = bs_obj.find(<span style="color:#6a8759;">"div"</span><span style="color:#cc7832;">, </span>{<span style="color:#6a8759;">"class"</span>:<span style="color:#6a8759;">"product-shelf-grid"</span>})<br> books = shelf.findAll(<span style="color:#6a8759;">"div"</span><span style="color:#cc7832;">, </span>{<span style="color:#6a8759;">"class"</span>:<span style="color:#6a8759;">"product-shelf-title product-info-title pt-xs"</span>})<br> link_list = [get_product_info(book) <span style="color:#cc7832;">for </span>book <span style="color:#cc7832;">in </span>books]<br><span style="color:#cc7832;">return </span>link_list<br><br>urls = [<br><span style="color:#6a8759;">"<a target="_blank" href="https://www.barnesandnoble.com/b/new-releases/_/N-1oyg?Nrpp=20&Ns=P_Sales_Rank%7C0&page=1">https://www.barnesandnoble.com/b/new-releases/_/N-1oyg?Nrpp=20&Ns=P_Sales_Rank%7C0&page=1</a>"</span><span style="color:#cc7832;">,<br></span><span style="color:#cc7832;"> </span><span style="color:#6a8759;">"<a target="_blank" href="https://www.barnesandnoble.com/b/new-releases/_/N-1oyg?Nrpp=20&Ns=P_Sales_Rank%7C0&page=2">https://www.barnesandnoble.com/b/new-releases/_/N-1oyg?Nrpp=20&Ns=P_Sales_Rank%7C0&page=2</a>"</span><span style="color:#cc7832;">,<br></span><span style="color:#cc7832;"> </span><span style="color:#6a8759;">"<a target="_blank" href="https://www.barnesandnoble.com/b/new-releases/_/N-1oyg?Nrpp=20&Ns=P_Sales_Rank%7C0&page=3">https://www.barnesandnoble.com/b/new-releases/_/N-1oyg?Nrpp=20&Ns=P_Sales_Rank%7C0&page=3</a>"<br></span><span style="color:#6a8759;"> </span>]<br><br><span style="color:#cc7832;">for </span>page_number <span style="color:#cc7832;">in </span><span style="color:#8888c6;">range</span>(<span style="color:#6897bb;">0</span><span style="color:#cc7832;">, </span><span style="color:#8888c6;">len</span>(urls)):<br> get_links = get_page_info(urls[page_number])<br><span style="color:#8888c6;">print</span>(get_links)</pre></div> <div><div style="text-align:left;"><img src="http://thimg.todayhumor.co.kr/upfile/201810/15405251568ed06ca221044837af28d32590ee7b77__mn216626__w1591__h150__f41988__Ym201810.png" width="800" height="75" alt="캡처.PNG" class="chimg_photo" style="border:none;" filesize="41988"></div></div> <div><div><br></div> <div>urls안에 원하는 페이지 수 만큼 주소 넣고 돌리면 링크들이 이렇게 쭉 나와요.</div> <div><br></div> <div>그리고 이 링크들을 복사해서 아래의 코드(Barnes&Noble_2)에 붙여넣고 돌려서 제가 원하는 제목, 저자, 가격 등의 정보를 뽑았어요.</div></div> <div><br></div> <div><div><span style="font-size:9pt;">----------------------------------------------Barnes&Noble_1-------------------------------------------------</span></div></div> <div><pre style="background-color:#2b2b2b;color:#a9b7c6;font-family:'굴림체';font-size:9pt;"><span style="color:#cc7832;">import </span>requests<br><span style="color:#cc7832;">import </span>bs4<br><br><span style="color:#cc7832;">def </span><span style="color:#ffc66d;">get_book_info</span>(url):<br> result = requests.get(url)<br> bs_obj = bs4.BeautifulSoup(result.content<span style="color:#cc7832;">, </span><span style="color:#6a8759;">"html.parser"</span>)<br><br> table = bs_obj.find(<span style="color:#6a8759;">"table"</span><span style="color:#cc7832;">, </span>{<span style="color:#6a8759;">"class"</span>: <span style="color:#6a8759;">"plain centered"</span>})<br> table_detail = table.findAll(<span style="color:#6a8759;">"td"</span>)<br> contributors = bs_obj.find(<span style="color:#6a8759;">"span"</span><span style="color:#cc7832;">, </span>{<span style="color:#6a8759;">"class"</span>:<span style="color:#6a8759;">"contributors"</span>})<br> publisher_blank = table_detail[<span style="color:#6897bb;">1</span>].text.split(<span style="color:#6a8759;">"</span><span style="color:#cc7832;">\n</span><span style="color:#6a8759;">"</span>)<br><br> title = bs_obj.find(<span style="color:#6a8759;">"h1"</span><span style="color:#cc7832;">, </span>{<span style="color:#6a8759;">"class"</span>:<span style="color:#6a8759;">"pdp-header-title"</span>}).text<br> author = contributors.find(<span style="color:#6a8759;">"a"</span>).text<br> publisher = publisher_blank[<span style="color:#6897bb;">1</span>]<br> price = bs_obj.find(<span style="color:#6a8759;">"s"</span><span style="color:#cc7832;">, </span>{<span style="color:#6a8759;">"class"</span>: <span style="color:#6a8759;">"old-price"</span>}).text<br> cover = bs_obj.find(<span style="color:#6a8759;">"h2"</span><span style="color:#cc7832;">, </span>{<span style="color:#6a8759;">"id"</span>:<span style="color:#6a8759;">"pdp-info-format"</span>}).text<br> isbn = table_detail[<span style="color:#6897bb;">0</span>].text<br> date = table_detail[<span style="color:#6897bb;">2</span>].text<br><br><span style="color:#cc7832;">return </span>{<span style="color:#6a8759;">"제목"</span>:title<span style="color:#cc7832;">, </span><span style="color:#6a8759;">"저자"</span>:author<span style="color:#cc7832;">, </span><span style="color:#6a8759;">"출판사"</span>:publisher<span style="color:#cc7832;">, </span><span style="color:#6a8759;">"정가"</span>:price<span style="color:#cc7832;">, </span><span style="color:#6a8759;">"표지"</span>:cover<span style="color:#cc7832;">, </span><span style="color:#6a8759;">"ISBN"</span>:isbn<span style="color:#cc7832;">, </span><span style="color:#6a8759;">"출판년"</span>:date}<br><br>urls = [<span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/the-mamba-mentality-kobe-bryant/1128756303?ean=9780374201234">https://www.barnesandnoble.com/w/the-mamba-mentality-kobe-bryant/1128756303?ean=9780374201234</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/the-reckoning-john-grisham/1128754609?ean=9780385544153">https://www.barnesandnoble.com/w/the-reckoning-john-grisham/1128754609?ean=9780385544153</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/every-breath-nicholas-sparks/1128233010?ean=9781538715772">https://www.barnesandnoble.com/w/every-breath-nicholas-sparks/1128233010?ean=9781538715772</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/ship-of-fools-tucker-carlson/1128709155?ean=9781501183669">https://www.barnesandnoble.com/w/ship-of-fools-tucker-carlson/1128709155?ean=9781501183669</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/the-dubrow-diet-heather-dubrow/1128262978?ean=9781939457714">https://www.barnesandnoble.com/w/the-dubrow-diet-heather-dubrow/1128262978?ean=9781939457714</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/cook-like-a-pro-ina-garten/1128573617?ean=9780804187046">https://www.barnesandnoble.com/w/cook-like-a-pro-ina-garten/1128573617?ean=9780804187046</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/racing-to-the-finish-dale-earnhardt-jr/1128128133?ean=9780785221609">https://www.barnesandnoble.com/w/racing-to-the-finish-dale-earnhardt-jr/1128128133?ean=9780785221609</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/gmorning-gnight-lin-manuel-miranda/1129098589?ean=9781984854278">https://www.barnesandnoble.com/w/gmorning-gnight-lin-manuel-miranda/1129098589?ean=9781984854278</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/the-happy-cookbook-steve-doocy/1128106540?ean=9780062838940">https://www.barnesandnoble.com/w/the-happy-cookbook-steve-doocy/1128106540?ean=9780062838940</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/dare-to-lead-bren-brown/1129054835?ean=9780399592522">https://www.barnesandnoble.com/w/dare-to-lead-bren-brown/1129054835?ean=9780399592522</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/unsheltered-barbara-kingsolver/1127834367?ean=9780062887047">https://www.barnesandnoble.com/w/unsheltered-barbara-kingsolver/1127834367?ean=9780062887047</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/the-next-person-you-meet-in-heaven-mitch-albom/1128018113?ean=9780062874313">https://www.barnesandnoble.com/w/the-next-person-you-meet-in-heaven-mitch-albom/1128018113?ean=9780062874313</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/a-spark-of-light-jodi-picoult/1128106313?ean=9781984800671">https://www.barnesandnoble.com/w/a-spark-of-light-jodi-picoult/1128106313?ean=9781984800671</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/killing-the-ss-bill-oreilly/1128533650?ean=9781250165541">https://www.barnesandnoble.com/w/killing-the-ss-bill-oreilly/1128533650?ean=9781250165541</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/the-clockmakers-daughter-kate-morton/1128249250?ean=9781982113940">https://www.barnesandnoble.com/w/the-clockmakers-daughter-kate-morton/1128249250?ean=9781982113940</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/shook-one-charlamagne-tha-god/1128615643?ean=9781501193255">https://www.barnesandnoble.com/w/shook-one-charlamagne-tha-god/1128615643?ean=9781501193255</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/the-laws-of-human-nature-robert-greene/1128233534?ean=9780525428145">https://www.barnesandnoble.com/w/the-laws-of-human-nature-robert-greene/1128233534?ean=9780525428145</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/the-gift-that-i-can-give-kathie-lee-gifford/1128128162?ean=9781400209248">https://www.barnesandnoble.com/w/the-gift-that-i-can-give-kathie-lee-gifford/1128128162?ean=9781400209248</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/the-bullet-journal-method-ryder-carroll/1128106231?ean=9780525533337">https://www.barnesandnoble.com/w/the-bullet-journal-method-ryder-carroll/1128106231?ean=9780525533337</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/fear-bob-woodward/1129202161?ean=9781501175510">https://www.barnesandnoble.com/w/fear-bob-woodward/1129202161?ean=9781501175510</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/brief-answers-to-the-big-questions-stephen-hawking/1128751044?ean=9781984817723">https://www.barnesandnoble.com/w/brief-answers-to-the-big-questions-stephen-hawking/1128751044?ean=9781984817723</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/the-tattooist-of-auschwitz-heather-morris/1127027624?ean=9780062797155">https://www.barnesandnoble.com/w/the-tattooist-of-auschwitz-heather-morris/1127027624?ean=9780062797155</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/ambush-james-patterson/1127922385?ean=9780316273985">https://www.barnesandnoble.com/w/ambush-james-patterson/1127922385?ean=9780316273985</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/the-witch-elm-tana-french/1128330704?ean=9780735224629">https://www.barnesandnoble.com/w/the-witch-elm-tana-french/1128330704?ean=9780735224629</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/the-sun-and-her-flowers-kaur-rupi/1129162336?ean=9781449495763">https://www.barnesandnoble.com/w/the-sun-and-her-flowers-kaur-rupi/1129162336?ean=9781449495763</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/the-whole30-slow-cooker-melissa-hartwig/1128516874?ean=9781328531049">https://www.barnesandnoble.com/w/the-whole30-slow-cooker-melissa-hartwig/1128516874?ean=9781328531049</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/where-the-crawdads-sing-delia-owens/1127681226?ean=9780735219090">https://www.barnesandnoble.com/w/where-the-crawdads-sing-delia-owens/1127681226?ean=9780735219090</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/them-ben-sasse/1128271920?ean=9781250193681">https://www.barnesandnoble.com/w/them-ben-sasse/1128271920?ean=9781250193681</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/presidents-of-war-michael-beschloss/1127750846?ean=9780307409607">https://www.barnesandnoble.com/w/presidents-of-war-michael-beschloss/1127750846?ean=9780307409607</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/all-about-cake-christina-tosi/1127834028?ean=9780451499523">https://www.barnesandnoble.com/w/all-about-cake-christina-tosi/1127834028?ean=9780451499523</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/lethal-white-robert-galbraith/1129059866?ean=9780316422734">https://www.barnesandnoble.com/w/lethal-white-robert-galbraith/1129059866?ean=9780316422734</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/shade-pete-souza/1128829317?ean=9780316421829">https://www.barnesandnoble.com/w/shade-pete-souza/1128829317?ean=9780316421829</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/leaders-stanley-mcchrystal/1128233494?ean=9780525534372">https://www.barnesandnoble.com/w/leaders-stanley-mcchrystal/1128233494?ean=9780525534372</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/the-noma-guide-to-fermentation-rene-redzepi/1128830166?ean=9781579657185">https://www.barnesandnoble.com/w/the-noma-guide-to-fermentation-rene-redzepi/1128830166?ean=9781579657185</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/holy-ghost-john-sandford/1127901865?ean=9780735217324">https://www.barnesandnoble.com/w/holy-ghost-john-sandford/1127901865?ean=9780735217324</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/not-quite-over-you-susan-mallery/1127630722?ean=9781335474636">https://www.barnesandnoble.com/w/not-quite-over-you-susan-mallery/1127630722?ean=9781335474636</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/in-pieces-sally-field/1127786169?ean=9781538763025">https://www.barnesandnoble.com/w/in-pieces-sally-field/1127786169?ean=9781538763025</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/andrew-jackson-and-the-miracle-of-new-orleans-brian-kilmeade/1126048980?ean=9780735213241">https://www.barnesandnoble.com/w/andrew-jackson-and-the-miracle-of-new-orleans-brian-kilmeade/1126048980?ean=9780735213241</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/desperate-measures-stuart-woods/1127903027?ean=9780735219229">https://www.barnesandnoble.com/w/desperate-measures-stuart-woods/1127903027?ean=9780735219229</a>'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'<a target="_blank" href="https://www.barnesandnoble.com/w/matty-matheson-matty-matheson/1128110558?ean=9781419732454">https://www.barnesandnoble.com/w/matty-matheson-matty-matheson/1128110558?ean=9781419732454</a>'</span>]<br><br><span style="color:#cc7832;">for </span>url <span style="color:#cc7832;">in </span>urls:<br> book_info_list = get_book_info(url)<br><span style="color:#8888c6;">print</span>(book_info_list)<br><br><br></pre></div> <div><div style="text-align:left;"><img src="http://thimg.todayhumor.co.kr/upfile/201810/1540525446919c441fb4dd44758233765c34d8b682__mn216626__w1593__h308__f161621__Ym201810.png" width="800" height="155" alt="캡처2.PNG" class="chimg_photo" style="border:none;" filesize="161621"></div><br></div> <div>이렇게 딕셔너리 형태로 출력하는 것까지 했으니까, JSON이라는 걸 이용해서 보기 좋게 만든 다음 엑셀에 붙여넣으면 될 것 같아요. (아직 JSON 공부를 시작 안해서 어떨지는 모르겠지만요...)</div> <div><br></div> <div>웹 크롤링 작업할 때 이런식으로 파이썬 파일 여러개 만들어서 하는 것 맞나요? 아니면 그냥 하나의 파이썬 파일로 합칠 수도 있나요? 고수님들이 보시기에 어떤가요? 더 깔끔하게 표현 될 수 있을까요? 아니면 웹 크롤링 말고 더 효율적인 방법이 있을까요? (API라던가... 까마득하네요 휴) 그리고 제가 원하는 자료가 한 번에 엑셀로 저장되게 완전 자동화가 될 수도 있을까요? </div> <div><br></div> <div>긴 글 읽어주셔서 감사합니다!</div>

    이 게시물을 추천한 분들의 목록입니다.
    푸르딩딩:추천수 3이상 댓글은 배경색이 바뀝니다.
    (단,비공감수가 추천수의 1/3 초과시 해당없음)

    죄송합니다. 댓글 작성은 회원만 가능합니다.

    번호 제 목 이름 날짜 조회 추천
    23105
    일반인 입니다 무작위의 숫자와영어로 적혀 있는 파일입니다. [2] 창작글 너를위한마음 20/04/21 15:13 1089 0
    23104
    c++ 코딩 간단한 질문 하나만 올립니다. [2] 중국인의피 20/04/21 14:54 999 0
    23103
    C#으로 오토캐드용 보조프로그램 만들고 싶어요 [5] 본인삭제금지 별빛러브 20/04/20 22:08 1491 0
    23102
    네트워크 통신에 관해서.. [5] 본인삭제금지 DJ.A 20/04/17 01:17 905 0
    23100
    파이썬 pywinauto로 자동화 구현해보신 분 계신가요? [8] 본인삭제금지 훗날닭집사장 20/04/15 23:39 2686 0
    23098
    API 질문있습니다! 생공장 20/04/14 21:55 607 0
    23097
    파이썬 Qt Designer로 UI를 구현중인데 질문이 있습니다! [4] 본인삭제금지 훗날닭집사장 20/04/12 16:14 931 0
    23095
    [본삭금] linux svn commit 에러 문제입니다. 베스트금지베오베금지본인삭제금지외부펌금지 오늘이라도 20/04/08 20:37 667 0
    23093
    mfc typedef carray 만들면 자기 클래스에 선언 못하나요?? [2] 소막 20/04/04 12:51 723 0
    23092
    [1인개발][안드로이드][cocos2dx] 틀린그림찾기 게임을 만들었습니 [2] 창작글 하오링찡 20/04/04 11:24 775 2
    23091
    파이썬) pymysql 사용 처음부터 문제가 생겼습니다! ㅠㅠ [8] 본인삭제금지 훗날닭집사장 20/04/01 17:13 7642 0
    23089
    c++ 조언 부탁드려요. [1] 본인삭제금지 우홋 20/03/30 15:49 683 0
    23088
    Java IDE 선호도가 궁금하네요. [9] 목욕통 20/03/30 12:44 1049 0
    23087
    죄송하지만. 혹여 잠시 시간 내어 주실 분들에게 질문 구해요. [3] 본인삭제금지 초급인 20/03/29 15:22 801 0
    23086
    비베 고수님들 질문있습니다2 인천개장수 20/03/28 01:07 524 0
    23085
    장글 질문입니다. C++ 프로그램에 대해서 질문 있습니다. [3] 본인삭제금지 초급인 20/03/26 06:25 658 0
    23083
    파이썬으로 크롤링 + 로그인 관련해서 질문이 있습니다.. [14] 본인삭제금지 훗날닭집사장 20/03/24 15:58 1321 0
    23082
    참 궁금한 것이 있는데요 [8] 큰녀가좋아 20/03/24 14:41 748 2
    23081
    자바 이클립스 간단한 질문하나 올립니다 [15] 외부펌금지 중국인의피 20/03/22 19:53 809 1
    23080
    캡스톤 디자인 과제로 모바일 pos를 만들어볼까 합니다. [3] 본인삭제금지 창기름 20/03/18 17:38 708 0
    23079
    c# 불용어처리기 제작중 질문이 생겼습니다. [14] 창작글본인삭제금지 창기름 20/03/17 23:19 809 0
    23078
    mfc 정보는 최신글 찾기가 왜이렇게 어려운가요 ㅠㅠ [2] 소막 20/03/17 21:17 714 0
    23077
    혹시 여기서 책 추천도 해주시려나요?.. [2] user6000 20/03/14 18:11 645 0
    23075
    안드로이드에서 다른패케이지의 파일접근권한에대한 질문입니다 본인삭제금지 엿먹이기 20/03/11 13:41 538 0
    23074
    공적 마스크 실시간 알림에 관하여 [1] 튜머 20/03/10 15:39 809 1
    23071
    (업무관련)g매크로와 비슷한 기능을 가진 프로그램이 있나요? [7] 문식이당 20/03/06 14:22 1747 0
    23070
    게임 관련 공모전에 관심 있는 분 있으신 분!!! 송초코 20/03/05 19:00 674 0
    23069
    안드로이드 에서 nfc 를이용해서 출결체크하는 앱을 만들고싶습니다 [3] 본인삭제금지 뭐꼬 20/03/03 14:19 765 0
    23068
    c# 사운드 녹음에대해 질문. [1] 외부펌금지 눙무이 20/03/03 11:47 988 0
    23067
    c# 에서 sqlite 작업시 System.Data.SQLite.dll [1] 본인삭제금지 엿먹이기 20/02/29 13:22 846 0
    [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [다음10개▶]
    단축키 운영진에게 바란다(삭제요청/제안) 운영게 게시판신청 자료창고 보류 개인정보취급방침 청소년보호정책 모바일홈