모바일 오유 바로가기
http://m.todayhumor.co.kr
분류 게시판
베스트
  • 베스트오브베스트
  • 베스트
  • 오늘의베스트
  • 유머
  • 유머자료
  • 유머글
  • 이야기
  • 자유
  • 고민
  • 연애
  • 결혼생활
  • 좋은글
  • 자랑
  • 공포
  • 멘붕
  • 사이다
  • 군대
  • 밀리터리
  • 미스터리
  • 술한잔
  • 오늘있잖아요
  • 투표인증
  • 새해
  • 이슈
  • 시사
  • 시사아카이브
  • 사회면
  • 사건사고
  • 생활
  • 패션
  • 패션착샷
  • 아동패션착샷
  • 뷰티
  • 인테리어
  • DIY
  • 요리
  • 커피&차
  • 육아
  • 법률
  • 동물
  • 지식
  • 취업정보
  • 식물
  • 다이어트
  • 의료
  • 영어
  • 맛집
  • 추천사이트
  • 해외직구
  • 취미
  • 사진
  • 사진강좌
  • 카메라
  • 만화
  • 애니메이션
  • 포니
  • 자전거
  • 자동차
  • 여행
  • 바이크
  • 민물낚시
  • 바다낚시
  • 장난감
  • 그림판
  • 학술
  • 경제
  • 역사
  • 예술
  • 과학
  • 철학
  • 심리학
  • 방송연예
  • 연예
  • 음악
  • 음악찾기
  • 악기
  • 음향기기
  • 영화
  • 다큐멘터리
  • 국내드라마
  • 해외드라마
  • 예능
  • 팟케스트
  • 방송프로그램
  • 무한도전
  • 더지니어스
  • 개그콘서트
  • 런닝맨
  • 나가수
  • 디지털
  • 컴퓨터
  • 프로그래머
  • IT
  • 안티바이러스
  • 애플
  • 안드로이드
  • 스마트폰
  • 윈도우폰
  • 심비안
  • 스포츠
  • 스포츠
  • 축구
  • 야구
  • 농구
  • 바둑
  • 야구팀
  • 삼성
  • 두산
  • NC
  • 넥센
  • 한화
  • SK
  • 기아
  • 롯데
  • LG
  • KT
  • 메이저리그
  • 일본프로야구리그
  • 게임1
  • 플래시게임
  • 게임토론방
  • 엑스박스
  • 플레이스테이션
  • 닌텐도
  • 모바일게임
  • 게임2
  • 던전앤파이터
  • 마비노기
  • 마비노기영웅전
  • 하스스톤
  • 히어로즈오브더스톰
  • gta5
  • 디아블로
  • 디아블로2
  • 피파온라인2
  • 피파온라인3
  • 워크래프트
  • 월드오브워크래프트
  • 밀리언아서
  • 월드오브탱크
  • 블레이드앤소울
  • 검은사막
  • 스타크래프트
  • 스타크래프트2
  • 베틀필드3
  • 마인크래프트
  • 데이즈
  • 문명
  • 서든어택
  • 테라
  • 아이온
  • 심시티5
  • 프리스타일풋볼
  • 스페셜포스
  • 사이퍼즈
  • 도타2
  • 메이플스토리1
  • 메이플스토리2
  • 오버워치
  • 오버워치그룹모집
  • 포켓몬고
  • 파이널판타지14
  • 배틀그라운드
  • 기타
  • 종교
  • 단어장
  • 자료창고
  • 운영
  • 공지사항
  • 오유운영
  • 게시판신청
  • 보류
  • 임시게시판
  • 메르스
  • 세월호
  • 원전사고
  • 2016리오올림픽
  • 2018평창올림픽
  • 코로나19
  • 2020도쿄올림픽
  • 게시판찾기
  • 게시물ID : programmer_23122
    작성자 : 훗날닭집사장
    추천 : 0
    조회수 : 1631
    IP : 222.112.***.23
    댓글 : 9개
    등록시간 : 2020/05/11 13:20:10
    http://todayhumor.com/?programmer_23122 모바일
    Python) 인스타그램 이미지 크롤링 작업중에 질문이 있습니다.
    옵션
    • 본인삭제금지
    <pre style="background-color:#2b2b2b;color:#a9b7c6;font-family:'JetBrains Mono';font-size:9.8pt;">insta = soup.select(<span style="color:#6a8759;">'.v1Nh3.kIKUG._bz0w'</span>)<br><br>n = <span style="color:#6897bb;">1<br></span><span style="color:#cc7832;">for </span>i <span style="color:#cc7832;">in </span>insta:<br> driver.find_element_by_xpath(<span style="color:#6a8759;">"//body"</span>).send_keys(Keys.END)<br><span style="color:#cc7832;">with </span>urlopen(i.select_one(<span style="color:#6a8759;">'.KL4Bh'</span>).img[<span style="color:#6a8759;">'src'</span>]) <span style="color:#cc7832;">as </span>f:<br><span style="color:#cc7832;">with </span><span style="color:#8888c6;">open</span>(<span style="color:#6a8759;">"./</span><span style="color:#6a8759;font-family:'맑은 고딕';">이미지 추출 결과</span><span style="color:#6a8759;">/" </span>+ hashTag + <span style="color:#6a8759;">"/" </span>+ hashTag + <span style="color:#8888c6;">str</span>(n) + <span style="color:#6a8759;">'.jpg'</span><span style="color:#cc7832;">, </span><span style="color:#6a8759;">'wb'</span>) <span style="color:#cc7832;">as </span>h:<br><span style="color:#94558d;">self</span>.listWidget.addItem(<span style="color:#8888c6;">str</span>(n) + <span style="color:#6a8759;">'</span><span style="color:#6a8759;font-family:'맑은 고딕';">번째 이미지 다운로드 중</span><span style="color:#6a8759;">...'</span>)<br> img = f.read()<br> h.write(img)<br> n += <span style="color:#6897bb;">1</span></pre><pre style="font-family:'JetBrains Mono';font-size:9.8pt;">위 소스코드는 인스타그램 크롤링 소스코드구요.</pre><pre style="font-family:'JetBrains Mono';font-size:9.8pt;">접속 URL은 해시태그를 검색했을 때의 URL인 <a target="_blank" href="https://www.instagram.com/explore/tags/%ED%8C%8C%EC%9D%B4%EC%8D%AC/" style="font-family:'굴림';font-size:9pt;" target="_blank">https://www.instagram.com/explore/tags/</a>'검색어' 로 지정해놓았습니다.</pre><pre style="font-family:'JetBrains Mono';font-size:9.8pt;">예를 위해서 파이썬으로 검색 (<a target="_blank" href="https://www.instagram.com/explore/tags/%ED%8C%8C%EC%9D%B4%EC%8D%AC/" style="font-family:'굴림';font-size:9pt;" target="_blank">https://www.instagram.com/explore/tags/</a>파이썬) 하면 아래와 같은 화면이 나오구요, </pre><pre style="font-family:'JetBrains Mono';font-size:9.8pt;">이미지에 해당하는 클래스 네임도 우측에 나와있습니다.</pre><pre style="font-family:'JetBrains Mono';font-size:9.8pt;">(첨부한 소스코드 가장 첫번째 라인에 soup.select 해놓은 네임으로 있습니다!)</pre><pre style="font-family:'JetBrains Mono';font-size:9.8pt;"></pre><div style="text-align:left;"><img src="http://thimg.todayhumor.co.kr/upfile/202005/15891701929272b39ef20a459194f946f4c277dfb1__mn171753__w1440__h786__f172305__Ym202005.png" width="800" height="437" alt="해시태그검색.png" class="chimg_photo" style="border:none;" filesize="172305"></div><br><pre style="font-family:'JetBrains Mono';font-size:9.8pt;"><br></pre><pre style="font-family:'JetBrains Mono';font-size:9.8pt;">근데 여기서 한가지 문제가, 다른 웹사이트 (네이버, 구글)등의 경우 스크롤을 쫙 내려놓은 상태에서 크롤링을 하면,</pre><pre style="font-family:'JetBrains Mono';font-size:9.8pt;"><br></pre><pre style="font-family:'JetBrains Mono';font-size:9.8pt;">100개고 200개고 대량의 이미지 추출이 가능한데, 인스타의 경우는 이게 불가하더군요. 이유를 살펴보니,</pre><pre style="font-family:'JetBrains Mono';font-size:9.8pt;"><br></pre><pre style="font-family:'JetBrains Mono';font-size:9.8pt;"></pre><div style="text-align:left;"><img src="http://thimg.todayhumor.co.kr/upfile/202005/1589170642053f98b6b6924060a13d4139ea1c29b1__mn171753__w1440__h900__f168084__Ym202005.png" width="800" height="500" alt="이미지초기화.png" class="chimg_photo" style="border:none;" filesize="168084"></div><pre style="font-family:'JetBrains Mono';font-size:9.8pt;"></pre><div style="text-align:left;"><br></div><pre style="font-family:'JetBrains Mono';font-size:9.8pt;">클래스 네임 입력한 상태로 엔터를 계속 눌러주면서 쭈우우욱 내려오고 있습니다 (오른쪽에 나와있지만</pre><pre style="font-family:'JetBrains Mono';font-size:9.8pt;">현재 검색 인덱스는 54 / 66 상태 입니다!)</pre><pre style="font-family:'JetBrains Mono';font-size:9.8pt;"><br></pre><pre style="font-family:'JetBrains Mono';font-size:9.8pt;"></pre><div style="text-align:left;"><img src="http://thimg.todayhumor.co.kr/upfile/202005/1589170717617660373267400580284c230fd566de__mn171753__w1440__h789__f155639__Ym202005.png" width="800" height="438" alt="이미지초기화2.png" class="chimg_photo" style="border:none;" filesize="155639"></div><br><pre style="font-family:'JetBrains Mono';font-size:9.8pt;">??? 다시 처음으로 돌아와버렸습니다. (54 / 66이였던 인덱스가 1 / 51로 바뀌고 맨 첫번째로 돌아옴..)</pre><pre style="font-family:'JetBrains Mono';font-size:9.8pt;"><br></pre><pre style="font-family:'JetBrains Mono';font-size:9.8pt;">이렇듯 인스타 웹사이트는 뭔가 다른 웹사이트와 달리 이미지 클래스가 쌓이는게 아니라 계속 변하는 것 같은데..</pre><pre style="font-family:'JetBrains Mono';font-size:9.8pt;"><br></pre><pre style="font-family:'JetBrains Mono';font-size:9.8pt;">이런 경우에 인스타그램에서 대량의 이미지를 추출하려는 경우 어떻게 해야하는걸까요? ㅠㅠ</pre><pre style="font-family:'JetBrains Mono';font-size:9.8pt;"><br></pre><pre style="font-family:'JetBrains Mono';font-size:9.8pt;"><br></pre><pre style="font-family:'JetBrains Mono';font-size:9.8pt;"><br></pre><pre style="background-color:#2b2b2b;color:#a9b7c6;font-family:'JetBrains Mono';font-size:9.8pt;"><span style="color:#6897bb;"><br></span></pre>

    이 게시물을 추천한 분들의 목록입니다.
    푸르딩딩:추천수 3이상 댓글은 배경색이 바뀝니다.
    (단,비공감수가 추천수의 1/3 초과시 해당없음)

    죄송합니다. 댓글 작성은 회원만 가능합니다.

    번호 제 목 이름 날짜 조회 추천
    23150
    전문가분들조언을 구합니다. [6] 창작글베스트금지베오베금지본인삭제금지외부펌금지 WhiteKnighT 20/07/08 14:32 819 0
    23149
    혹시 선생님들 중에 언어에 문법을 수정하는 방법을 아시는 분이 계신가요? [1] ToString 20/07/05 02:21 961 0
    23147
    혹시 고수님들 중에 비주얼 스튜디오 코드 사용하시는 분 계시나요? [4] ToString 20/06/30 00:05 1054 0
    23146
    스프링 페이지 500에러좀 봐주실분 ㅠㅠㅠㅠ [1] 김폽 20/06/26 23:05 4039 0
    23145
    혹시 랩뷰 잘 다루시는 분 있을까요?? [4] 쓸데없이고퀄 20/06/26 15:56 907 1
    23144
    [질문] MCU(RISC-V)에서 compile시 I/O 설정 방법은? [6] 본인삭제금지 어린이바이엘 20/06/23 14:12 691 0
    23143
    C# 에서 Singleton 을 이해하는데 도움이 될 만한 사이트 같은게 있을까요? [3] 본인삭제금지 쿠로바라 20/06/23 00:51 823 0
    23142
    자바 스윙에서 JPanel에는 Grapics를 추가할 수 없나요? [2] 후끼후끼 20/06/19 09:52 646 0
    23140
    [SQL] Queries with aggregates [2] 본인삭제금지 전여자친구 20/06/13 06:58 690 0
    23136
    c# WPF 질문드립니다... [1] 창작글본인삭제금지 창기름 20/06/03 21:17 845 0
    23134
    [파이썬] 문자열 관련한 질문 올립니다. [4] 본인삭제금지 훗날닭집사장 20/05/31 11:37 972 1
    23133
    파이썬 크롤링 관련 질문 올립니다~ [3] 본인삭제금지 훗날닭집사장 20/05/25 16:56 1009 0
    23130
    sql 값에 함수를 돌려서자동적으로 값이 기입되게 하고 싶습니다. [14] 창작글본인삭제금지 창기름 20/05/20 17:41 1028 0
    23129
    파이썬 변수(?) 질문드립니다...ㅠㅠ [6] 냐옹이펀치 20/05/15 00:20 840 0
    23128
    파이썬 이미지 크롤링 관련 질문 올립니다. (아래 글은 잘못 작성되었습니 [8] 본인삭제금지 훗날닭집사장 20/05/14 23:47 900 0
    23127
    파이썬 이미지 크롤링 관련 [1] 본인삭제금지 훗날닭집사장 20/05/14 23:44 707 0
    23126
    visual studio code [2] 방구스탄 20/05/14 20:18 900 0
    23125
    코틀린 내부 함수 질문입니다. [6] 창작글본인삭제금지 새벽밤안개 20/05/13 00:15 917 0
    23123
    [1인개발][안드로이드/무료]유튜브 자동종료 어플입니다. 사용법이 초간단 [4] 티끌모아 20/05/11 20:56 984 3
    Python) 인스타그램 이미지 크롤링 작업중에 질문이 있습니다. [9] 본인삭제금지 훗날닭집사장 20/05/11 13:20 1632 0
    23119
    회사 환경에서 프로그램 구동이 안되는건 무슨 문제일까요? [3] 본인삭제금지 훗날닭집사장 20/05/06 15:30 1039 1
    23118
    .net core 설치에 관해 질문드립니다. [2] 슈퍼개그지 20/05/06 01:14 590 0
    23117
    POS기 테이블 구성질문드립니다. [6] 창작글본인삭제금지 창기름 20/05/05 17:58 1954 0
    23116
    웹크롤링사이튼데 찾아왔습니다 20/05/04 19:06 844 0
    23115
    C에 Python 이식 후, Python 안깔린 PC 실행 관련 문의 [6] 본인삭제금지 상사꽃 20/04/29 20:58 904 0
    23114
    안녕하세요 선배님들 c# 질문드립니다. [5] 창작글본인삭제금지 창기름 20/04/29 18:14 838 0
    23112
    lte 오픈소스 단일망 구축하려는데요.. [2] 푸른놀 20/04/28 10:35 916 0
    23111
    파이썬 웹 백엔드 이직 준비하고있는 초보입니다만 질문점! [5] tlsehfla 20/04/27 21:19 734 0
    23108
    디바이스 페이링없이 블루투스끼리 통신이 가능한가요? [7] 뭐꼬 20/04/23 15:45 830 0
    23106
    파이썬 셀레니움에서 쿠키 이용 [18] 본인삭제금지 훗날닭집사장 20/04/22 15:06 4571 0
    [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [다음10개▶]
    단축키 운영진에게 바란다(삭제요청/제안) 운영게 게시판신청 자료창고 보류 개인정보취급방침 청소년보호정책 모바일홈