AR삽질러

웹 크롤링 웹(WWW, Web)에 있는 데이터들을 가져오는 기술을 크롤링이라고 한다. 웹 페이지들은 하이퍼링크를 이용하여 하이퍼텍스트 공간을 자유롭게 이동할 수 있다. 이렇게 웹에 연결된 문서들로부터 필요한 정보를 자동, 반자동으로 수집하는 것을 웹크롤링(Web Crawling)이라고 한다. 이때 수집하는 역할을 처리하는 컴퓨터 프로그램을 웹크롤러, 웹봇 등 다양한 이름으로 불린다. 웹 페이지의 HTML구조를 분석하여 (HTML 파싱) 필요한 정보만을 추출할 수 있는데 이 때 유용하게 사용하는 라이브러리가 BeautifulSoup이다. 이 라이브러리 설치 명령은 "pip install beautifulsoup4"이다. 1. 투믹스 웹툰 제목 가져오기 import requests from bs4 impor..

시각화(Visualization) 시각화(Visualization)는 수집된 데이터를 쉽게 이해할 수 있도록 시각적으로 표현하고 전달되는 과정으로 효율적으로 명확하게 정보를 전달하기 위한 목적을 갖는다. 데이터를 분석하고 해당 데이터를 기반으로 의사 결정을 내리기 쉽게 하기 위해서 이다. 데이터를 분석하는 사람들은 패턴과 관계를 빠르고 쉽게 보고 이해하고 원시 숫자의 표 또는 스프레드시트만으로는 눈에 띄지 않을 수 있는 새로운 추세를 파악하고자 한다. 데이터를 다양한 그래프(원형 차트, 막대 그래프, 타임라인, 지도, 히스토그램 등)으로 표현한다. 시각화 라이브러리로 많이 사용하는 Matplotlib는 판다스의 Dataframe을 시각화할 때에도 내부적으로 Matplotlib를 사용한다. 설치는 "pip..

네이버API를 이용한 뉴스 검색 및 저장 - 데이터 수집 1. 네이터 개발자 사이트에 접속 및 로그인 https://developers.naver.com/main/ NAVER Developers 네이버 오픈 API들을 활용해 개발자들이 다양한 애플리케이션을 개발할 수 있도록 API 가이드와 SDK를 제공합니다. 제공중인 오픈 API에는 네이버 로그인, 검색, 단축URL, 캡차를 비롯 기계번역, 음 developers.naver.com 2. 상단의 [Documents] -> [서비스 API] -> [검색]을 클릭해 해당 페이지로 이동 -> [뉴스] 3. 뉴스 검색 결과 조회를 위해 필요한 정보들인 요청 URL, 프로토콜, HTTP 메서드, 파라미터, 응답, 오류 코드 등을 숙지한다. 필요에 따라 검색 AP..

카카오 API를 이용한 이미지 검색 및 저장 1. 카카오 개발자 사이트접속 https://developers.kakao.com/ Kakao Developers 카카오 API를 활용하여 다양한 어플리케이션을 개발해보세요. 카카오 로그인, 메시지 보내기, 친구 API, 인공지능 API 등을 제공합니다. developers.kakao.com 2. 상단 [문서]를 클릭하며 [검색 API가이드]의 [Daum검색]을 선택 3. [Daum 검색] - [이해하기] 를 선택하면 다음검색 API에 대해 다양한 기능을 설명한다. Daum검색 API는 포털 사이트 Daum에서 방대한 웹 문서, 동영상, 이미지, 블로그, 책, 카페를 검색하는 기능을 제공하며 검색 결과는 JSON객체로 전달되어 서비스에서 자유롭게 출력하거나 활..

공공 데이터 및 OpenAPI 활용 1. OpenAPI 활용을 위한 네이버 / 카카오 가입 네이버나 카카오에서 제공하는 OpenAPI를 사용하기 위해서는 먼저 개발자 사이트에 가입해야 한다. 1-1) 네이버 개발자 센터 https://developers.naver.com/main/ NAVER Developers 네이버 오픈 API들을 활용해 개발자들이 다양한 애플리케이션을 개발할 수 있도록 API 가이드와 SDK를 제공합니다. 제공중인 오픈 API에는 네이버 로그인, 검색, 단축URL, 캡차를 비롯 기계번역, 음 developers.naver.com 네이버 계정로그인 후 [서비스API] 선택 [데이터랩] -> [검색] [오픈 API이용 신청] 애플리케이션을 등록하기 위해 애플리케이션 이름, 사용 API(..

Python 람다(lambda) - 람다 함수는 사용자 정의 함수를 통해 작성할 수도 있지만 간단하게 한 줄짜리 문장을 만들기에 적합하고 빠른 함수이다. lambda 인수 : 표현식 람다로 작성한 예제 1) 두수를 입력받아 합을 반환하는 add() 함수를 사용자 정의함수와 람다로 작성 def add(x, y): return x + y su1 = 10 su2 = 20 print(add(su1, su2)) 2) 리스트의 각 요소를 제곱하는 람다식 def lamdba_number(numbers): return list(map(lambda x: x**2, numbers)) numbers = [1,2,3,4,5] lambdas = lamdba_number(numbers) print(lambdas) lamdba_n..

Python File 연습문제 - 구구단 출력 결과를 File에 저장 0. 사용자입력으로 출력하고 싶은 구구단을 만든다. 1. 구구단을 함수로 만든다. 2. 출력된 구구단을 메모장에 저장한다. 3. 파일에 저장된 구구단의 결과를 읽어온다. def gugudan(gugu): for i in range(1,10): result = gugu * i print(gugu, " * ", i, " = ", result) return result gugu = int(input("단을 입력 : ")) gugudan(gugu) infile = open(r"C:\myPythonProject\AYU\FileTest\gugudan.txt", "w", encoding="utf-8") def gugudan(gugu): result..

Python File File을 배우기 이전에는 작업하던 데이터가 모두 사라졌다. 따라서 프로그램을 실행하는 도중 어떤 데이터를 저장하고자 한다면 하드 디스크에 파일 형태로 저장해야한다. Python은 이러한 파일을 생성하고 읽고 쓰는 등의 기능을 제공한다. 0. 실습용 텍스트 파일 만들기 - 메모장에 친구들의 이름과 : 연락처를 입력한 후 phones.txt로 저장한다. 1. 파일에서 데이터 읽기 open() - open함수는 파일이름을 받아 파일 객체를 생성한 후 반환한다. 파일이 열리면 데이터를 읽거나 쓸 수 있지만 파일과 관련된 작업이 모두 종료되면 close()함수를 통해 파일을 닫아야한다. 파일을연다 : open() -> 파일에서 데이터를 읽거나 쓴다. -> 파일을 닫는다. : close() ..

Python List, Dictionary 1. List Python에서 List는 다른 변수처럼 생성이 가능하며 [ ] 안에 항목을 적어주고 변수에 저장하면 리스트 변수가 생성된다. numbers = [ 7, 12, 33, "AR", 99 ] List의 특징 - 순서가 있는 자료형 : List는 순서대로 항목을 저장하기 때문에 각 항목은 0부터 시작하는 순서(인덱스)를 가지고 있다. - 다양한 데이터 타입 : 숫자, 문자, 객체 등 다양한 데이터 유형을 혼합하여 저장 할 수 있다. - 인덱싱, 슬라이싱 : List는 인덱스를 사용해 항목에 접근하고 슬라이싱을 통해 부분적으로 리스트를 추출할 수 있다. - 항목 추가, 제거, 수정 : 추가append(), 제거remove(), = 수정 numbers = ..

Python list 연습문제 - 0~100까지의 수학점수를 n개 입력받아 총점과 평균을 구하시오 # 0~100까지의 수학점수를 n개 입력받아 총점과 평균을 구하시오 import random lst = [] mathsum = 0 num = random.randint(1,10) for i in range(num): math = random.randint(1,100) lst.append(math) mathsum += math avg = mathsum / num print() print("출력된 수학점수", num, "개\n") print() print(lst, end= " ") print() print("수학점수 총점 : ", mathsum) print() print("수학점수 평균 : ", avg)