데이터 분석/지식 알고가기 3

InfluxDB란?

InfluxDB 정의 및 특징 - 빠른 쓰기 및 읽기가 가능한 오픈소스 - 시간 경과에 따른 일련의 시계열 데이터를 저장하는 NoSQL 형태의 데이터베이스 - 사용자를 위한 자세한 문서 제공 - 간편하고 쉬운 설치 - Go, Java, Python, Node.js 등과 같은 클라이언트 지원 - 시간데이터에 대한 정밀도 지정(ex. 초 단위, 나노 초 단위) - SQL 같은 질의어를 제공 - Schemaless Design(스키마 음슴) - 데이터 보관 주기 설정 가능 - 플러그인 아키텍처 설계로 타자 제품과 통합하는데 용이

빅테이터 처리기술

아파치 HBASE - NoSQL HIVE - 데이터웨어하우스 Flume - 빅데이터 수집, 전송 oozie - 워크플로우 아파치 Spark - 하둡은 batch 처리부분이고 느린 부분이 있음 이런 부분을 좀 더 빠르게 메모리 기반화의 처리할 수 있게끔 다양 솔루션을 통합해 놓은 것 Pig - ETL을 할 때 이 솔루션을 통해 도움을 얻을 수 있음 Scooq - RDBMS(관계형DB)에서 HDFS(하둡분산파일시스템)으로 데이터를 옮기거나 HDFS에서 RDBMS로 데이터를 옮기고 싶을 때 중간에 gateway 역할하는 솔루션

데이터 분석에 필요한 API와 JSON 개념

API - 응용 프로그램에서 사용할 수 있도록 운영체제나 프로그래밍 언어가 제공하는 기능을 제어할 수 있게 만든 인터페이스 웹 API - 웹 애플리케이션 개발에서 다른 서비스에 요청을 보내고 응답을 받기 위해 정의된 명세를 일컫는다. OAuth - 외부에서 해당 서비스에 접속하는 모바일, 데스크톱, 웹 애플리케이션(응용 프로그램)의 보안 인증을 허용하는 개방형 인증 규악 - API 키와 접속 토큰(Access Token), 그리고 이들의 비밀번호를 이용해 애플리케이션별로 인증을 수행하고 서비스를 이용할 수 있는 권한을 얻는다. 웹 API 응답 데이터 형식 - 주로 JSON, XML 이 둘은 웹 서버에서 클라이언트로 데이터를 전달하기 위해 만든 구조화된 텍스트 형식 1) XML (먼저 등장) - 단점 텍스..