본문으로 건너뛰기

Pythonic - 기본기

· 약 8분

Types

  • 아무 것도 없는 타입은 None
  • 주석
    • #
    • """ """
  • 포매팅
    • f’test {변수}'
    • "test {}".format(변수)
  • list, dict, set 등은 immutable 하지 않아 copy 메소드를 사용해 복사 필요
  • 스왑
    • a, b = b, a 로 한 줄로 가능
  • set
    • {} 으로 set 지정가능
    • 집합연산 가능
    • set([]) 로 배열을 set으로 변환 가능
  • enum
    • 튜플로 지정하면 됨
    • 튜플은 freeze 되어 있다.
    • ('a', 'b', 'c')
  • list
    • merge는 더하기로 가능 [] + []

Operaters

  • if
    • 값 체킹에는 0.0 '' [] () {} set() 등 모든 빈 값이 false 로 떨어진다.
      • 따라서 len(foo) > 0 보다 권장
    • if foo != True 보다 if not foo 를 권장
    • dict 키 검증 시에는 if 'key' in d: 를 권장 if 'key' in d.keys(): 필요없다.
    • y=None x = 1 if y else 2 면 x=2 라는 문법이 된다.
  • is 문은 값이 None 인지 확인할 때 권장
    • if foo == None 보다 if foo is None 을 권장
    • if foo is not None
  • while
    • while else 구문 가능 else 는 while 에 break 가 없을 경우 while 끝나고 실행
  • for
    • for in
    • for in else 구문 가능 else는 for 에 break 가 없을 경우 for 끝나고 실행
    • for _ in range(10) 처럼 underscore 는 index 를 안쓸때 권장
    • for i, item in enumerate(['a', 'b', 'c']) 처럼 index 넣어줄 수 있음
    • for day, fruit in zip(days, fruit) 처럼 패킹(zip) 함수 기본 제공
    • for k, v in d.items() 로 dict 타입 반복 가능
  • func
    • def func(): 로 함수선언
    • def add(a: int, b: int) -> int: 처럼 파라미터 및 리턴 타입 정의 가능
      • compile error 발생 안 함
      • 보여주기 위한 타입 기능
    • 매개변수를 위치 인수로 넣을 수 있음
      • def menu(entree, drink)라면 menu(drink='a', entree='b') 로 호출 가능
    • list 매개변수는 기본값으로 넣으면 안 됨 def foo(list=[]) 면 리스트가 한 번만 생성됨 (함수 내부 초기화 필요)
    • def func(*args) 로 동적매개변수 처리 가능 튜플로 처리됨
    • def func(**kargs) 로 넣으면 dict로 전달가능 func(key1='val', key2='val')
    • 두 구문을 같이쓸 수 있지만 *args**kargs 보다 먼저 와야한다.
    • 함수 내부 """ """ doc 주석을 넣으면 help(func.__doc__), help(func) 로 도움말 호출 가능
    • 클로져로 wrapper 함수를 만들면 데코레이터로 바로 적용 가능
    • func(lists, lambda item: item.value()) 람다 처리가능 (value: returnValue)
  • 비추천 dic = {x: y for x, y in (zip(w, f)} 처럼 한 번에 for문 dictionary 선언 가능
  • genarator
    • def + yield
    • gen = (i for i in range(10) if i % 2 == 0) 처럼 한 번에 선언하면 제네레이터가 된다.
    • tuple(gen) 하면 튜플로 처리된다.
    • for 보다 빠를 수 있다.
  • globals(), locals() 로 전역, 로컬변수 확인가능
  • excpetion
    • try: except IndexError as ex: finally:
    • try: except: else: finally: 가 있다면 try => else => finally 로 실행
    • raise IndexError('test error') 처럼 raise 로 에러 발생 가능
    • 기본에러는 exception hierarchy 참조

Package

  • __init__.py 가 있어야한다.
  • import package.utils 또는 from package import utils 해서 utils.func 롤 호출
  • from package import utils as NamedUtil 처럼 as 문으로 네임스페이스 변경 가능
  • 비추천 from package.folder import * 로 folder 레벨의 모든 python import 가 가능한데 folder.__init__.py__all__ = ['py', 'py2'] 처럼 선언해줘야한다.
  • setup.py 를 만들어 패키지를 배포시킬 수 있다.
    • PyCharm: Tools > Create setup.py > run setup.py > sdist 로 출력
    • Cli: python setup.py sdist
  • PyPI 에 서드파티 라이브러리를 등록하면 pip install termcolor 처럼 설치 가능
  • import 라이브러리 순서는 위에서부터 표준, pip, 로컬패키지, 로컬파일
  • if __name__ == '__main__': main()entrypoint 스크립트에서 사용되는 패턴이다.

Class

  • 생성자 __init__(self):, Instance() 로 new 없이 생성
  • 소멸자 __del__(self):, del instance 로 삭제
  • class method 의 첫 인자로는 self를 받아야 this처럼 사용이 가능하다. 두 번째 부터 파라미터를 받을 수 있다.

protected

  • proteced 변수는 _var 처럼 underscore 하나를 넣는다.
  • @property, @property_name.setter 데코레이터를 통해 getter/setter 처리가 가능하다.
class Instance(object):
@property
def foo(self):
return self._foo

@foo.setter
def foo(self, bar):
self._foo = bar

intance = Instance()
instance.foo = bar

private

  • private 변수는 self.__foo 로 underscore 두 개를 넣는다.
  • 인스턴스 밖에서 접근이 불가능하다.

class variable

  • 클래스 변수는 모든 오브젝트 초기화시에 공유되므로 list, dict.. 등을 사용하지 않아야한다.
  • 상수처럼 쓰는게 좋을 듯

class method

  • class 메소드는 @classmethod 데코레이터로 가능하다.
class Instance(object):
@classmethod
def foo(cls):
# cls 로 클래스 접근가능
return cls.bar

Instance.foo()

static method

  • static 메소드는 @staticmethod 데코레이터로 정의할 수 있으나 잘 사용되지는 않는다.

상속

class Parent(object):
def __init__(self):
pass

class Child(Parent):
def __init__(self):
super().__init__
  • 다중상속 하지말자
  • class Twins(Parent, Parent2) 로 되지만 메소드명이 같을 경우 왼쪽에 선언된 것만 실행된다.

추상

import abc

class Parent(metaclass=abc.ABCMeta):
@abc.abstractmethod
def foo(self):
pass

class Child(Parent):
def foo(self):
print('foo')

특수 메소드

  • 많지만 __str__ 이 제일 많이 쓴다. toString() 과 같다.
  • __len__ (len(instance))
  • __eq__ (instance == instance2)
  • __add__ (instance + instance2)
  • 등등..
  • 클래스 기본기능을 해치는 개인적인 느낌

여담

  • MSA의 시대에 살고 있는 어플리케이션 레이어의 개발자는 어쩔 수 없이 폴리글랏 프로그래머가 되기 마련이다.
  • 하나의 언어에 능통하면 다른 언어로 넘어가는 데에는 익숙함의 문제지만, 그 언어를 제대로 사용하기 위해 가장 중요한 건 스타일 가이드, 린팅과 주기적인 Docs, Release Notes 확인이라고 생각한다.

Carbon 으로 timestamp 파싱하기

· 약 1분

Carbon으로 타임스탬프를 파싱하는 데에는 createFromTimestamp 메소드가 있다.

Carbon::createFromTimestamp(1576249805)->format();

하지만 더 쉽게 parse 메소드를 사용해 파싱할 수도 있다.

$timestamp = 1576249805;
Carbon::parse('@' . $timestamp)->format();

여기서의 @는 오류를 무시하는 기분이 들어서 찾아보았는데 표준이였다.

Example #2 DateTime::setTimestamp() alternative in PHP 5.2

$ts = 1171502725;
$date = new DateTime("@$ts");
echo $date->format('U = Y-m-d H:i:s') . "\n";
?>

참조

타입스크립트에서 json import 방법

· 약 1분

node 에서 즐겨쓰는 package.json import 방법은 아래와 같다.

import packageJson from "../package.json";
console.log(packageJson.version);

편안하게 잘 사용되는 로직인데 타입스크립트로 변경시에는 몇 가지 설정을 해줘야한다. 설명에 필요없는 설정은 생략했다.

tsconfig.json
{
"compilerOptions": {
"moduleResolution": "node",
"resolveJsonModule": true,
"esModuleInterop": true
}
}

또는 tsc 실행시에 --esModuleInterop, --resolveJsonModule 옵션을 추가해 빌드해줘야한다.

참조

vee-validate3 모든 규칙 추가시 TS7053 오류

· 약 2분

3.0 버전이 되면서 HOC 기반으로 변경되며 rules를 상위 컴포넌트에서 확장하게 되었다. 문제는 typescript 기반에서 룰 전체 등록이 TS(7053) 에러를 발생시킨다.

import { ValidationProvider, ValidationObserver, extend } from "vee-validate";
import * as rules from "vee-validate/dist/rules";

Object.keys(rules).forEach((rule) => {
extend(rule, rules[rule]); // rules[rule] 에서 타입오류 발생
});
Element implicitly has an 'any' type because expression of type 'string' can't be used to index type 'typeof import(".../node_modules/vee-validate/dist/rules")'.
No index signature with a parameter of type 'string' was found on type 'typeof import(".../node_modules/vee-validate/dist/rules")'.ts(7053)

원인

import, export 의 모듈명은 string index 로 쳐지지 않아 발생한다.

해결방법

Object.entriesfor of를 사용해 타입에 안전하게 돌려주면 된다.

import { extend } from "vee-validate";
import * as rules from "vee-validate/dist/rules";

for (const [rule, validation] of Object.entries(rules)) {
extend(rule, {
...validation,
});
}

여담

  • 새로운 구문 (async/await, import/export)를 사용해 돌릴 땐 먼저 for of를 사용하는 습관을 들여야겠다.
  • 머지되어서 다음 사람의 삽질은 없을 듯 하다.

참조

Helm chart의 모든 것

· 약 5분

Helm is a tool for manaing Kubernetes charts. Charts are packages of pre-configured Kubernetes resources.

  • 헬름은 쿠버네티스 차트를 관리하기 위한 도구
  • 차트는 사전 구성된 쿠버네티스 리소스의 패키지
  • 같은 어플레케이션을 여러 환경에 배포시 환경 변수, 도메인 등의 manifest 파일을 차트를 통해 관리
  • 차트를 중심으로 하는 쿠버네티스 개발 종합 관리 도구

설치

# 설치
brew install kubernetes-helm

# 초기화
helm init

# tiller 파드 확인
kubectl -n kube-system get service,deployment,pod --selector app=helm

# 버전 확인
helm version

구성

  • cli와 쿠버네티스 클러스터에 설치되는 서버인 tiller(틸러)로 구성

chart

  • 쿠버네티스는 service, deployment, ingress 등 리소스를 생성하고 manifest 파일을 적용하는 방식으로 어플리케이션을 배포한다. 이 manifest 파일을 생성하는 템플릿을 여러 개 패키징한 것
  • helm repository 에 tgz 파일로 저장

chart 구성

chart-example
├── charts # 차트가 의존하는 차트 디렉토리
├── templates # manifest 파일 템플릿 디렉토리
│ ├── NOTES.txt # 차트 사용법 등 참조 문서 템플릿
│ ├── _helper.tpl # manifest 렌더링에 사용되는 템플릿 헬퍼
│ └── example.yaml # 각종 K8S 리소스의 manifest 템플릿
├── Chart.yaml # 차트 정보가 정의 파일
└── values.yaml # 차트 기본값 value 파일

차트 설치시 values.yaml 에 override 할 값을 정의한 yaml 파일을 만들면 된다.

repository

  • local: 헬름 클라이언트가 설치된 로컬 리포, 로컬에서 생성한 패키지가 존재
  • stable: stable charts repo, 기본값이며 helm/charts 차트 사용 가능
  • incubator: stable 조건 미달 repo
    • helm repo add incubator https://kubernetes-charts-incubator.storage.googleapis.com/
  • helm search 로 차트 검색 가능

명령어

init

보통은 helm init 실서버에서는 helm init --service-account tiller --node-selectors system --history-max 10 업그레이드는 helm init --upgrade

  • --service-account: 틸러가 사용할 서비스계정
  • --node-selectors: 틸러를 배포할 노드 레이블
  • --upgrade: 틸러 업그레이드
  • --history-max: 리소스 하나당 유지할 최대 히스토리 수

create

helm create 차트명

package

helm package 차트명 차트를 압축파일로 패키징

  • --version: 차트 버전 지정
    • 없을 경우 차트의 버전을 따른다.

helm search 검색어

  • -r, --regexp: 검색어를 정규표현식으로 사용
  • -l, --versions: 버전 목록도 출력

fetch

helm fetch 차트경로

  • --version: 특정 버전 지정

serve

helm serve 로컬 레포지토리로 사용할 웹 서버 시작

  • --address: 서버가 개방할 주소
    • 기본값은 127.0.0.1:8879
  • --repo-path: 차트 레포지토리가 될 로컬 디렉토리

install

helm install 차트명 차트로 애플리케이션 설치

helm install stable/redis --name my-redis

helm install stable/redis --version 3.6.0 \
--name my-redis \
--namespace gracefullight \
-f ./my-redis.yaml
  • --dry-run
  • --name: 릴리즈명
  • --namespace: 설치 대상 네임스페이스
  • -f, --values: yaml 파일 경로 (다수 가능)
  • --version: 차트 버전 지정

list

helm list helm list --namespace kube-system

  • --deleted: 삭제된 릴리즈 포함
  • --namespace: 해당 네임스페이스만 확인

get

helm get 릴리즈명 설치된 릴리스 상ㅇ세 정보를 yaml 으로 출력

  • --revision: 릴리즈 리비전 확인

delete

helm delete 릴리즈명

  • --purge: 릴리즈 삭제하고 릴리즈명 해제

쿠버네티스 오브젝트와 클래스 오브젝트 비교

· 약 2분

쿠버네티스를 이해하는 건 어렵다. DevOps 의 전반적인 플로우를 알아야 이 플로우도 이해가 가기 때문이라 생각한다. 생소한 용어들도 어렵다. 한 판을 정리 했지만 매번 참조해야되는 듯하다.

오브젝트 비교

개념JAVA 클래스쿠버네티스 오브젝트
캡슐화ClassContainer image
인스턴스ObjectContainer
재사용단위jarContainer image
컴포지션Class A Contains Class BSidecar pattern
상속Class A extends Class BA container's from parent image
배포단위jar, war...Pod
빌드 및 런타임 아이솔레이션Module, Package, ClassNamespace, Pod, Container
초기화ConsturctorInit container
초기화 후 트리거Init methodpostStart
종료 전 트리거DestroypreStop
Cleanupfinalize(), shutdown hookDefer container
비동기, 병렬 실행ThreadPoolExecutor, ForkJoinPoolJob
스케쥴링Timer, ScheduledExecutorServiceCronJob
백그라운드Daemon threadDaemonSet
설정관리System.getenv(), PropertiesConfigMap, Secret

여담

  • 개념 설정 전에 이 표를 알았더라면 훨씬 이해가 쉬웠을텐데

Github Actions로 Hexo 배포 자동화하기

· 약 2분

Docker 이미지로 생성된 후에 그 위에서 돌아간다. 자세한 개념은 시간날 때 추가 예정

레파지토리 토큰 발급

여기를 참조해 레파지토리의 secret 으로 등록한다.

서브모듈

themes directory 하위의 테마들은 각각의 repo를 가지고 있다. 이 테마들을 CI 중에 가져오기 위해선 서브모듈로 등록해주고 초기화시켜줘야한다.

# 서브모듈 테마 추가
git submodule add 테마깃경로 themes/테마명

# 싱크
git submodule update --init --remote

여기서 remote 옵션을 쓰지 않을 경우 최신 마스터를 pull 하지 않는다. 서브모듈을 쓰는 이유는 내가 관리하지 않기 위함이니 꼭 추가해주자.

소스

주석 없어도 하나하나가 무슨 느낌인지는 받아들여질 것 같다.

name: Node CI

on:
push:
branches:
- master

jobs:
build:
runs-on: ubuntu-latest

strategy:
matrix:
node: [20.x]

steps:
- uses: actions/checkout@master

- name: SETUP_NODE_${{ matrix.node }}
uses: actions/setup-node@master
with:
node-version: ${{ matrix.node }}

- name: BEFORE_INSTALL
run: npm i -g hexo workbox-cli

- name: BEFORE_SCRIPT
run: |
git config --global user.name 'gracefullight'
git config --global user.email '[email protected]'
sed -i "s/__GITHUB_TOKEN__/${{ secrets.HEXO_DEPLOY_TOKEN }}/" _config.yml

- name: THEME_INSTALL
run: |
git submodule update --init --remote --recursive

- name: NPM_INSTALL
run: npm install

- name: HEXO_CLEAN
run: hexo clean

- name: HEXO_GENERATE
run: hexo generate

- name: WORKBOX_BUILD
run: workbox injectManifest

- name: HEXO_DEPLOY
run: hexo deploy

GITHUB_TOKEN

secrets.GITHUB_TOKEN 은 예약된 토큰이다. 빌드 이미지에서 현재 repo를 접근하기 위한 토큰임을 알아두자.

결론

travis-ci 안녕

참조

puppeteer 크롤링 속도 증가시키기

· 약 1분

페이지를 가져온 뒤 css, image, font를 차단하면 더 빠른 DOM 액세스가 가능하다.

// @types/puppeteer
import { launch, Browser, Request, Page } from "puppeteer";

const browser: Browser = await launch({
headless: true,
});

const page: Page = await browser.newPage();
await page.setRequestInterception(true);

page.on("request", (req: Request) => {
switch (req.resourceType()) {
case "stylesheet":
case "font":
case "image":
req.abort();
break;
default:
req.continue();
break;
}
});

await page.goto("URL");

Chrome 75 Webview에서 서비스워커의 fetch request 가 실패하는 문제

· 약 5분
  • 서비스워커는 n:m (사이트:디바이스)로 모든 클라이언트 기기에 설치된다.
  • 배포 후 아무 문제 없이 동작하였으나, 190604 이후 웹뷰에서 net::ERR_ABORTED 페이지가 보인다는 버그가 들어오기 시작했다.
  • 랜덤하게 발생되고 있어 추적이 어려웠으나 4일에 Chrome의 메이저 버전이 업데이트 되었다라는 것을 확인했고 디버깅을 시작했다.

디버깅

chromium#973048

  • 서비스워커가 내려오지 않은 경우 페이지가 100% 정상동작을 하였다.
  • 서비스워커가 내려온 경우 랜덤하게 페이지가 로드되지 않았다.
  • 문제는 서비스워커로 확인되었고, 세부적인 디버깅 내역은 다음과 같다.
    • fetchListener 내부 cacheStorage 접근 예외처리: 재현
    • fetchListener 제거: 재현 안됨
  • Chrome 75버전의 웹뷰에서 서비스워커의 fetching 방식이 변경되었다는 걸 확인할 수 있었다.
  • 74, 75버전의 Diff를 찾을 수 있어 서비스워커 코어가 어마어마하게 변경되었다는 걸 확인할 수 있었으나 이 코드를 디버깅하는 것보다 퇴사 후 행복하게 사는 게 멋질 것이란 판단이 들었다.
  • 다행히 구글러와 연락이 닿아 private 버그리포팅을 했고, Chrome은 오픈소스라 구글에서도 일일히 확인하기 힘들다라는 답변을 들을 수 있었다.

웹뷰와 서비스워커

  • 웹뷰의 서비스워커와 브라우저의 서비스워커는 다른 인스턴스이므로 서로 공유되지 않는다.
  • 그렇다면 웹뷰에서 재접속시에 앱 셸을 빠르게 로드하는 이점 뿐이라는 말이다. === 어드벤티지 없음
  • WebView UA in Lollipop and Above에 따르면 안드로이드 롤리팝 이후부터 User Agent에 wv란 값을 물고 들어온다.

해결

예외처리

  • Chrome 엔진이 업데이트 된다고 서비스워커가 제거되지 않는다.
  • 따라서 UA 에 android, wv 값이 있는 경우 서비스워커를 설치하지 않을 뿐 아니라 설치된 서비스워커를 제거해주는 로직이 있어야한다.
  • 아니라면 A way to immediately unregister a service worker 기능을 브라우저 벤더들이 개발해줘야한다.
  • 더 특정한 버전을 줘서 예외처리를 한다면 다음과 같을 것이다.

Chrome 75.0.3770.67 ~ 75.0.3770.101 버전의 모든 안드로이드 웹뷰에서 서비스워커 설치를 차단, 이미 설치가 되어있다면 삭제

패치

  • 몇일 뒤에 다른 업체에서 public 하게 버그리포팅을 올렸고 버그를 찾아서 조만간 패치될 예정이다.
  • This is affecting tens of thousands of our readers 로 보아 나와 같은 빡침이 느껴져서 아련했다.
  • 패치된 코드는 여기서 볼 수 있다.

여담

  • 브라우저에 버그 발생시 대처하는 방법은 거의 불가능하다.
  • 실수는 여기든 저기든 다 똑같구나

맥 구글 계정 연동시 인증 실패

· 약 1분

맥에서 구글 계정 연동 중에 Google 계정 인증에 실패했다는 오류메세지가 나온다면 다음과 같이 해결하면 된다.

설정 > 일반 > 기본 웹브라우저Safari.app으로 변경한다.

구글링시 아래 기능들을 해제해보라는데 다 쓸모없다.

  • 2차 인증 해제
  • 앱 비밀번호 사용
  • 보안되지 않은 앱 허용