ここあのひとりごと

Decap CMSを使ってみる

2024/09/13 19:13

自作CMSをやめてDecap CMSを使ってみた。

他の案

Wordpress (ヘッドレス)

へッドレスCMSとしてWordpressを使う案。実際、実装は完成していた。でも微妙だったのでやめた。

...

MisskeyでMeilisearchを利用する際の日本語検索の精度を向上させる

2024/08/29 15:22 2024/08/30 10:45

体感ではそんな印象はないけど気になるので入れ替えてみる。

Docker

アップデート手順はほとんど参考記事のものです。

コンテナを停止する。

1
$ docker compose down

dumpを作成する。

...

MisskeyのMedia Proxyを自作した

2024/08/28 03:47

Media-Proxyを作成したのでそのコードについて説明したり。

  1
  2
  3
  4
  5
  6
  7
  8
  9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
import os
import logging
import traceback

import aiofiles
import aiohttp
import aiohttp.web as web
from aiohttp_cache import (
    setup_cache,
    cache,
)
from PIL import Image
import io
import urllib.parse

logger = logging.getLogger(__name__)


async def fetch_image(session: aiohttp.ClientSession, url):
    async with session.get(url) as response:
        if not response.ok:
            return None
        else:
            content_type = response.headers.get("Content-Type", "").lower()
            data = bytearray()
            while True:
                chunk = await response.content.read(int(os.environ.get("CHUNK_SIZE", 1048576)))
                if not chunk:
                    break
                data.extend(chunk)
            return data, content_type


@cache(expires=os.environ.get("EXPIRES", 86400) * 1000)
async def proxy_image(request):
    query_params = request.rel_url.query
    url = query_params.get("url")
    fallback = "fallback" in query_params
    emoji = "emoji" in query_params
    avatar = "avatar" in query_params
    static = "static" in query_params
    preview = "preview" in query_params
    badge = "badge" in query_params

    try:
        if not url:
            return web.Response(status=400, text="Missing 'url' parameter")

        try:
            url = urllib.parse.unquote(url)
        except Exception as e:
            return web.Response(status=400, text="Invalid 'url' parameter")

        async with aiohttp.ClientSession() as session:
            image_data, content_type = await fetch_image(session, url)

            if image_data is None:
                if fallback:
                    headers = {
                        "Cache-Control": "max-age=300",
                        "Content-Type": "image/webp",
                        "Content-Security-Policy": "default-src 'none'; img-src 'self'; media-src 'self'; style-src 'unsafe-inline'",
                        "Content-Disposition": "inline; filename=image.webp",
                    }
                    async with aiofiles.open("./assets/fallback.webp", "rb") as f:
                        return web.Response(
                            status=200, body=await f.read(), headers=headers
                        )
                return web.Response(status=404, text="Image not found")
            if "image" not in content_type:
                logger.info("Media is Not Image. Redirecting to Response...")
                headers = {
                    "Cache-Control": "max-age=31536000, immutable",
                    "Content-Type": content_type,
                    "Content-Security-Policy": "default-src 'none'; img-src 'self'; media-src 'self'; style-src 'unsafe-inline'",
                    "Content-Disposition": "inline; filename=image.webp",
                }
                return web.Response(status=200, body=image_data, headers=headers)

            image = Image.open(io.BytesIO(image_data))

            if emoji:
                image.thumbnail((128, 128))
            elif avatar:
                image.thumbnail((320, 320))
            elif preview:
                image.thumbnail((200, 200))
            elif badge:
                image = image.convert("RGBA")
                image = image.resize((96, 96))

            output = io.BytesIO()
            image_format = "WEBP" if not badge else "PNG"
            if image_format == "PNG":
                image.save(output, format=image_format, optimize=True)
            elif image_format == "WEBP":
                image.save(output, format=image_format, quality=80)
            output.seek(0)

            headers = {
                "Cache-Control": "max-age=31536000, immutable"
                if image_data
                else "max-age=300",
                "Content-Type": f"image/{image_format.lower()}",
                "Content-Security-Policy": "default-src 'none'; img-src 'self'; media-src 'self'; style-src 'unsafe-inline'",
                "Content-Disposition": f"inline; filename=image.{image_format.lower()}",
            }

            return web.Response(body=output.read(), headers=headers)
    except Exception as e:
        print(traceback.format_exc())
        if fallback:
            headers = {
                "Cache-Control": "max-age=300",
                "Content-Type": "image/webp",
                "Content-Security-Policy": "default-src 'none'; img-src 'self'; media-src 'self'; style-src 'unsafe-inline'",
                "Content-Disposition": "inline; filename=image.webp",
            }
            async with aiofiles.open("./assets/fallback.webp", "rb") as f:
                return web.Response(
                    status=200, body=await f.read(), headers=headers
                )
        return web.Response(status=404, text="Image not found")


app = web.Application()
setup_cache(app)
app.router.add_get("/proxy/{filename}", proxy_image)
app.router.add_get("/", proxy_image)
app.router.add_get("/{filename}", proxy_image)

if __name__ == "__main__":
    web.run_app(
        app, port=os.environ.get("PORT", 3003), host=os.environ.get("HOST", "0.0.0.0")
    )

モジュールの読み込み

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
import os
import logging
import traceback

import aiofiles
import aiohttp
import aiohttp.web as web
from aiohttp_cache import (
    setup_cache,
    cache,
)
from PIL import Image
import io
import urllib.parse
  • aiohttpaiohttp.web:HTTPクライアントとサーバー。
  • aiofiles:個人的にwith openだと気になるので。使う必要はあまりないかも。
  • PIL(Pillow):画像処理ライブラリ。圧縮などに利用します
  • urllib.parse:URLのパースとエンコード/デコード用
  • aiohttp_cache:キャッシュ

2. ログの設定

1
logger = logging.getLogger(__name__)

3. 画像の取得

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
async def fetch_image(session: aiohttp.ClientSession, url):
    async with session.get(url) as response:
        if not response.ok:
            return None
        else:
            content_type = response.headers.get("Content-Type", "").lower()
            data = bytearray()
            while True:
                chunk = await response.content.read(int(os.environ.get("CHUNK_SIZE", 1048576)))
                if not chunk:
                    break
                data.extend(chunk)
            return data, content_type

指定されたURLから画像を非同期で取得し、バイトデータとコンテンツタイプを返す。一気に取得するのではなく (一気に取得してしまうと大きなファイルでは遅くなるので)1MBづつチャンクで取得するようになっています。

...

RobynとFastAPIの速度の比較

2024/08/21 20:58

HoloのバックエンドをRobynに書き換えるかもしれないので比較してみる。

ベンチマークにはbombardierを使います。初めてなので間違っている部分もあるかもしれませんが予めご了承ください。

Robyn

Rust製のWebフレームワークらしい。Cargo.tomlを見た感じだと内部ではActix-Webが使われてる?

コード

1
2
3
4
5
6
7
8
9
from robyn import Robyn, jsonify

app = Robyn(__file__)

@app.get("/")
async def h(request):
    return {"Hello": "World"}

app.start(port=3000)

Benchmark

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
PS C:\Users\AmaseCocoa\benchmarks> bombardier -c 100 -n 1000000 http://localhost:3000
Bombarding http://localhost:3000 with 1000000 request(s) using 100 connection(s)
 1000000 / 1000000 [=============================================================================] 100.00% 5186/s 3m12s
Done!
Statistics        Avg      Stdev        Max
  Reqs/sec      5193.28    1122.21   23542.53
  Latency       19.27ms     2.93ms    85.12ms
  HTTP codes:
    1xx - 0, 2xx - 1000000, 3xx - 0, 4xx - 0, 5xx - 0
    others - 0
  Throughput:     0.93MB/s

FastAPI (uvicorn)

ASGIを利用したWebフレームワーク。内部ではStarletteとPydanticが使われていてPython製のフレームワークの中では速い。

...

何を狂ったのかCMSを一から作った話

2024/08/20 16:04

何故かCMSからブログを作ってしまいました。

Warning
ちなみに今は[Decap CMS](https://decapcms.org/) + [Hugo](https://gohugo.io) (自作テーマを利用)の構成に移行しているので自作CMSは使ってません

どうして?

なんとなく興味があったから。

...