ほしいものがほしいときに買えなくなるのまじで嫌だから Amazon はセールしないでほしい、こっちはトイレットペーパーが翌日届くと思って生きてるんだ

ウルトラマンコ スモス

きちがいおかき屋今日が最終日じゃん

鉄道マニアなので鉄道の話を聞きにきました(あんまり鉄道の話には興味がなく建造物構内での人流解析の話として聞きにきております)

サム・アルトマンのことは詐欺師だと固く信じている(何故ならかれは仮想通貨おじさんなので)ので解任自体は妥当だろうとは思うものの、そういう内紛が起きるのって結局 OpenAI も人間の組織である以上は、感情的に余裕がないことのあらわれであり、そうなるときはだいたい金がないとき。大変ですね。

真の世界東京の本当に西のほう

だるさがつよい

Claude 2 のほうが GPT-4 より性能でるタスクもかなり多いことがわかってきたが、いかんせん GPT-4 がめっちゃ値下がりしただけに「じゃあ GPT-4 で無理するか」って考えてしまったりするな。そこでケチろうとしてもあんまろくなことにならんのだろうけどね。

gpt-4 が 128k までトークン読めるようになったので Claude 2 とはバイバイだな

Amazon Bedrock Runtime API で Claude 2 を使う

みなさんこんにちは。 OpenAI の API は使っていますか?使っている人が多いと思います。これにかんしては世間にも情報が多いので何も言うことはありません。

ところで、 OpenAI の API においては gpt-3.5-turbo-16k というモデルでは 16000 token まで入力することができます。これって日本語の文字数にしてどれくらいになるんでしょうか?このあたりブラックボックスなのでなんとも言えないのですが、入出力あわせて 15000 字程度は扱えると思っておけばだいたいよさそうです。

15000 字というのは多いようで少ない量で、ちょっと変なことをやっているとすぐ頭をぶつける量です。このなかで工夫して価値があるものを作るのもよいのですが、制限がない世界も見てみたい。

そういうときには Anthropic という会社が提供している Claude 2 というモデルを使うのがよいでしょう。これは 10 万トークンまで扱えるようです。これが日本語で何文字相当なのか僕は知りません。まだ頭をぶつけたことがないからです。「日本語で出版されている本をまるまる読ませる」とかだとさすがにまだキツい感じがしますが、しかし事実上無限に近い処理能力があります。

この Claude 2 を API 経由で使うというかプログラムに組込む場合は AWS が提供している Amazon Bedrock Runtime API というサービスを使うのがよさそうです。しかしマジでこの世の誰もこれを使っていないためわたくしは手探りで使い方を調べることになりました。生成AIって本当に流行ってんの?

Ruby から使う場合以下のようにするとよいしょう。

1. AWS のコンソールから Claude 2 の利用申請を出しておきます
   • AWS にはいくつか利用申請が必要なリソースがありますが、それと一緒です
   • 申請は適当書いてても即時通るようです
     • 社名記載が必須のようなかんじですが indivisual developer とか書いてても通りました
     • それが規約上大丈夫かは知らん
2. aws-sdk-bedrockruntime という Gem をインストールしておきます
   • aws-sdk-bedrock ではないです。
3. コードを書く！！！！！

コードは以下のようなかんじ

prompt = <<~PROMPT

Human: ChatGPT の Prompt 相当のメッセージをここに書く。

Assistant:
PROMPT

# http_reqd_timeout の指定は必須です。デカい入力を渡した場合レスポンスは相応に遅くなります。
bedrock = Aws::BedrockRuntime::Client.new(region: 'us-east-1',
                                          http_read_timeout: 360)

payload = {
  prompt:,
  max_tokens_to_sample: 2400,
  temperature: 0.1,
  top_p: 0.9
}

res = bedrock.invoke_model({
                             accept: 'application/json',
                             body: payload.to_json,
                             content_type: 'application/json',
                             model_id: 'anthropic.claude-v2'
                           })

result = res.body.read.to_s

puts result

プロンプトに HUMAN: ASSISTANT: などと謎の呪文とその前後の改行がありますがこれは必須です。コード中にもコメントしましたがレスポンスは非常に遅い(体感で 1 万トークンあたり 45 秒前後)ので http_reqd_timeout の指定は必須です(非同期に結果を取りにいくような仕組みはおそらくありません)。あとのアレコレは OpenAI の API に慣れてればまあ分かるんじゃないですかね?

利用料金は天文学的であり、 10 万トークンフルでぶちこむと 1 実行で 150 円ぐらいかかります。性能的には「多少気が効かなくなった gpt-3.5-turbo ぐらい」という感じ。コストパフォーマンスが見合うものであるかは、まあ人それぞれでしょう。ぼくの場合は「それでも使いたい」というユースケースが手元にあります(具体的にはテレビ番組の字幕ファイルを Claude 2 に突っ込んでテレビ番組の目次と要約を生成させています)。

何もかも Claude 2 でやると性能的にも金額的にもマズいことになるので「デカいデータを GPT-3.5 や GPT-4 で処理可能な領域にまで圧縮する」みたいな使い方は結構有効な気がしますね。

故あって日本版同一労働同一賃金対応の実務についてずっと調べているが「どこに地雷があるか分からないのであきらめて裁判くらう覚悟をしてください」としか読み取れないな、マジで

Ruby on Rails ってめっちゃよくできてるなって感じる機会が最近めちゃくちゃ多い(意味不明なフレームワークでできたもの触ってはこれなら Rails のほうがずっといいな、、、ってなるの繰り返してる)

Meta Quest 3 専用の公式ケースのレビューをみたら「すごく値段は高いが臭くないので最高」というようなレビューが多く何いってんだこいつらとか思いつつ中華の 2000 円ぐらいの Quest 3 用ケース買ったらめちゃくちゃ薬品系のにおいがして超臭くてこれか、、、ってなってる

新HHKBそこまでやるなら矢印キーつけろよ感あるし、完全に直接比較できるものでもないけど ArchissにBTつけたら値段が倍になりましたみたいなかんじだな

Quest 3 のいいところ日常のゲーム以外の用途(ブラウザ、 Immersed 、動画閲覧)だとほぼまったく、というかまったくコントローラつかわなくてハンドジェスチャーだけで対応可能なのがまじで一番いいところだと思う、最近コントローラー一切触ってない

録画機を i5-4570 から Intel N100 に変えたら 9 兆倍ぐらい QSV の画質よくなって 10 年たってこれもこんなに性能上がってたんだなとびっくりしている

現実問題として実際の作業が 50% 遅くなったからって誰が気付くかという話で、数倍遅くてもたぶん気付かない、数十倍の差があるとようやく遅いなみたいになる。

ちゃんと実ワークロードでベンチマークとると Ryzen って大抵 Intel CPU よりめっちゃ遅いんだけど、誰も実ワークロードの性能なんて気にしてないので誰もそんな話をしない。

MLT8PE を刺してるマシンをリプレイスしたくなったので、 Intel N100 が乗ってる Mini ITX マザボを買ってみた。さすがにちょっと割高だなとは思う(N100 なミニ PC が 24000 円前後なのにたいしマザボだけで 20000 円越え)のですが、マザボに AC アダプタ直結できるのとケースファン適当にまわしときゃ冷却間に合うというのが本当によくて、冷却と配線を考えなくていい PC 自作って本当に楽だなって思った。今や配線と冷却がむしろ自作の醍醐味みたいなところもあるような気はするのだが、 MLT8PE が動きゃなんでもいいみたいな感じだとこれはよい選択であった。

インターネットでもするか