古い道具で測る
このアトラスは多言語 Embedding(深層学習)を中心に据えている。 ではそれは何を買ったのか。 深層以前の標準的な道具 —— TF-IDF・BM25・LSA(潜在意味解析)・Burrows の Delta・対応分析 —— を同じ土俵に並べて測った。どれも 1990 年代までに確立した手法で、GPU も学習済みモデルも要らない。
✓ 同じ言語の中では、古い道具のほうがよく当てる
物差しは半分割である。話を語数の中点で割り、前半を問いにして、1022 話の後半の中から相手を探す。 正解は「同じ話の後半」なので、人手のラベルが要らず、循環もしない。偶然の水準は 0.1%。
| やり方 | P@1 | 固有名を落とすと |
|---|---|---|
| TF-IDF | 91.9% | 83.9% |
| BM25 | 85.5% | 74.9% |
| LSA | 85.0% | — |
| e5(窓の平均) | 79.9% | — |
TF-IDF が 91.9% で、e5 の 79.9% を上回った。固有名(大文字で現れる割合が 9 割を超える語 1,786 語)を 両側から落としても 83.9% で、まだ上回る。 同じ言語の中で「同じ話の続き」を見つけるだけなら、語の一致で足りる。
✗ 言語をまたぐと、古い道具は崩れる
独英グリムの同じ話 26 組で、ドイツ語版から英語版 64 話の中の相手を探させた。 偶然の水準は 1.6%。
| やり方 | P@1 | 固有名を落とすと |
|---|---|---|
| TF-IDF | 19.2% | 7.7% |
| BM25 | 11.5% | 0.0% |
| LSA | 19.2% | — |
| e5(このアトラスが使っているもの) | 73.1% | — |
登録した帯は「古典が 10.0% を超えたら不成立」で、TF-IDF は 19.2% だった。登録どおり、この主張は不成立である。ただし理由は測れた —— 固有名を落とすと 7.7%(BM25 は 0.0%)に落ちる。 古典が言語をまたげていたのは、独英で綴りの似た固有名が一致していたからであって、 意味を見ていたからではない。e5 の 73.1% との差はここにある。
✓ 本の効果は、機能語だけで本を当てられるほど強い
Burrows の Delta(文体計量の古典)で測った。 コーパスで頻度上位 150 語 —— つまりほとんど機能語 —— の相対頻度だけを使い、 話ごとに z 化して、その話を抜いて作った本の重心に当てる。1,163 話・32 冊で、正解率は 72.5%(偶然 3.1%)。
「似ている民話」の正体の大半が本であること(測ったこと の G-07、Cohen d = 1.14)は Embedding で測ってあったが、それが `of` や `which` のような語の使い方に出ていることは、 この古い道具でしか見えない。
| 語 | 本による散らばり | 多い本 | 少ない本 |
|---|---|---|---|
of | 0.73 | PG-54610 | PG-72735 |
very | 0.63 | PG-34655 | PG-2892 |
having | 0.62 | PG-56614 | PG-34431 |
which | 0.61 | PG-26070 | PG-72735 |
or | 0.60 | PG-9368 | PG-72735 |
and | 0.57 | PG-62509 | PG-72735 |
upon | 0.57 | PG-54610 | PG-3833 |
said | 0.54 | PG-56614 | PG-54610 |
the | 0.53 | PG-54610 | PG-72735 |
little | 0.53 | PG-24714 | PG-18450 |
対応分析 ── 本と語を同じ平面に置く
意味の空間の地図(UMAP)は「近い」としか言えない。 対応分析(Benzécri)は軸に語が乗るので、なぜ近いのかが読める。 本 32 冊 × 頻度上位 200 語の分割表を、 標準化残差の特異値分解で 2 次元にした。
第 1 軸(寄与 42.2%)は、ほぼジャマイカのクレオール一冊と、それ以外を分けている。 右の端に de・say・go・t が、 左の端に which・its・been・should が並ぶ。 話の中身ではなく書き方の軸である。
一冊が軸を独占してしまうので、その本を抜いた図も並べる。 抜くと寄与は 22.4% まで下がり、 残りの本どうしの関係が見えるようになる。抜いた事実を書かずに二枚目だけを見せると、嘘になる。
✗ トピックモデル(LDA)── 本の写しになっていないか
LDA(Blei ら 2003)は深層以前のトピックモデルの定番である。 ただしこのコーパスは一冊が一つの文化圏に対応するので、 語で群を作ると「トピック」と称して本を並べ直しただけのものが出る。 だから出す前に、トピックと本の重なりを測った。 英語 1,163 話・32 冊、 機能語と固有名 1,378 語を落とした残り 7,984 語彙、 トピック数は 12 に固定(良く見えるまで動かさない)。
| 群の作り方 | 本との重なり(NMI) |
|---|---|
| LDA のトピック | 0.362(帯 ≤ 0.35) |
| e5 の群(いま画面に出しているもの) | 0.710 |
| e5 の群(未分類を除く 1026 話) | 0.780 |
| 同じ話だけで測った LDA | 0.378 |
| 無作為に 29 群へ分けたもの(偶然の水準) | 0.130 |
登録した帯を超えたので、H-12a は不成立である。LDA のトピックは、偶然の水準(0.130)より はっきり本に寄っている。これを「文化ごとの主題」として読んではいけない。ただし比べる相手も測ってある —— いま画面に出している e5 の群のほうが、本にずっと強く寄っている(0.710、未分類を除くと 0.780)。 この題材では、語で分けても意味で分けても本が出る。 12 個のうち 2 個は、重みの半分以上が単一の本から来ている。
| # | 上位語 | 話 | 最も重い本の割合 | 半分を占めるのに要る本 | 文化圏(上位) |
|---|---|---|---|---|---|
| 4 | its・young・being・also・life・until・boy・even | 636 | 7.9% | 9 冊 | ナイジェリア南部、ヒマラヤ山麓、西アフリカ(ゴールドコースト) |
| 6 | horse・palace・thou・youth・brother・poor・till・sister | 201 | 21.7% | 3 冊 | アナトリア、ドイツ語圏、ロシア |
| 5 | big・gone・says・ran・money・till・yes・giant | 177 | 27.4% | 4 冊 | イングランド、ジャマイカ、ノルウェー |
| 2 | monkey・tiger・dat・dem・name・boy・dog・dey | 66 | 91.3% | 1 冊 | ジャマイカ、イングランド |
| 3 | minister・turtle・years・letter・life・servant・heart・saying | 38 | 63.7% | 1 冊 | 朝鮮半島、ハワイ |
| 9 | fire・sun・world・earth・mountain・heart・dead・friend | 18 | 22.1% | 5 冊 | ニュージーランド(マオリ)、北米先住民、フィリピン |
| 8 | rabbit・farmer・may・tiny・tiger・badger・liver・straw | 7 | 25.5% | 3 冊 | ブラジル、イングランド、ジャマイカ |
| 10 | tortoise・leopard・spider・lizard・sparrow・toad・emu・food | 6 | 20.6% | 4 冊 | ナイジェリア南部、ブラジル、フィリピン |
| 1 | rice・soldier・cock・corn・snake・cakes・devil・village | 5 | 30.0% | 3 冊 | スリランカ、ジャマイカ、ロシア |
| 11 | sea・fish・canoe・sun・heart・land・full・god | 5 | 21.1% | 4 冊 | ニュージーランド(マオリ)、ハワイ、北米先住民 |
| 7 | hare・kayak・pope・rowed・mule・crocodile・fisherman・archbishop | 4 | 26.1% | 3 冊 | グリーンランド(イヌイット)、スリランカ、ジャマイカ |
| 0 | tom・persons・kangaroo・plantain・sooth・afterwards・washerman・woodman | 0 | 43.0% | 2 冊 | スリランカ、ジャマイカ、オーストラリア先住民 |
「半分を占めるのに要る本」が 1 冊なら、そのトピックはその本の言い換えである。 たとえば dey・dat・dem の並ぶトピックはジャマイカの聞き書き一冊、thou・thee・thy の並ぶトピックは古い訳文の一冊に対応する。これは物語の主題ではなく、訳者の書き方である。
✓ 語りの状態列(隠れマルコフモデル)
測ったことの H-05 で「筋の形」を測ったとき、順番が効いていることは示せなかった(順番を使わない突き合わせでも同じだけ当たった)。 そこで、順番を明示的に扱う深層以前の道具 —— HMM —— で同じ問いに答え直した。 段落ごとに数え上げだけの 6 つの特徴(緊張語の差・会話の割合・平均文長・ 出来事の引き金語・固有名の密度・語数)を作り、5 状態のガウス HMM を EM で学んだ。1,003 話・30,785 段落。段落の位置は特徴に入れていない —— 入れれば状態は位置の言い換えになる。
| ✓ 状態は位置の言い換えか | 状態と段落の位置(五分位)の NMI は 0.003(帯 ≤ 0.25)。位置ではない |
|---|---|
| ✓ 状態は本の言い換えか | 状態と本の NMI は 0.016。本でもない—— LDA のトピック(0.369)や e5 の群(0.690)と違い、状態は本に縛られていない |
| ✓ 状態列で同じ話を言語をまたいで見つけられるか | 独英グリム 18 組で、対の状態の並びの似かたは 0.739、 対でない組の平均は 0.600(順列検定 p = 0.000、帯 p < 0.01)。足りない |
| ！ 対照 | 状態列を話ごとに並べ替えてから比べると 0.674。 並べ替える前は 0.739 で、並べ替えると下がる(順番が効いている) |
三つとも通ったので、登録どおり状態の帯を画面に出す。並べ替えの対照も 0.674 で、 並べ替える前の 0.739 より低い —— 順番を壊すと似かたが落ちる。ただし 2026-09-18 の測定では、同じ帯で不成立だった(対 0.626 / 対でない組 0.560・p = 0.062 で、並べ替えの対照はむしろ高かった)。 本が 30 冊から 33 冊に増え、学習に使った段落が 29,012 から 30,785 に増えて結果が変わった。帯は一度も動かしていない。同じ主張を二度見たことは、この文が記録である。
| 状態 | 段落の割合 | 緊張語の差 | 会話の割合 | 平均文長 | 出来事の引き金語 | 固有名の密度 | 語数 | 同じ状態が続く率 |
|---|---|---|---|---|---|---|---|---|
| 0 | 16.3% | -0.13 | -0.70 | +1.12 | -0.13 | -0.55 | +1.21 | 0.32 |
| 1 | 23.3% | -0.07 | -0.41 | +0.23 | -0.52 | -0.28 | -0.10 | 0.26 |
| 2 | 24.1% | -0.01 | -0.34 | +0.24 | +0.48 | -0.21 | +0.33 | 0.40 |
| 3 | 14.1% | +0.37 | +0.59 | -0.67 | +0.87 | +0.39 | -0.58 | 0.19 |
| 4 | 22.3% | -0.08 | +0.93 | -0.90 | -0.53 | +0.67 | -0.81 | 0.33 |
値は話の中で標準化してある(本ごとの尺度の差を持ち込まないため)。 たとえば会話の割合が高く平均文長が短い状態は「掛け合いの場面」、 出来事の引き金語が多い状態は「事が起きる場面」と読めるが、その読みは測ったことではない。測れたのは上の三つだけである。
状態の帯 ── 段落の並びを状態で塗る
一話を段落の並びとして描き、段落ごとの状態を色と番号で示した(先頭 48 段落まで)。同じ話のドイツ語版と英語版を上下に並べてある。 訳も長さも違うのに、状態の出方が似ることが目で見える。
参考に、対になっていない話も並べる(同じ色でも、並び方は話ごとに違う)。
色は状態 0〜4 に対応し、番号を帯の中に書いてあるので色だけに頼らずに読める。 状態の意味(特徴の平均)は上の表にある。帯は「この段落がどの状態か」を示すだけで、筋の意味を説明するものではない。
この頁が言わないこと
- 「古い道具のほうが優れている」とは言わない。同じ言語の中の一致には強く、言語をまたぐと崩れる —— それだけが測れたことである
- 語の頻度から文化を語らない。一冊が一つの文化圏に対応するので、文化の特徴と本の特徴は分けられない。 ここで見えているのは訳者・編者の書き方である
- 固有名を落とす対照は結果を見てから足した。前半の表の数字は落とす前のものである
- LDA のトピックを「文化ごとの主題」として読まない。本との重なりが偶然の水準を超えていることを上で測ってある
すべて `ml/classic.py` / `ml/classic_eval.py` / `ml/topics.py` / `ml/narrative_hmm.py`。 scikit-learn と numpy だけで動く(HMM の EM も numpy で書いてある)。