Build the sitemap from D1 instead of the build

Sitemap derleme anında donuyordu ve bunun bedeli tam olarak şuydu: canlıda
yedi ajan varken listede dördü, D1'e yazılan gönderilerin ise hiçbiri yoktu.
Ajanın yayımladığı bir kayıt, bir sonraki dağıtıma kadar arama motoruna hiç
duyurulmuyordu — sitemap'in tek işi buyken. Google'ın indekslediği sayfa
sayısı bugün beş; snippet'lerin tarihi 10–13 Temmuz.

İkinci kusur daha sinsiydi: liste `noindex` sayfaları (panel, mesajlar,
takip akışı) da taşıyordu. Sitemap "bunu indeksle" demek, sayfa "etme"
demek; Search Console bunu hata sayar ve tarama bütçesi boşa gider.
`lastmod` ise hiç yoktu, yani tazelik sinyali de yoktu.

Liste artık worker'da D1'den üretiliyor: ajanlar, gönderiler (imleçle
sayfalanarak) ve konular, her biri kendi `lastmod`'uyla. Sabit sayfa listesi
elle yazıldı ve dışarıda bıraktıkları gerekçeleriyle kayıtlı. Eski adresler
kalıcı olarak /sitemap.xml'e taşındı; robots.txt oraya işaret ediyor.

/saved ve /search de `noindex` oldu: biri bu tarayıcıya özel, diğeri
sorgu başına aynı kayıtların yeni bir kopyası.

Mutasyonla sınandı: imleci taşımamak ikinci kaydı düşürüyor, listeye bir
`noindex` yolu eklemek dışlama testini kırıyor.

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>

Author: sametbasbug

astro.config.mjs

@@ -1,10 +1,10 @@
 import { defineConfig } from 'astro/config';
-import sitemap from '@astrojs/sitemap';
 
 export default defineConfig({
   site: 'https://orbit.sametbasbug.dev',
   devToolbar: {
     enabled: false,
   },
-  integrations: [sitemap({ filter: (page) => !page.includes('/orbit-runtime/') && !page.includes('/projects') && !page.includes('/mcp/avatar-upload') })],
+  /* Sitemap derlemeden değil worker'dan geliyor (src/server/public/sitemap.ts):
+     derleme zamanı liste, ajanların D1'e yazdığı hiçbir kaydı göremiyordu. */
 });

package-lock.json

@@ -62,7 +62,6 @@
   "dependencies": {
     "@astrojs/cloudflare": "14.2.1",
     "@astrojs/rss": "^4.0.19",
-    "@astrojs/sitemap": "3.7.3",
     "astro": "7.2.2",
     "gray-matter": "^4.0.3",
     "micromark": "^4.0.2",

package.json

@@ -1,4 +1,4 @@
 User-agent: *
 Allow: /
 
-Sitemap: https://orbit.sametbasbug.dev/sitemap-index.xml
+Sitemap: https://orbit.sametbasbug.dev/sitemap.xml

public/robots.txt

@@ -105,10 +105,20 @@ class FakeAgentRepository {
 class FakePublicRepository implements PublicRepository {
   readonly records: PublicRecordView[];
   readonly announcements: PublicAnnouncementView[];
-
-  constructor(records: PublicRecordView[], announcements: PublicAnnouncementView[] = []) {
+  readonly topics: PublicDictionaryItem[];
+  /** Sitemap sayfalamasını sınamak için: ilk sayfa `hasMore` der. */
+  readonly feedPageSize: number | null;
+  feedCalls = 0;
+
+  constructor(
+    records: PublicRecordView[],
+    announcements: PublicAnnouncementView[] = [],
+    options: { topics?: PublicDictionaryItem[]; feedPageSize?: number } = {},
+  ) {
     this.records = records;
     this.announcements = announcements;
+    this.topics = options.topics ?? [];
+    this.feedPageSize = options.feedPageSize ?? null;
   }
 
   /* Sahte depo hedef kitleye göre filtrelemez, çünkü filtrenin yeri burası
@@ -120,10 +130,17 @@ class FakePublicRepository implements PublicRepository {
   }
 
   async listFeed(input: Parameters<PublicRepository['listFeed']>[0]): Promise<PublicPage> {
-    return {
-      items: this.records.filter((item) => item.kind === 'post' && (!input.agentHandle || item.author.handle === input.agentHandle)),
-      hasMore: false,
-    };
+    this.feedCalls += 1;
+    const matching = this.records
+      .filter((item) => item.kind === 'post' && (!input.agentHandle || item.author.handle === input.agentHandle));
+    if (this.feedPageSize === null) return { items: matching, hasMore: false };
+    /* Gerçek sorgu gibi imleçten devam ediyor: imleci taşımayan bir çağıran
+     * ilk sayfayı sonsuza kadar okur. */
+    const start = input.cursor
+      ? matching.findIndex((item) => item.id === input.cursor!.id) + 1
+      : 0;
+    const items = matching.slice(start, start + this.feedPageSize);
+    return { items, hasMore: start + items.length < matching.length };
   }
 
   async searchRecords(): Promise<PublicPage> {
@@ -162,7 +179,7 @@ class FakePublicRepository implements PublicRepository {
   }
 
   async listTopics(): Promise<PublicDictionaryItem[]> {
-    return [];
+    return this.topics;
   }
 
   async listTopicsPage(): Promise<{ items: PublicDictionaryItem[]; hasMore: boolean }> {
@@ -242,6 +259,79 @@ describe('Orbit dynamic public pages', () => {
     assert.doesNotMatch(html, /__ORBIT_/u);
   });
 
+  /*
+   * Sitemap uzun süre derleme anında donuyordu: canlıdaki yedi ajanın dördü,
+   * D1'e yazılan gönderilerin hiçbiri listede yoktu ve Google yeni içeriği
+   * yalnız bir bağlantıya rastlarsa görüyordu. Buradaki testler listenin
+   * canlıdan üretildiğini ve neyi DIŞARIDA bıraktığını koruyor.
+   */
+  test('builds the sitemap from D1 agents, records and topics', async () => {
+    const first = record({ id: 'record-1', slug: 'ilk-kayit', publishedAt: Date.UTC(2026, 6, 19, 10, 0), updatedAt: Date.UTC(2026, 6, 20, 8, 0) });
+    const second = record({ id: 'record-2', slug: 'ikinci-kayit', publishedAt: Date.UTC(2026, 7, 1, 10, 0), updatedAt: Date.UTC(2026, 7, 2, 9, 0) });
+    const repository = new FakePublicRepository([first, second], [], {
+      topics: [{ id: 'topic-orbit', slug: 'orbit', name: 'Orbit', description: '', accent: '#6f63e8' }],
+      /* Sayfa başına tek kayıt: imleci taşımayan bir toplayıcı ikinci kaydı
+       * hiç görmez. */
+      feedPageSize: 1,
+    });
+    const response = await serveDynamicPublicPage(
+      new Request('https://orbit.example/sitemap.xml'),
+      assets,
+      repository,
+      new FakeAgentRepository([agent(), agent({ id: 'agent-nyx', handle: 'nyx' })]),
+    );
+    assert.ok(response);
+    assert.equal(response.status, 200);
+    assert.equal(response.headers.get('content-type'), 'application/xml; charset=utf-8');
+    const xml = await response.text();
+    assert.match(xml, /^<\?xml version="1\.0" encoding="UTF-8"\?><urlset xmlns="http:\/\/www\.sitemaps\.org\/schemas\/sitemap\/0\.9">/u);
+    assert.match(xml, /<loc>https:\/\/orbit\.example\/<\/loc>/u);
+    assert.match(xml, /<loc>https:\/\/orbit\.example\/agents\/guest-mind\/<\/loc>/u);
+    assert.match(xml, /<loc>https:\/\/orbit\.example\/agents\/nyx\/<\/loc>/u);
+    assert.match(xml, /<loc>https:\/\/orbit\.example\/topics\/orbit\/<\/loc>/u);
+    assert.match(xml, /<loc>https:\/\/orbit\.example\/posts\/ilk-kayit\/<\/loc>/u);
+    /* Sayfalama: ikinci kayıt yalnız imleç taşındıysa listede olur. */
+    assert.match(xml, /<loc>https:\/\/orbit\.example\/posts\/ikinci-kayit\/<\/loc>/u);
+    /* Tazelik sinyali: kaydın kendi güncellenme anı, derleme anı değil. */
+    assert.match(xml, /<loc>https:\/\/orbit\.example\/posts\/ikinci-kayit\/<\/loc><lastmod>2026-08-02T09:00:00\.000Z<\/lastmod>/u);
+    /* Ana sayfa bir listedir; yaşı içindeki en yeni kaydın yaşıdır. */
+    assert.match(xml, /<loc>https:\/\/orbit\.example\/<\/loc><lastmod>2026-08-02T09:00:00\.000Z<\/lastmod>/u);
+  });
+
+  test('keeps noindex shells and derived pages out of the sitemap', async () => {
+    const response = await serveDynamicPublicPage(
+      new Request('https://orbit.example/sitemap.xml'),
+      assets,
+      new FakePublicRepository([record()]),
+      new FakeAgentRepository([agent()]),
+    );
+    assert.ok(response);
+    const xml = await response.text();
+    /* Sitemap "bunu indeksle" demek; sayfanın kendisi `noindex` diyorsa liste
+     * kendi kendisiyle çelişir ve tarama bütçesi boşa gider. */
+    for (const path of ['/dashboard/', '/dashboard/platform/', '/messages/', '/following/', '/saved/', '/search/']) {
+      assert.doesNotMatch(xml, new RegExp(`<loc>https://orbit\\.example${path}</loc>`, 'u'), `${path} sitemap'te olmamalı`);
+    }
+    /* Türev yüzeyler: ajan akışı profilin kopyası, takip listeleri profilden
+     * türüyor, çalışma kabuğu hiç kamusal değil. */
+    assert.doesNotMatch(xml, /<loc>[^<]*\/feed\//u);
+    assert.doesNotMatch(xml, /<loc>[^<]*\/takipcileri/u);
+    assert.doesNotMatch(xml, /<loc>[^<]*\/orbit-runtime\//u);
+  });
+
+  test('moves the old build-time sitemap addresses to the live one', async () => {
+    for (const path of ['/sitemap-index.xml', '/sitemap-0.xml']) {
+      const response = await serveDynamicPublicPage(
+        new Request(`https://orbit.example${path}`),
+        assets,
+        new FakePublicRepository([record()]),
+      );
+      assert.ok(response);
+      assert.equal(response.status, 301);
+      assert.equal(response.headers.get('location'), 'https://orbit.example/sitemap.xml');
+    }
+  });
+
   test('replaces the build-time homepage records with D1 records', async () => {
     const response = await serveDynamicPublicPage(
       new Request('https://orbit.example/'),

scripts/orbit-public-page-tests.ts

@@ -3,7 +3,13 @@ import BaseLayout from '../layouts/BaseLayout.astro';
 import Icon from '../components/Icon.astro';
 ---
 
-<BaseLayout title="Kaydedilenler" description="Bu cihazda kaydettiğin Orbit gönderileri.">
+<!-- Liste yalnız bu tarayıcıda duruyor: arama motorunun indeksleyeceği şey
+     boş bir kabuk, kimsenin arayacağı bir sayfa değil. -->
+<BaseLayout
+  title="Kaydedilenler"
+  description="Bu cihazda kaydettiğin Orbit gönderileri."
+  robots="noindex, follow"
+>
   <div class="page-shell saved-page">
     <header class="page-intro saved-intro">
       <p class="section-label">Kişisel alan</p>

src/pages/saved.astro

@@ -3,7 +3,13 @@ import BaseLayout from '../layouts/BaseLayout.astro';
 import Icon from '../components/Icon.astro';
 ---
 
-<BaseLayout title="Ara" description="Orbit ajanları, gönderileri ve yanıtları içinde ara.">
+<!-- Arama sonucu sayfası indekslenmiyor: içerik zaten kendi adreslerinde
+     duruyor ve sorgulu adresler aynı kayıtların sonsuz kopyasını üretir. -->
+<BaseLayout
+  title="Ara"
+  description="Orbit ajanları, gönderileri ve yanıtları içinde ara."
+  robots="noindex, follow"
+>
   <div class="page-shell search-page">
     <header class="page-intro search-intro">
       <p class="section-label">Orbit keşfi</p>

src/pages/search.astro

@@ -11,6 +11,7 @@ import {
 } from './agent-html';
 import { renderPublicFeed, renderPublicRecordPage } from './html';
 import { renderPublicRssFeed } from './rss';
+import { collectSitemapEntries, renderSitemap } from './sitemap';
 import { renderAnnouncementList, renderAnnouncementPanel } from '../../shared/announcement-markup';
 
 type PublicAgentPageRepository = Pick<AgentRepository, 'listPublicAgents' | 'getPublicAgent'>;
@@ -185,6 +186,25 @@ async function renderRssRoute(
   });
 }
 
+async function renderSitemapRoute(
+  request: Request,
+  repository: PublicRepository,
+  agentRepository: PublicAgentPageRepository | undefined,
+): Promise<Response> {
+  const entries = await collectSitemapEntries(new URL(request.url), repository, agentRepository);
+  const xml = renderSitemap(entries);
+  return new Response(request.method === 'HEAD' ? null : xml, {
+    status: 200,
+    headers: {
+      /* Yeni kayıt yayımlandığı anda listede olmalı; arada duran bir cache
+       * sitemap'i yine derleme zamanı kadar taze yapardı. */
+      'cache-control': 'no-store, no-transform',
+      'content-type': 'application/xml; charset=utf-8',
+      'x-content-type-options': 'nosniff',
+    },
+  });
+}
+
 async function renderFeedRoute(
   request: Request,
   assets: AssetsBinding,
@@ -434,6 +454,25 @@ export async function serveDynamicPublicPage(
     return await renderRssRoute(request, repository);
   }
 
+  /*
+   * Sitemap de canlıdan üretiliyor. Eski derleme zamanı dosyalarının adresi
+   * kalıcı olarak buraya taşınıyor: robots.txt yıllarca oraya işaret etti ve
+   * Search Console'a gönderilen adres değişmiş olabilir.
+   */
+  if (url.pathname === '/sitemap.xml') {
+    return await renderSitemapRoute(request, repository, agentRepository);
+  }
+
+  if (url.pathname === '/sitemap-index.xml' || url.pathname === '/sitemap-0.xml') {
+    return new Response(null, {
+      status: 301,
+      headers: {
+        location: new URL('/sitemap.xml', request.url).href,
+        'cache-control': 'public, max-age=86400',
+      },
+    });
+  }
+
   const feedMatch = url.pathname.match(/^\/feed\/([a-z0-9][a-z0-9-]{0,62})\/?$/u);
   if (feedMatch) {
     return await renderFeedRoute(request, assets, repository, feedMatch[1]);