senchou このページをアンテナに追加 RSSフィード

この日記は外部に公開されております。メンバーの公開、非公開は 参加者一覧ページ(参加者のみ閲覧可能)にて確認してください。グループモードにすると参加者のみに公開されます。

2005-12-27

あしか 17:04

http://tbcenter.g.hatena.ne.jp/task/

はてなグループにTodo管理機能みたいなのが出来ましたよ。

とりあえず適当に利用してみました。

トラックバック - http://tbcenter.g.hatena.ne.jp/senchou/20051227

2005-12-19

クリップ 00:35

http://tbce.org/clips/today.php

β版に向けた習作。

こんな感じで行きたいという話。

ソースを見ると悲惨というか凄まじいので見ちゃ駄目だ

トラックバック - http://tbcenter.g.hatena.ne.jp/senchou/20051219

2005-12-11

MM/MemoのRSSタイトルの『』が、、、 08:36

id:momdoさんがちょこっと言っていたネタ。


MM/memoのタイトルの文字列は丁寧に『』で囲まれていたりする。

邪魔なので、、、とりあえず削除してみますかね。

$title = preg_replace("^『.*』$","\\1",$title);

とか?よくわかってない(しかも試してもいない)


格納時点で削除?表示時点で削除?

よくわかってない


reference

http://homepage2.nifty.com/sak/w_sak3/doc/sysbrd/php_k09.htm

http://phpspot.net/php/pg%90%B3%8BK%95%5C%8C%BB%82%C5%95%B6%8E%9A%97%F1%92u%8A%B7.html

197219722005/12/14 00:41お久しぶりです♪
データに含まれるゴミは格納時点で排除するのが基本です。私もきちんとやってない部分があるんですが^^;

senchousenchou2005/12/14 19:36おお、情報感謝です。
格納部分のmagpie辺りのソースとにらめっこしてみます。。

トラックバック - http://tbcenter.g.hatena.ne.jp/senchou/20051211

2005-12-10

表示時刻の問題 18:41

http://d.hatena.ne.jp/americanboss/20051209#p3

チェックした時間より前の日時に記事が入り込むってのはやっぱり不便

現在の仕様。

  1. RSSを取得する際にアイテムのdc:dateを取得してそのまま表示。
  2. 巡回時刻(timestamp)も一応記録しているが、表示はしていない。
  3. CRONの巡回は一時間に一回(Xreaの仕様)

同じ巡回時刻で取得したアイテムの時刻がかなり近い時刻になっちゃうのが苦しい所ですね。

1秒差とか3秒差とかで密集してしまう。


さて、どうしたら良いでしょう(ぇ


とりあえずRSSを吐くようにすれば、RSSリーダーが勝手に新着判断をしてくれるんじゃないかな、と無責任な話をしつつ、

現状のHTML表示はだめ、ってことが、再確認されました。。。


最優先事項

  1. とにかくRSSを吐く。

ゴニョゴニョ 06:59

てゆーか、プログラムなんぞ作った事無い俺が、あれもこれもやろうと思うと、破綻は目に見えているw

ということで、落ち着いて一旦止まってみた。

まずは仕様を先に決めようじゃないか。つーわけでどないしまひょ。。。


1.RSSを何個監視するか

何人かの意見を聞いたところ、目指すクリッパーの人数に関しては、かなり見解の相違がありそうです。質と量の兼ね合いという面もあるので、この話は何らかの形で統一見解を出したいかなと。

私は負荷が許せば30人くらいをイメージしてたりします。ただ、10人以内くらいと考えるのも当然と言えば当然なので、御意見などお寄せくださいませ。

内部の人間だけでやるなら、もう一個データベースを用意すれば良いと思うので、また別の話ってことで。

※※

現状では9人。トラセンメンバーのほかに、

b:id:baji

b:id:umatoneko2

b:id:umanusi

のデータを監視しています。3人にはそれぞれ転載の許可を頂いております。


2. 出力HTMLをどうするか

何せ私がプログラム自体素人なので、色々制限がかかっておりますが、

とりあえず見せ方の候補として、

  1. 時系列シンプルリスト風味(現在のトップページの状態)
  2. 日付別区切り(ニュースサイト風味。id:momdo:20051208:p1
  3. クリップ数順表示(複数クリップされたリンクのみ表示)

という並べ方に関する話と、

  1. コメントを表示するかどうか

というちょっと違う次元の話もあります。


参考

http://tbce.org/clips/rss1.php

http://tbce.org/clips/index2.php

http://tbce.org/clips/beta/rss.html


3. RSSの出力

これはまぁ私以外は興味が薄そうなんで(御意見があれば是非)

  • 重複削除バージョン(RSS1.0)
  • 重複無しバージョン(RSS2.0)。
  • 2usersバージョン(RSS1.0、これがメインか)。
  • ブックマーカーのOPML

位でいいかな。

まぁ適当に。

HTMLバージョンのリスト形式は完成しているので、見せ方を変えるだけ。

OPMLは正直おまけ気分。

4. さらなるおまけ

feed on feedsのスクリプトはGPLなんで、一応これもソースを出しておきたいかな。

気分的に。

ということで管理画面辺りに認証機能でもくっつけようかなと適当に模索。

トラックバック - http://tbcenter.g.hatena.ne.jp/senchou/20051210

2005-12-09トラセン競馬ニュースクリップスクリプトα-4の仕様等

1. feed on feeds について 20:41

1-1. これは何?

http://feedonfeeds.com/(英語)

オンライン上で簡易RSSリーダーを実現するPHPスクリプトです。

GPLで配布されています。

動作させるためにはPHPとMySQLが必要です。


1-2. 何が出来るか

ブログ等のRSSを取得して、データベースに格納していきます。

そして必要に応じて、更新時刻やタイトル情報や概要などを取り出せます。

CRONが動作すれば自動巡回が可能です。



1-3. で?

トラセン競馬ニュースクリップは、このスクリプトを利用しつつ自前の改造を加えています。

http://tbce.org/clips/


2. トラセン競馬ニュースクリップについて 20:41

2-1. これは何?

http://tbce.org/clips/

競馬ブックマーカーのRSSを転載許可を貰った上でデータベースに格納し、適宜表示するPHPスクリプトです。

feed on feeds を改造して、RSS取得部分を流用しつつ、表示部分は独自に作り直しています。

現在α-4、今後諸々変更が加えられます。


2-2. 何が出来るか

feed on feeds を流用していますので、自動巡回でRSSをデータベースに格納しています。

つまり、一度動き出せば、その後は全自動です。

表示部分は現在作成中ですが、かなり自由自在な表示が可能かと思われます。


2-2-1. 既に実現している事
  • 重複したURLを無視する機能。(同じリンクが複数表れないように。)
  • クリップした人数でリンクをフィルタする(2人以上がリンクしたら「注目URL」とみなすなどの機能に利用したい。)

2-2-2. 今後実現したい事
  • クリップされた人数順(注目度順)にURLを並べ替える。
  • リンクごとにコメントを一覧表示。
  • 日付ごとにリンクを一覧表示(似非ニュースサイト風味)
  • RSSを出力。

その他アイディア募集中です。どしどしお寄せくださいませ。

(実現できるかどうかは別としてw)


3. 目的、動機、等等

  • 競馬ニュースを複数の人間が手動で登録する事で、質の高いニュースを配信できる気がする。
  • 複数の人間が同じリンクを登録すれば、注目URLが抽出できる気がする。
  • はてなブックマークの場合、誰でも参加できるので、競馬タグの質が継続的に維持できるとは限らない。自前で収集すれば、クリップする「人物」で選べるので、質の維持が期待できるかもしれない。
  • 再構成したRSSを出力する事で、情報の再利用が可能になるかもしれない。
  • 再構成したRSSを利用して、トラセントップページに「ニュース」のコーナーが作成可能かもしれない。
  • 注目URLなどを貼り付けjavascript=ブログパーツ的に配信する事も可能かもしれない。



3. トラセンクリップスクリプトの技術ネタ 20:45

(ごく一部の人を除いて読み飛ばし推奨)

3-0. 改造点(弄る人には重要)

content:encodedを無視するように改造している。

元来の仕様では、RSSのitem要素にcontent:encoeded要素が含有されている場合は、descriptionをcontent:encodedで上書きした上でMySQLに格納する仕組み。

だが、ソーシャルブックマークにおいては、descriptionを無視されると、ブックマークのコメントが取得できなくなる。

そのため、content:encodedを格納する分岐を削除し、常にdescription要素を取得するように変更した。

(init.php)


id:arikuiさん向け。

上記のようなごく一部の改造を除いて、元と同様に稼動してもらっております。

格納部分は元のスクリプトをほぼ流用。

表示部分は全部自前で。

というコンセプトです。


3-1. feed on feedsの仕組み

3-1-1. RSSをMySQLに格納する仕組み
  1. CRONでupdate-quiet.php発動。
  2. RSSを取得してmagpieRSSのパース機能で各要素を配列に叩き込む。
  3. MySQLに接続して重複チェック
  4. 新しいitemがあれば、item毎にデータを追加する。一アイテムで一レコード。
3-1-2. データベース構造

MySQLの構造は以下の通り。

table: px-feeds (RSSのアドレス等を登録してあるテーブル)
    id
    url (RSSのURL)
    title
    link (相手先HTMLページのURL)
    description
table: px-items (各アイテムを登録してあるテーブル)
    id
    feed_id (px-feedsテーブルのid)
    timestamp (アイテムをスクリプトが取得した時刻)
    link
    title
    content (content:encodedが無ければdescriptionが入る)
    dcdate (dc:date)
    dccreator (dc:creator)
    dcsubject (dc:subject 複数ある場合は全部一つになるので注意)
    read (既読フラグ。基本的に手作業でつける。)

追記中

トラックバック - http://tbcenter.g.hatena.ne.jp/senchou/20051209

2005-12-08

どうでもいいメモ 20:43

s137.xreaのpythonのバージョンは

2.3.3 (#1, Feb 5 2005, 16:30:27) [GCC 3.3.3 (SuSE Linux)]

確認用ソース

(拡張子.cgiで文字コードUTF-8Nの形で保存。705的な実行権限が必要)

#!/usr/bin/python
# -*- coding: utf-8 -*-
'''
使っているPythonのバージョンを表示する
'''
import sys
print 'Content-Type: text/html'
print
print sys.version
トラックバック - http://tbcenter.g.hatena.ne.jp/senchou/20051208

2005-12-01

[]ちょっとやる事溜まったんでTodo 02:09

  • クリップ(とりあえずαを出す)http://tbce.org/clips/
  • エアデールさんが作ってくれた正方形バナーを各所に適用。
  • tbsearch.cgiを弄ってトピック別リンク部分を修正→太古の昔にarikuiさんによって修正されていた。(id:arikui:20051128
  • サイトマップの作成
  • トラセン問い合わせ用メールフォームの作成(トラナビその他数箇所にフォームを置くイメージ)→id:momdoさんの降臨求む(ぇ→めんどくさいんで無し
  • 例の菊花賞音声を肴に、当時の思い出を語るポッドキャストをやる。(id:rosettastonejpid:yuta0210お二方に打診という話です。)→有馬直前に決行の模様。
  • 各種RSSの修正(content:encodedを入れたい)
トラックバック - http://tbcenter.g.hatena.ne.jp/senchou/20051201