タグ: 検索エンジン

前回のAPIを利用して、Yahoo ! Japan の「ビジネスと経済」配下のカテゴリID、カテゴリ名を取得しました。全部で９、０５７カテゴリとなりました。（あってるかな？）約１時間かかりました。
プログラムは、PHPで、関数を再帰呼び出しにして、GETしたのですが、カテゴリLINKを参照した時、再度、同じカテゴリLINKが存在することがあり、結局無限LOOPでおバカなことをやってしまった。。
カテゴリLINK配下は探索しないようにしてOKとなった。現在生データのままで、カテゴリID階層とカテゴリ名の紐付けを作成中。
その後、ODPのビジネスディレクトリとのカテゴリ自動リンクを作成するかもしれない。（未定）

さて、昨日も、http://stest01.dev.yahoo.co.jp:10080/cmtool/workingtable.
php?command=Update&page=4&status=109&code_ｘｘｘｘｘｘｘｘ=100&…以下IDが２０個ほど続くリファラーが残っていた。
ｘｘｘｘｘｘｘｘは、カテゴリIDだと思われるのですが、これをカテゴリ名にAPIで変換してみて調べてみても、www.picolix.jpとは何の接点もございません。Yahooさん、なんなのでしょうか？

Yahoo! Japanから「Yahoo!カテゴリWebサービス」なのが2/28にリリースされていたのですね、知らなかった。
yahooからいろんなAPIが出ていますが、過去、特に使って見たいとは思わなかったのですが、「このYahoo!カテゴリWebサービス」はComSearch企業検索で利用価値がありそうかも。
現在、ComSearch企業検索は、Google map APIを使って、上場企業住所からMAPを生成しています。
例）
ヤフーのGoogle MAP
で、この「Yahoo!カテゴリWebサービス」に気づいたのは、http://stest01.dev.yahoo.co.jp:
10080/cmtool/workingtable.php?command=Update&page=4&status=109&code_2078361141=
100&code_2078308363=101&code_2075127796=100&……
というような、アクセスログが残っており、何かなと思って調べ回っていたのですが、（結局不明）
http://developer.yahoo.co.jp/category/browse/V1/browse.htmlを見ると、
code_以下の数字は、YahooのカテゴリIDだということがわかりました。
このIDから実際のYahooディレクトリを導くには、
http://api.dir.yahoo.co.jp/Category/V1/Category?appid=100010001&id=2077241654
というようにします。
（appid=100010001は、自分の登録IDです。）
そこで、自分のwww.picolix.jpは、いつYahoo! Japanのカテゴリに登録されたかを調べてみると、
http://api.dir.yahoo.co.jp/Category/V1/Category?appid=100010001&path=/Computers_and_Internet
/Software/Internet_and_Networking/Internet/Picolix/
↑のレスポンスは、
<Item>
<Type>site</Type>
<Title>PicoLixホームページ</Title>
<JTitle>PicoLixほーむぺーじ</JTitle>
<Url>https://www.picolix.jp/</Url>
<ClickUrl>http://srd.yahoo.co.jp/API/appid=100010001
/SS=2078426751/SIG=10rtde58h/*-http%3A//www.picolix.jp/</ClickUrl>
<Summary>Webページの画像キャプチャー、送信専用メーラー、Pingユーティリティ等の配布。</Summary>
<Created>19980210</Created>
<New>0</New>
<Cool>0</Cool>
</Item>
で、1998年2月10です。（当時は、プロバイダーのURLで、後でwww.picolix.jpに移転しました。）
1998年ってもう６年も前ですね。

googleの検索結果を記載した方法のリファラースパムがやたらにくるようになった。
リファラーが、http://www.google……&q=xxxxxでxxxxxに該当の商品（アダルト）が記載されているもので、これを検索して、そのTOP1がアダルトサイトというわけです。アクセスログに残るだけなら放置するのですが、当方、検索キーワードをログから毎日収集し、その結果を配信しているので非常に困りものです。
http://search.picolix.jp/index.rdfで、アダルトキーワードを弾いても、またあらたな商品（ビデオのタイトル？）
が発表され新たなキーワードが発生し、いたちごっこになり、しょうがないので、その検索パターン全部を弾くようにしました。今のところ有効。

競馬検索エンジン 競馬Ownersで、サイトキャプチャーツール CrenaHtml2jpgを使って頂きました。ありがとうございます。
ここは、文字通り「競馬」専門ですが、ＴＯＰページは、「話題サーチ」「ランキング」「ニュース」等
レイアウト的に非常に見やすく構成されています。
余談ですが、今は競馬はしておりませんが、ずっと以前１０年ぐらい前か？ＪＲＡのモデムで馬券のオンライン投票できるシステム（名前は忘れました。）を使ってました。
当時は、このシステムに参加するには、抽選で全ての人が参加できず、権利はプレミアものになっていたような、なかったような記憶があります。

「オープンリブラ」素材カテゴリ-OpenLibraで、サイトキャプチャーツール CrenaHtml2jpgを使って頂きました。ありがとうございます。

asahi.comで、ＲＳＳのニュースを配信していますが、これを自動取得（１０分毎）して、ComSearchのトップページにつけて再配信したのですが、とりあえずＯＫかどうかasahi.comさんにメール連絡しました。
最終的には、asahi.comから確認の電話連絡がきて以下の内容でした。
サイト自体が個人サイトで無料サイトなら、今回の利用形態は構わないとのことでしたが、アフィリエイトとかGoogleのAdsense等、収益を得ようとしているサイトでは、有料とのことでした。

ComSearchでは、設置したページには、一切、アフィリエイト、GoogleのAdsense等を貼っていなかったのですが、サイト内の他のページでは広告が貼られているということで、有料になるということでした。
まあ、確認せずに設置しても、弱小サイトであるComSearchでは問題ないと思いますが、asahi.comのニュース再配信はあきらめました。
その他で、どこかいいところがないか探したところ、jetrunがあります。
表示したい関連キーワードを指定することで、上位５つまでのトピックスの見出しの一部分を配信してくれます。結構、関連のあるトピックスが表示されますのでお気に入りです。
カスタマイズは自由で、ComSearchでは、検索窓を削除して利用させてもらってます。
ただ、時々無配信状態になったり、エラーになったりするので、（トピックスの変わり目に発生する模様）
別途、サーバから定期的に取得して、データがあれば更新し、トップページにＳＳＩでインクルードするようにしています。

Google mapからのアクセス
ログを見ていると、最近Google mapからのアクセスがあり調べてみると、Google Mapの「お店やサービスを検索」での検索結果の関連情報として、ComSearch企業検索の上場企業データにリンク情報として、表示されているのが分かりました。
[A] Google Mapの「お店やサービス」で場所を検索

[B] ピンをクリックした時の表示：関連情報も表示されます。

[C] 当方のComSearchでの同様の住所での位置表示

ComSearchの上場データは、住所の他に、サイト内容を記載しているのですが、それが関連情報としてgoogle mapに拾われたようです。
で、当方のComSearchでも、住所から、緯度、経度(世界測地系)を算出し、Google Maps APIを連携させてGoogle Mapsを表示しています。
[A]のGoogleでの表示位置[C]の当方の表示とほぼ一致しています。（まあまあのできです。）

参考：APIにおける世界測地系

ComSearchをビジネスエクスプレスを利用して、Yahoo!のカテゴリー登録(52,500)にチャレンジ(2006/1/13)してみました。
今回、カテゴリ登録する一番大きな目的は、大手検索エンジンからの、ロボット巡回及びインデックス化を確実なものとするためです。
カテゴリからのアクセス、登録によるページランクＵＰなどは特に気にしておりません。（これだけだと５万は高いですが、まあ保険だと思うことにします。申請却下だと痛いですが。）
さて問題は、ComSearchは非商用サイトです。ビジネスエクスプレスは商用サイトでないと審査してもらえません。
そこで、商用サイトに仕立てあげるべく案内ページに、有償サービスを記載しました。
結果、無事思っていたカテゴリ[ビジネスと経済 > リンク集と総合情報 > 企業 ]に登録(2006/1/17)されましたが、
まったく想定外のことが付随して起こりました。（良いのか、悪いのか　影響度は不明）
＝＞次エントリーにて。

想定していたこと。
１．[申請却下]商用サイトとしてみなされないかもしれない。
２．[申請却下]商用サイトとみなされても、リンク集・ディレクトリ検索なので独自コンテンツとしてみなされないかもしれない。
３．[申請却下]なんらかの軽微な指摘事項がある。（この場合は多分、手直しで対応可能か？）
４．[申請受理]登録されたとしても、企業のサービスの深い階層もしくは、地域情報のみに登録されるかもしれない。
５．[申請受理]ビジネスと経済 > リンク集と総合情報 > 企業に登録されること。（これがベストです。）
　多分３．又は４．になるのではないかと思っていました、４．の場合は再審査を申請して、カテゴリ変更を依頼する手はずでした。

株式会社クロスリスティング、リスティング広告配信開始ディレクトリ検索の提供、登録審査サービスも同時に開始した。
ディレクトリ登録（有料）すれば、「エキサイト」「ｇｏｏ」に記載されることになります。
ディレクトリ登録の対象は、商用サイトのみとなっています。
■株式会社クロスリスティング
事業内容
１）検索連動型広告事業
２）ディレクトリ型検索エンジン提供
３）有料ディレクトリ審査
エキサイト株式会社　６６．６％
ＮＴＴレゾナント株式会社　３３．４％

フレッシュアイ、ルックスマートとの広告配信契約を終了[SEM ilog]
ということで、フレッシュアイにアクセスしてみたところ、Jリスティングに切り替わっていました。
Jリスティングの案内では、近日中に大手ポータルサイト２社との提携があるとホームページで発表しいます。残り１社はどこか？