7ネットショッピングの在庫修正

7ネットショッピングの在庫を調べるスクリプトが動いていない事に気づいた。

7ネットショッピングは更新が多めで過去に数回か変わっていて今回も変わっていたので修正したが、しばらくするとまた、取得出来なくなった。
cURLだと500を返すようなのでfile_get_contentsで取得するとうまいこと行った(原因が絞り込めてる訳では無いのでcURLのオプションを弄るとうまく動くかもしれない)

楽天amazonの様にAPIを用意してくれたら楽なんだけどな。

あと、「RSS Graffiti 2.0」でこのブログに書き込んだらfacebookに反映されるようにやってみた。

デバッグ

暫く更新が出来てなかったのですが先月からおかしい箇所が見つかったので修正作業をした。
主な修正内容は以下の通りです。
・「Hotmailにメールが送れない」の修正の為、空メールの入会が出来なくなっていたのを修正。
スマホ版のコミュニティやランキングの表示が変だったので修正。
・一部(主に書籍や廉価版のコミック)の作者名が空になっていたので修正。

久しぶりにmixiアプリ化も再開しようとしたら既に今の方法(REST)は古くて今はGraphを使うらしい・・・
今更作り直すのも大変だし新しい方法にするメリットが分らないのでとりあえず今の方法で進めていきます。

Hotmailにメールが送れない

ユーザーさんのご指摘でhotmailのメールが届いていないというという事が判明した。
DAEMONメールが届いていたので見てみると「Remote host said: 550 OU-001 (SNT0-MC3-F27) Unfortunately」とエラーコードっぽいのがあり、調べてみるとhotmailが懇意にしてるSpamhausIPアドレスブラックリスト入りしていてスパムメール扱いされていたようだ。
http://www.spamhaus.org/query/bl?ip=IPアドレス

SpamhausによるとXBLでひっかかってCBLという所でブラックリストしている事が判明し、CBLの英語のページをなんとか読んでみると「HELO localhost.localdomainなんて信用できない」ってみたいな事が書かれていて確かにReceivedにそういう記述があった。
http://cbl.abuseat.org/lookup.cgi?ip=IPアドレス

my-release.infoで使ってるqmailというメールサーバーの設定(/var/qmail/control/localsや/var/qmail/control/me)を
localhost.localdomainになってるのを独自ドメインに変更した。
変更出来たのを確認するとCBLで解除依頼をする。CBLの方の解除は即時反映された。
Spamhausに戻って、しばらく(15分ぐらい?)待つとこちらも解除が反映される。
さらにしばらく(30分ぐらい?)するとhotmailでも解除が反映され、晴れてhotmailから疑いが晴れました。

他のメールヘッダも調べてみるとReceived-SPF:noneSPFが設定されてない)という記述があり、
今のところ実害が出てるかは分からないがDNSを修正しSPF(電子メールの送信ドメイン認証)を設定しました。

Facebookページ

数ヶ月前から検索エンジンにひっからなくなって入会者数が停滞してるマイリリースです。
先日のamazonAPIの変更とか現状維持で精一杯な状態だったのですがFaceBookのファンページ作ってみました。
そもそもFaceBookがよく分かっていなかったのと、FaceBookの更新が頻繁な様で今のFacebookページの解説が見つからなかったりで結構時間がかかってしまった。

http://www.facebook.com/myrelease

発売日情報収集

amazonから発売日情報を収集するシステムが途中で止まってしまうようになった。

マイリリースではコミックと文庫以外はamazonの情報をまとめて取得し保存して使っており、先日までの情報収集方法はamazonAPIを使って、ジャンル(Binding)別の一覧で発売日の新しい順にデータを取得していき古くなったら次のジャンルという風に渡っていく作業をFlashで一定時間ごとにアクセスするようにしていた。

それが、途中でフリーズしてしまい情報を書き換えられなくなってしまった。
調べてみると、どうもFlash Playerのバージョンアップが原因で長時間かけて大量の情報を集めるとオーバーフローして時には暴走(メモリをガンガン喰っていく)したりしてしまうようだ。
古いパソコンで改廃する事にしてもいいのだけれど、10月26日にamazonAPIの仕様が変わってどのみち現状のままだと使えなくなるので、JavaScriptで作り直した。

新しいamazonの仕様ではItemPageが400ページから10ページに引き下げられた。今までだと適当なジャンルで検索しても4000(400×10)件で先月〜来月分ぐらいは十分にまかなえたが、100(10×10)件だと1つの出版社で一ヶ月分でも厳しい。
歯抜けを出来るだけ減らす為に、今までは上書きしていたデータも追加するようにし、更新頻度を上げて対応していくが、DVDとかCDがどこまですくえるのか不安だ。

myランキングの改善

myランキングにコメントをつけられる様にしました。
賑わってくれるとうれしいです。

あと、今までmyランキングのデータが個人情報のデータベースにくっついていたのでランキングの個数を制限せざるをえなくなっていたのを、データベースを分けたので個数制限を解除しました。