y-matsui::weblog

電子楽器、音楽、コンピュータ、プログラミング、雑感。面倒くさいオヤジの独り言

一人プロジェクト

何気にできた気がするー

SerialPortTerminalとDirectShow.NETで静止画キャプチャのwebcamCaptureImageをごにょごにょして、GPSCameraが出来た。 GPS受信機でUSBから取得した緯度経度情報を、WebCameraから取得した動画イメージのキャプチャ画像と合わせてExif出力する。 移動体に搭…

動画カメラでキャプチャした静止画にEXIF(緯度経度)を埋め込む実験

s.h.logさんのDirectShow.NETで静止画キャプチャ のサンプルプロジェクト”070104_1130_WebcamCaptureImage.zip”を元にして、動画カメラからJPEGを生成して、EXIF情報を付加するテストプログラムを作った。 元々EXIF情報が無いJPEGに、EXIFを追加する方法につ…

GPS Terminal出来た(パクリ)

#region Coad's CodeのSerialPort Terminalを拝借して、ちょっとだけカスタマイズ。 GPS受信機の出力から、日本時間、緯度経度(百分率)、精度情報、衛星捕獲数などを出力する。 →C#(Visual Studio 2008 ExpressEdition)のプロジェクトファイル 元となっ…

ND-100の精度をチェック

GPSDGPS.COMで頼んでいたND-100 GPS USBドングル GPS受信機が到着した。 付属のユーティリティで得られる座標(度、分、秒)を、WebKANZKIの変換ツールで百分率変換して、GoogleMapで表示してみた。南方向に20mくらいずれたり、北に20mくらいずれたりする。…

他で取得した緯度経度をGoogleMap上で表示する際のずれについて

GoogleMap(ゼンリン地図)と国土地理院の変換プログラムで割り出した世界測地系緯度経度のずれについてGoogleMapsの記事を見つけた。 2005年の記事なのでどうかなと思うが、GoogleMap内で完結する話としてではなく、今回自分がやっているように、国交省の情…

JNS住所認識システムでアドレスマッチング

JNSメンテナンスツールに、街区レベル位置参照情報CSVデータを読み込んでデータベース化。 各都道府県単位でひとつのDBとした。(全国をAccessDBに入れられるサイズではないから) 次に、200件のレコードがある住所録を用意して、JNS住所認識システムでアド…

私家版:geocodingの精度比較

複数のgeocodingサイトで結果を比べてみる。テスト方法は、簡単。自宅住所をピンポイントで正確に落とせるかどうか。住所の書き方は、[漢数字]丁目+数字ではなく、*-**-**みたいな数字表記にした。市区町村なども省略しないで正確に。住所正規化によるブレが…

自前でgeocodingするための準備

gisでユーザデータを登録するにあたり、まず最初に欲しいのはgeocoding機能だと思う。 CADユーザや、GISユーザであれば、図形データのコンバート(相互運用)機能が大事だろう。 しかしポリラインやポリゴンなんていう世界は、そもそも作図の段階からシビア…

Javascriptだけで動作するデータベース(クロスブラウザ対応)

「Webブラウザ上で完結動作するデータベースアプリケーションを作るぞ!」というわけで1人プロジェクトが久々に始動。 Webブラウザで検索と言えば、”データバインドとDHTML”を使うか”XML、XSLT、DOM”ってな感じだったのだが、「CSVで配列を読み込んで、SQLが…

ワードネットのテスト中

さまざまな情報を飲み込みながら、ワードネットが成長している。 単語レコードが24万件、ノードレコードが52万件である。 良くもまぁ、ちまちまと登録したものだ。 ・・・といっても、登録ツールの方をいろいろと修正しているので、ちっとも意味のある単語ネ…

e-ラーニング的な何か

検索システムをカスタマイズして、簡易的eラーニングを実現してみようと思い立つ。 データベースで動画やPDFマニュアルなどのコンテンツを検索・参照し、参照の履歴をログとして保存する。ユーザのレベルによって、履修プログラムを構成する部分や、テストな…

情報 可視化

私の近傍サイトマップ このようにWebの情報の可視化を行うことを海外ではWebviz(Web+Visualization)と呼んだりする。WebVizで有名なものには、 3D Hyperbolic Spaceや2D Hyperbolic Treeの技術がある。これはWeb可視化の流行の始まりだったような気がする…

メールログ可視化のニーズって・・・なし?(T_T;)

所属部門の部長に見せてみた。 結果→「面白いねぇ。ニーズあるんじゃん?」 気をよくして自社の社長に「面白いものあるよん!」と突撃してみた。 結果→反応なし 次に某顧客のシステム担当にメールでお知らせしてみた 結果→今はニーズなし。 「うぅぅむ、反応…

メールログの可視化:機能追加など

だんだん実用的になってきた。 ■機能追加 ・表示内容の選択 →表示させるノードを”受信トラフィック”、”送信トラフィック”、”送受信共”から選択できるようにした ・センターマーカーの追加 →IDを指定しない検索の場合に、中心位置が分かるようセンターを表示…

メールログの可視化:qmailのログ加工

qmailのログ可視化に対応するため、service/qmail/log/main/の下のログを確認してみる。 ログの名前はこんな感じ→@40000000436ad4762a58eb64.s 中を見ると、早速独自路線爆発!。 タイムスタンプがTAI64N形式と呼ばれる、原子時間 @ITの記事やここを見ながら…

メールログ可視化:ちょっとした改良

日々のデータ登録を少しでも楽にしようと、ちょっとした改良を行った。 ・maillogから日付を取り出して、アドレスレコードとノードレコードの最終更新日時として登録するよう処理を追加。 →ある日付範囲で送受信されたトラフィックのみを検索結果にできる。 …

メールログの可視化〜完成

メールログの可視化が完成した。 ノードの重み順で、中心に近いところに位置し、ノード間の重みで引き合う。 イメージでは、それぞれの重みが勝手に最適化され、いくつかのクラスターを構成するはずだった。(より密接にメール送受信している人が勝手にグル…

メールログ可視化の夢

■リアルタイムやバッチ処理対応 とりあえずsendmailのmaillogをローカルで処理する仕組みを作ってみたわけだが、本来ならsendmailがログを吐く際にperlのスクリプトなどに直接投げるなどして、リアルタイムに集計できるといいなと思っている。 もしくは、リ…

メール送受信の可視化〜DB書き込み

前回、maillogを読み取り、IDの照合によりFromとToの対応一覧を作成、ファイルに書き出すところまでできた。 今回は、このFrom、To一覧からメールアドレスレコードとノードレコードをDBに書き込む。 ノードは、From→Toのパターンしかないのだが、メーリング…

次にネットワークグラフで可視化するのはコレだ!

かねてからネットワーク図として表現したかった”人のつながり”グラフ とうとう開始することに決めた。 注目するのはメール送受信の履歴。メールサーバのログを使っちゃおうという安易な発想。 ■仕様 ・ネットワーク描画に必要な情報は、tbl_userとtbl_nodeと…

VBScriptとJScriptが混在したASP

簡易形態素解析(オリジナルはここ)のJavascriptを、サーバサイドで使いたかったという理由で、Javascriptをサーバサイドで実行して、同じくサーバサイドのVBScriptと値をやり取りする”邪道な”やり方を試している。 クライアント処理が非常に高速だったので…

キーワードマップ改良

キーワードマップをさらに改良。 単語の出現頻度に応じてフォントサイズを変化させることと、幅の自動調整など見た目の調整がメイン。なかなかポップな仕上がり。スライダーやscript.aculo.usのエフェクトもいい感じ。

キーワードマップ

キーワードマップ(IE,FireFox)が出来てきた。 辞書登録ツール(簡易形態素解析&登録)はこちら 一度に30個以上の単語を表示させると、CPUパワーが100に張り付いてしまうなどの問題(汗)があるものの、一応所望の結果ということで、とりあえず公開しちゃう…

自動抽出した特徴キーワードで自己組織化タグクラウド(ワードマップ)

Lingua-JA-Summerize-0.06のShift-JIS動作で、俄然勢いに乗るサラリーマン1人。 今度は、データベースに単語レコードと、単語と単語のつながりレコードを保存し、自己組織化するタグクラウドとして表現してみる。Make_Keyword.cgi テキストエリアにペースト…

Lingua-JA-Summerize-0.06のShift_JIS動作

Lingua-JA-Summerize-0.06のShift_JIS表示および他スクリプトへのPOSTに成功。 Lingua-JA-Summerize-0.06が、euc以外の指定を出来るようになっているので、内部エンコーディング、mecabエンコーディングともにsjisを指定。cgiをsjisで保存し直して、encodeHT…

特徴キーワードの精度を調査してみた

Lingua-JA-Summerize-0.06による自動キーワード抽出で、文書から特徴キーワードを抽出できることは分かったが、それなら「特徴キーワードから、適切に文書を絞り込めるのか?」気になるではないか。 早速、news.google.co.jpの記事を無作為に選んで、抽出し…

Lingua-JA-Summerize-0.06による自動キーワード抽出

Windows2000,ActivePerl環境で、Lingua-JA-Summerize-0.06が動いた! Lingua-JA-Summerize-0.06で、抽出した単語を、aspプログラムにポストして、受信するところまでは確認が出来た。 今後(明日かな?)は、euc-jpでポストされた文字をasp側でshift-jisなど…

GoogleMiniのインタフェースカスタマイズ

GoogleMiniは、Googleそっくりだ。当たり前だ。 しかし、インタフェースが物足りない。汎用的な設計が素晴らしいのであるが、どうしてもフォルダツリーメニューや、グラフィカルな検索が出来る方が良い。 素晴らしいことに、GoogleMiniは、RESTで設計されて…

全文検索キーワードの決定に形態素解析を役立てる

全文検索のキーワード選択は、結構難しい。 どこような単語が使われているかを、想像できれば的確な結果が得られるが、そうでない場合は多くのページを目で見て判断する必要がある。複数の単語を指定することにより、より絞り込めるようになっているものの、…

スクリプトからバーコード付きのPDF帳票を生成してみる

FDFを使って、WebスクリプトからPDF帳票を生成する・・・を以前、PHPのインターネットアプリでやったことがあるが、今回は、イントラネットのASPアプリでやってみる。そう、いつぞやの文書・図面管理システムの追加機能として。情報をDBとファイルシステムで…