2016/02/18(木)Google Calendar のデータをXMLに加工して monthly.js に 流し込む

所属している草野球チームのHP制作を担当していて、「スケジュールを載せたい」という要望が来ました。数週間ぐらい前に「そういえば何かカレンダーをキレイに表示させるJSライブラリがあったよなぁ」と「monthly.js」思い出して、Googleカレンダーとこれを使って表示させることにしました。

練習場所まで全世界に公開するのも気持ちが悪いので、Googleのカレンダーは「非公開」の設定のままで、どうにか情報を取得するすべはないものかと調べると、OAuth2なGoogle Calendar API というAPIを使えばいいと載っていました。( OAuth2じゃないAPIもあるっぽいですが、実装が複雑になるのでOAuth2の方式がいいよみたいな情報が公式ドキュメントに書かれていた。うろ覚え。)

しかし、肝心のPerlの解説がない。(仕事ではRubyがメインですが、草野球のホームページぐらいの規模ならPerlで書きたい。)ライブラリ自体は「Google::API::Client」という名前でCPANに登録されているのでこれを使うことにしました。

client_secret.json みたいなファイルをGoogle APIのページから取得すると(詳細は「celient_secret.json google」でググッて)あとは、以下のコードで、初回時のみ手動で認証してリフレッシュトークンを取得すると、それ以降はよしなにしてくれます。(ずっとアクセスを待ち受ける必要があるWebアプリにも組み込めます。)

#!/usr/bin/env perl

use strict;
use warnings;
use utf8;
use feature qw/say/;
use open qw/:encoding(utf-8) :std/;
use JSON qw//;
use Time::Moment qw//;
use Google::API::Client;
use Google::API::OAuth2::Client;
use XML::Simple ();
use Cache::FileCache;
use DDP; # cpanm Data::Printer してね

my $myemail = 'xxx@gmail.com';
my $client_secrets_file = 'client_secret.json';
my $client = Google::API::Client->new;
my $gcal = $client->build('calendar', 'v3');
my $auth_driver = Google::API::OAuth2::Client->new_from_client_secrets($client_secrets_file, $gcal->{auth_doc});

my $dat_file = 'token.dat';
get_or_restore_token($dat_file, $auth_driver);

my $my_calender_id      = 'primary';
my $holiday_calendar_id = 'ja.japanese#holiday@group.v.calendar.google.com';

my $cache = Cache::FileCache->new({
    cache_root => '/tmp',
    namespace  => 'calendar',
});

my %cache_duration_of = (
    $my_calender_id      => '5s',
    $holiday_calendar_id => '7d',
);

my $now = Time::Moment->now;

my $first_day_of_month = Time::Moment->new(
    year   => $now->year,
    month  => $now->month,
    day    => 1,
    offset => 540, # +09:00(540分)
);

my $req_body = {
    timeMax => $first_day_of_month->plus_months(6)->to_string,
    timeMin => $first_day_of_month->minus_months(6)->to_string,
};

my $schedule = get_or_cache_event_items($my_calender_id);
my $holidays = get_or_cache_event_items($holiday_calendar_id);

my @events = (@{$schedule->{items}}, @{$holidays->{items}});

print make_xml(\@events);

exit;

sub get_or_restore_token
{
    my ($file, $auth_driver) = @_;

    if (-f $file)
    {
        open (my $fh, '<', $file) or die $!;
        local $/;
        my $access_token = JSON::from_json(<$fh>);
        close($fh);

        $auth_driver->token_obj($access_token);
    }
    else
    {
        my $auth_url = $auth_driver->authorize_uri;
        say 'Go to the following link in your browser:';
        say $auth_url;

        say 'Enter verification code:';
        chomp(my $code = <>);
        $auth_driver->exchange($code);
        store_token($file, $auth_driver);
    }
}

sub store_token
{
    my ($file, $auth_driver) = @_;

    my $access_token = $auth_driver->token_obj;

    open (my $fh, '>', $file) or die $!;
    print {$fh} JSON::to_json($access_token);
    close($fh);
}

sub get_or_cache_event_items
{
    my $calendar_id = shift;
    my $items = $cache->get($calendar_id);

    if ( ! $items )
    {
        $items = $gcal->events->list(calendarId => $calendar_id, body => $req_body)->execute({ auth_driver => $auth_driver });
        $cache->set($calendar_id => $items, $cache_duration_of{$calendar_id}) if $items;
    }

    return $items;
}

sub get_date_using_datetime { local $_ = $_[0]; s/(.+)T.+/$1/; $_; }
sub get_time_using_datetime { local $_ = $_[0]; s/.+T([0-9][0-9]:[0-9][0-9]):[0-9][0-9]\+.+/$1/; $_; }

sub make_xml
{
    my $items = shift;

    my $data = {};
    $data->{event} = ();

    my $i = 0;

    for my $item (@{$items})
    {
        my $event = {};

        my $startdate = $item->{start}{date} ? $item->{start}{date} : get_date_using_datetime($item->{start}{dateTime});
        my $enddate   = $item->{end}{date}   ? $item->{end}{date}   : get_date_using_datetime($item->{end}{dateTime});

        $event->{id}        = ++$i;
        $event->{name}      = $item->{summary};
        $event->{startdate} = $startdate;
        $event->{enddate}   = $enddate;

        $event->{color} = '#ffb128';
        $event->{color} = '#ddeeff' if $item->{organizer}{email} ne $myemail;

        $event->{starttime} = get_time_using_datetime($item->{start}{dateTime}) if $item->{start}{dateTime};
        $event->{endtime}   = get_time_using_datetime($item->{end}{dateTime})   if $item->{end}{dateTime};

        push(@{$data->{event}}, $event);
    }

    return XML::Simple::XMLout($data, RootName => 'monthly', XMLDecl => '<?xml version="1.0"?>', NoAttr => 1);
}

以下のようにXMLが出力されます。

<?xml version="1.0"?>
<monthly>
  <event>
    <name>練習(雨天中止)</name>
    <color>#ffb128</color>
    <enddate>2016-02-14</enddate>
    <endtime>15:30</endtime>
    <id>1</id>
    <startdate>2016-02-14</startdate>
    <starttime>11:00</starttime>
  </event>
  <event>
    <name>試合!</name>
    <color>#ffb128</color>
    <enddate>2016-03-26</enddate>
    <endtime>16:00</endtime>
    <id>2</id>
    <startdate>2016-03-26</startdate>
    <starttime>14:00</starttime>
  </event>
  <event>
    <name>グランド練習</name>
    <color>#ffb128</color>
    <enddate>2016-02-20</enddate>
    <endtime>16:00</endtime>
    <id>3</id>
    <startdate>2016-02-20</startdate>
    <starttime>14:00</starttime>
  </event>
  <event>
    <name>練習</name>
    <color>#ffb128</color>
    <enddate>2016-02-28</enddate>
    <endtime>15:00</endtime>
    <id>4</id>
    <startdate>2016-02-28</startdate>
    <starttime>10:00</starttime>
  </event>
  <event>
    <name>練習</name>
    <color>#ffb128</color>
    <enddate>2016-03-06</enddate>
    <endtime>15:00</endtime>
    <id>5</id>
    <startdate>2016-03-06</startdate>
    <starttime>10:00</starttime>
  </event>
  <event>
    <name>練習</name>
    <color>#ffb128</color>
    <enddate>2016-03-13</enddate>
    <endtime>15:00</endtime>
    <id>6</id>
    <startdate>2016-03-13</startdate>
    <starttime>10:00</starttime>
  </event>
  <event>
    <name>練習</name>
    <color>#ffb128</color>
    <enddate>2016-04-03</enddate>
    <endtime>15:00</endtime>
    <id>7</id>
    <startdate>2016-04-03</startdate>
    <starttime>10:00</starttime>
  </event>
  <event>
    <name>練習</name>
    <color>#ffb128</color>
    <enddate>2016-03-20</enddate>
    <endtime>15:00</endtime>
    <id>8</id>
    <startdate>2016-03-20</startdate>
    <starttime>10:00</starttime>
  </event>
  <event>
    <name>敬老の日</name>
    <color>#ddeeff</color>
    <enddate>2015-09-22</enddate>
    <id>9</id>
    <startdate>2015-09-21</startdate>
  </event>
  <event>
    <name>国民の休日</name>
    <color>#ddeeff</color>
    <enddate>2015-09-23</enddate>
    <id>10</id>
    <startdate>2015-09-22</startdate>
  </event>
  <event>
    <name>秋分の日</name>
    <color>#ddeeff</color>
    <enddate>2015-09-24</enddate>
    <id>11</id>
    <startdate>2015-09-23</startdate>
  </event>
  <event>
    <name>文化の日</name>
    <color>#ddeeff</color>
    <enddate>2015-11-04</enddate>
    <id>12</id>
    <startdate>2015-11-03</startdate>
  </event>
  <event>
    <name>元日</name>
    <color>#ddeeff</color>
    <enddate>2016-01-02</enddate>
    <id>13</id>
    <startdate>2016-01-01</startdate>
  </event>
  <event>
    <name>昭和の日</name>
    <color>#ddeeff</color>
    <enddate>2016-04-30</enddate>
    <id>14</id>
    <startdate>2016-04-29</startdate>
  </event>
  <event>
    <name>憲法記念日</name>
    <color>#ddeeff</color>
    <enddate>2016-05-04</enddate>
    <id>15</id>
    <startdate>2016-05-03</startdate>
  </event>
  <event>
    <name>体育の日</name>
    <color>#ddeeff</color>
    <enddate>2015-10-13</enddate>
    <id>16</id>
    <startdate>2015-10-12</startdate>
  </event>
  <event>
    <name>みどりの日</name>
    <color>#ddeeff</color>
    <enddate>2016-05-05</enddate>
    <id>17</id>
    <startdate>2016-05-04</startdate>
  </event>
  <event>
    <name>海の日</name>
    <color>#ddeeff</color>
    <enddate>2016-07-19</enddate>
    <id>18</id>
    <startdate>2016-07-18</startdate>
  </event>
  <event>
    <name>勤労感謝の日</name>
    <color>#ddeeff</color>
    <enddate>2015-11-24</enddate>
    <id>19</id>
    <startdate>2015-11-23</startdate>
  </event>
  <event>
    <name>天皇誕生日</name>
    <color>#ddeeff</color>
    <enddate>2015-12-24</enddate>
    <id>20</id>
    <startdate>2015-12-23</startdate>
  </event>
  <event>
    <name>春分の日</name>
    <color>#ddeeff</color>
    <enddate>2016-03-21</enddate>
    <id>21</id>
    <startdate>2016-03-20</startdate>
  </event>
  <event>
    <name>春分の日 振替休日</name>
    <color>#ddeeff</color>
    <enddate>2016-03-22</enddate>
    <id>22</id>
    <startdate>2016-03-21</startdate>
  </event>
  <event>
    <name>こどもの日</name>
    <color>#ddeeff</color>
    <enddate>2016-05-06</enddate>
    <id>23</id>
    <startdate>2016-05-05</startdate>
  </event>
  <event>
    <name>成人の日</name>
    <color>#ddeeff</color>
    <enddate>2016-01-12</enddate>
    <id>24</id>
    <startdate>2016-01-11</startdate>
  </event>
  <event>
    <name>建国記念の日</name>
    <color>#ddeeff</color>>
    <enddate>2016-02-12</enddate>
    <id>25</id>
    <startdate>2016-02-11</startdate>
  </event>
</monthly>

Googleカレンダーが終了時刻それ自体はイベントの期間に含めない(不等号に「=(イコール)」が付くかどうかの違いのようなもの) のに対して、monthly.js は終了時刻それ自体をイベントの期間に含めるという違いがあるため、endtime(enddateじゃなくて)がない場合は、enddate を一日早めるという面倒な処理が追加で必要になります。(上記のコードではそれが追加されていないので注意。)

上記の面倒な処理を終えて「monthly.js」のマニュアルを読んでWebアプリに組み込むと、以下のように美しく表示できるようになります。ちなみに、高速で「月」を切り替えるとイベントが移動したり増殖したりする「monthly.js」のバグを作り終えてから発見しました。(ぎりぎりクリティカルなバグでもないかというあんばいですが…)

スクリーンショット 2016-02-18 0.34.09

スクリーンショット 2016-02-18 0.34.24

お疲れ様です。( ´Д`)=3

2015/01/15(木)Python勉強メモ#2「Unicodeブロック:Hiragana の文字をすべて出力せよ」

#!/usr/bin/env python
for cp in range(0x3040, 0x30A0): print(chr(cp), end=' ')

出力:

぀ ぁ あ ぃ い ぅ う ぇ え ぉ お か が き ぎ く ぐ け げ こ ご さ ざ し じ す ず せ ぜ そ ぞ た だ ち ぢ っ つ づ て で と ど な に ぬ ね の は ば ぱ ひ び ぴ ふ ぶ ぷ へ べ ぺ ほ ぼ ぽ ま み む め も ゃ や ゅ ゆ ょ よ ら り る れ ろ ゎ わ ゐ ゑ を ん ゔ ゕ ゖ ゗ ゘ ゙ ゚ ゛ ゜ ゝ ゞ ゟ

ちなみにPerlで書くと↓のようになります。

#!/usr/bin/env perl
use open qw/:utf8 :std/;
print chr . ' ' for 0x3040 .. 0x309F;

16進数を「0x」で表現できる点はPythonのほうが好きです。

Perlでも「0x」使えました。(汗)

追記: Python版はリスト内包表記のほうがいいですかね。

#!/usr/bin/env python
 [ print(chr(cp), end=' ') for cp in range(0x3040, 0x30A0) ]

これでもいけますね。

#!/usr/bin/env python
print(' '.join(chr(cp) for cp in range(0x3040, 0x30A0)), end='')

2014/06/18(水)Perl Data Language 統計編 #11 「対数近似曲線を引く」

変数の個数xと計算時間yとの間に「y = b + a log_10 x」の関係があるときに、5個のデータで対数近似曲線を引く問題です。

「X = log_10 x」、「Y = y」とおいて「Y = b + aX」の形にすると解けます。

図は

  • 青の点:データの散布
  • 赤の折れ線:対数近似した折れ線
  • 緑の曲線:対数近似した曲線

を表しています。

#!/usr/bin/env perl

use strict;
use warnings;
use feature qw/say/;
use PDL::Lite;
use PDL::Stats;
use PDL::Graphics::PLplot ();
use DDP filters => { -external => [ 'PDL' ] };

my $num_var = pdl [qw/10  50  100 500  1000/];
my $time    = pdl [qw/7.2 8.5 9.1 10.3 11.0/];

my $pl = PDL::Graphics::PLplot->new(
    DEV   => 'pngcairo',
    XLAB  => '変数の個数',
    XTICK => 100,
    NXSUB => 1,
    YLAB  => '計算時間 (100ms)',
    YTICK => 2,
    NYSUB => 2,
    BOX   => [ 0, 1200, 0, 12 ],
);

$pl->xyplot($num_var, $time, PLOTTYPE => 'POINTS', COLOR => 'BLUE', SYMBOLSIZE => 2);

my $num_var_log10 = log($num_var) / log(10);
my %result = $time->ols($num_var_log10, { PLOT => 0 });

$pl->xyplot($num_var, $result{y_pred}, PLOTTYPE => 'LINE', COLOR => 'RED');

my ($a, $b) = $result{b}->list;
my $x = pdl [ 0 .. 1200 ];
my $y = $b + $a * log($x) / log(10);

$pl->xyplot($x, $y, PLOTTYPE => 'LINE', COLOR => 'GREEN');

$pl->close;

対数近似曲線

2014/06/03(火)Perl Data Language 統計編 #10 「決定係数、残差プロット、自由度調整済み決定係数、標準誤差、P値」

データは#09と同じく最高気温とアイスティーの注文数のデータです。

Perlで書くとこんな感じでした。

#!/usr/bin/env perl

use strict;
use warnings;
use feature qw/say/;
use PDL::Lite;
use PDL::Stats;
use PDL::Graphics::PLplot ();
use DDP filters => { -external => [ 'PDL' ] };

my $kion_max = pdl [qw/29 28 34 31 25 29 32 31 24 33 25 31 26 30/];
my $num_tea  = pdl [qw/77 62 93 84 59 64 80 75 58 91 51 73 65 84/];

my %result = $num_tea->ols($kion_max, { PLOT => 0 });

say "決定係数:";
say $result{R2}->sclr;
print "\n";

# 散布図と回帰直線の描画
my $pl = PDL::Graphics::PLplot->new(
    DEV  => 'pngcairo',
    FILE => 'manga.png',
    XLAB => '最高気温',
    YLAB => 'アイスティーの注文数',
    BOX  => [ 20, 35, 50, 100 ],
);

$pl->xyplot($kion_max, $num_tea, PLOTTYPE => 'POINTS', COLOR => 'BLUE', SYMBOLSIZE => 2);
$kion_max->qsort;
$pl->xyplot($kion_max, $result{y_pred}, PLOTTYPE => 'LINE', COLOR => 'RED');

$pl->close;

# 回帰残差の計算
my $residual = $num_tea - $result{y_pred};

# 残差プロット
my $pl2 = PDL::Graphics::PLplot->new(
    DEV        => 'pngcairo',
    FILE       => 'manga_residual.png',
    TITLE      => '残差プロット',
    PLOTTYPE   => 'POINTS',
    COLOR      => 'BLUE',
    SYMBOLSIZE => 2,
    XLAB       => 'アイスティーの注文数の予測値',
    YLAB       => '残差',
    NYSUB      => 2,
    BOX        => [ 50, 100, -6, 6 ],
    XBOX       => 'abcnst',
);

$pl2->xyplot($result{y_pred}, $residual);
$pl2->close;

my $residual_squared = $residual ** 2;

say "残差平方和:";
say $residual_squared->sum;
say $result{ss_residual}->sclr;
print "\n";

say "残差の分散:";
my $residual_variance = $result{ss_residual}->sclr / ($kion_max->nelem - 2);
say $residual_variance;
print "\n";

say "自由度調整済み決定係数:";
say 1 - ($residual_variance / $num_tea->var_unbiased);
print "\n";

say "回帰係数の標準誤差:";
say $result{b_se};
print "\n";

say "P値:";
say sprintf("%.8f", $result{b_p}->sclr);

出力↓

決定係数:
0.822509288116695

残差平方和:
391.088105726872
391.088105726872

残差の分散:
32.5906754772394

自由度調整済み決定係数:
0.807718395459753

回帰係数の標準誤差:
[0.50124814  14.687267]

P値:
0.00000766

残差プロット

散布図と回帰直線は前回と同様です。 回帰直線

2014/06/03(火)Perl Data Language 統計編 #09 「回帰直線を引く」

統計検定から少し寄り道して、「マンガでわかる統計学[回帰分析編]」の回帰直線を引くコードを書いていました。

最高気温とアイスティーの注文数のデータに対する回帰直線です。

一方向性の因果関係を想定する場合、散布図は、X軸に原因系の変数をとってY軸に結果系の変数をとったものにするようです。

#!/usr/bin/env perl

use strict;
use warnings;
use feature qw/say/;
use PDL::Lite;
use PDL::Stats;
use PDL::Graphics::PLplot ();
use DDP filters => { -external => [ 'PDL' ] };

my $kion_max = pdl [qw/29 28 34 31 25 29 32 31 24 33 25 31 26 30/];
my $num_tea  = pdl [qw/77 62 93 84 59 64 80 75 58 91 51 73 65 84/];

say '相関係数:' . $kion_max->corr($num_tea);

my ($a, $b) = $num_tea->ols($kion_max, { PLOT => 0 })->list;

my $pl = PDL::Graphics::PLplot->new(
    DEV  => 'pngcairo',
    FILE => 'manga.png',
    XLAB => '最高気温',
    YLAB => 'アイスティーの注文数',
    BOX  => [ 20, 35, 50, 100 ],
);

$pl->xyplot($kion_max, $num_tea, PLOTTYPE => 'POINTS', COLOR => 'BLUE', SYMBOLSIZE => 2);
$kion_max->qsort;
$pl->xyplot($kion_max, $kion_max * $a + $b, PLOTTYPE => 'LINE', COLOR => 'RED');

$pl->close;

回帰直線

追記: olsメソッドの戻り値のy_predに予測値が入っているので、それを使うほうが効率いいですね。戻り値はPerlのコンテキストに応じて変わります。

#!/usr/bin/env perl

use strict;
use warnings;
use PDL::Lite;
use PDL::Stats;
use PDL::Graphics::PLplot ();

my $kion_max = pdl [qw/29 28 34 31 25 29 32 31 24 33 25 31 26 30/];
my $num_tea  = pdl [qw/77 62 93 84 59 64 80 75 58 91 51 73 65 84/];

my %result = $num_tea->ols($kion_max, { PLOT => 0 });

my $pl = PDL::Graphics::PLplot->new(
    DEV  => 'xcairo',
    XLAB => '最高気温',
    YLAB => 'アイスティーの注文数',
    BOX  => [ 20, 35, 50, 100 ],
);

$pl->xyplot($kion_max, $num_tea, PLOTTYPE => 'POINTS', COLOR => 'BLUE', SYMBOLSIZE => 2);
$kion_max->qsort;
$pl->xyplot($kion_max, $result{y_pred}, PLOTTYPE => 'LINE', COLOR => 'RED');

$pl->close;

出力される図は全く同一です。

OK キャンセル 確認 その他