Cocoaの日々

AVFoundation を使い、タッチでフォーカスと露出を決められるカスタムカメラを作る。今日の主題はタッチフォーカス＆露出なのでプレビューを表示するだけで撮影（画像の保存）は実装していない。

サンプル

まずはサンプルから。起動すると真ん中に四角が表示される。

この状態で任意の場所をタッチするとそこにフォーカスと露出が合う。

手前を合わせてみた。

実装 - プレビュー

カメラ入力をプレビュー表示する部分の説明は今回割愛する。この辺りは下記のドキュメントが詳しい。ひと通り読めば簡単に実装できる。

AV Foundation プログラミングガイド

もしくは



など。後者の本は iOS4 となっているが iOS5 でも十分に役立つ情報が掲載されている。おすすめの本。

実装 - フォーカスと露出

任意の点にフォーカスと露出をあわせるプロパティが用意されている。

AVCaptureDevice.h

@property(nonatomic) CGPoint focusPointOfInterest;
@property(nonatomic) CGPoint exposurePointOfInterest;

基本的にはここにフォーカスもしくは露出を合わせたい座標を入れればいい。

ただしこのプロパティに設定する値は次のルールに従う必要がある。

(1) 0.0〜1.0 に正規化した値
(2) ランドスケープ（横向き/ホームボタン右）の時の左上を原点とする座標系

「AVFoundation プログラミングガイド(PDF）」によれば次のように解説されている。

ホームボタンが右側になる横長モードでは、{0,0}が画像領域の左上を表し、{1,1}が右下を表します。これ
は、デバイスが縦長モードであっても同じです。

つまり通常のポートレイト（縦向き/ホームボタン下）の状態の時に画面上のタッチ位置をこれらに反映させるには、(1)の正規化と(2)の座標系への変換が必要になる。

(1)の正規化は単純に大きさで位置座標を割ってやれば良い。 (x/width, y/height)

ポートレイトの座標系（左上が原点）を使っている時のそれぞれの座標系の関係はこんな感じ。

x と y を入れ替えて、かつ y軸の方向に反転してやればいい。これは(1)の正規化が済んでいれば簡単にできる。

サンプルでのコードはこんな感じ。

- (void)setPoint:(CGPoint)p
{
    CGSize viewSize = self.view.bounds.size;
    CGPoint pointOfInterest = CGPointMake(p.y / viewSize.height,
                                          1.0 - p.x / viewSize.width);

フォーカスの場合は、この値を focusPointOfInterest へ渡し、focusMode を設定すれば良い。こんな感じ。

if ([videoCaptureDevice isFocusPointOfInterestSupported] &&
            [videoCaptureDevice isFocusModeSupported:AVCaptureFocusModeAutoFocus]) {
            videoCaptureDevice.focusPointOfInterest = pointOfInterest;
            videoCaptureDevice.focusMode = AVCaptureFocusModeAutoFocus;
        }

露出の方は、exposurePointOfInterest 渡すだけでは駄目で、もう少し手間が必要となる。

if ([videoCaptureDevice isExposurePointOfInterestSupported] &&
            [videoCaptureDevice isExposureModeSupported:
                  AVCaptureExposureModeContinuousAutoExposure]){
            self.adjustingExposure = YES;
            videoCaptureDevice.exposurePointOfInterest = pointOfInterest;
            videoCaptureDevice.exposureMode =
                  AVCaptureExposureModeContinuousAutoExposure;
        }

ここまではフォーカスとほぼ同じ。これに加えて露出の場合は、exposurePointOfInterest設定後に AVCaptureDevice の adjustingExposure プロパティを監視しこの値が NO（つまり露出合わせが終了）になったタイミングで exposureMode を AVCaptureExposureModeLocked にする必要がある。

- (void)viewDidLoad
{
   :
            [videoCaptureDevice addObserver:self
                                 forKeyPath:@"adjustingExposure"
                                    options:NSKeyValueObservingOptionNew
                                    context:nil];
   :

監視を設定しておき値が変化したら処理をする。

- (void)observeValueForKeyPath:(NSString *)keyPath
  ofObject:(id)object change:(NSDictionary *)change context:(void *)context
{
    if (!self.adjustingExposure) {
        return;
    }
    
 if ([keyPath isEqual:@"adjustingExposure"]) {
  if ([[change objectForKey:NSKeyValueChangeNewKey] boolValue] == NO) {
            self.adjustingExposure = NO;
            AVCaptureDevice* videoCaptureDevice =
            [AVCaptureDevice defaultDeviceWithMediaType:AVMediaTypeVideo];
            
   NSError *error = nil;
   if ([videoCaptureDevice lockForConfiguration:&error]) {
     [videoCaptureDevice setExposureMode:AVCaptureExposureModeLocked];
    [videoCaptureDevice unlockForConfiguration];
   }
  }
 }
}

試してみよう。まずは右にある MacBook Pro の明るい部分に合わせた。

次に手前の暗い 3GS。

うまくいったようだ。

ソースコード

GitHub からどうぞ。
CameraSample at 2011-12-02 from xcatsan/iOS-Sample-Code - GitHub

参考情報

iPhone4でサポートされてない露出モードのエラーが出たけど - Debian GNU/Linux 3.1 on PowerMac G4

露出の位置指定はここの情報が参考になった（紹介されているコードは若干不備がある 2011-12-03追記：記事著者の方が修正してくれました。素早い！）。また毎回値監視をつけたり外したりするのは管理しずらいのでサンプルでは viewDidLoad で監視を開始している（監視外しは今見たら入れ忘れてた→dealloc, viewidiUnloadなどに入れておく）。

これだけ。自分のリポジトリに Forkされたリポジトリが作成される。

一旦、Fork したものは自分ですきなようにできる。例では MTStatusBarOverlay というライブラリを Fork してみた。

このライブラリにはサンプルアプリが付いていなかったので自分で作ってみる。Forkした先ほどのリポジトリを Clone して手元の PCへ持ってくる。

（参考）

Xcode でプロジェクトを開き、新しいターゲットを追加する。


完了。

Mac OS X 10.7 から XPC Services という仕組みが導入された。

リファレンスによれば XPC Services は単一のアプリケーション専用に利用できる軽量なヘルパーツール（lightweight helper tools）と定義されている。アプリのバンドル内に組み込んで実行時に利用するのでこの点を見れば通常のライブラリと似ている。ライブラリと大きく異なるのは、XPC Services はアプリとは独立して動作していて、XPC Services がクラッシュしてもアプリに影響を与えない点。XPC Services は launchd管理下にあり、起動・停止の他、クラッシュした場合の再起動まで面倒見てくれる。こう見ると XPC Services はOS上のプロセスに近い（プロセスなのかまでは調べきれなかったがプロセス間通信と説明されているのでそうなんだと思う。Mac OS X で何か軽量なプロセスが用意されているのだろうか。）。

アプリが XPC Services を利用する場合は XPC Services API を利用する。このAPIは GCDをサポートしている。


XPC Services を使う用途として次の２点が挙げられている。

1. 安定性の向上 〜 XPC Services が落ちてもアプリには影響を与えない。
2. セキュリティの向上 〜 XPC Services毎にアクセス制御を細かく設定できて、アクセス可能な範囲を本体のアプリとは分離できる。Sandboxでの利用が想定されている。

Xcode4.2では XPC作成用のテンプレートが用意されている。
XPCを利用するには XPCをテンプレートから作成し、アプリに組み込めば良い。

以下はテンプレートから生成されたコード。

static void TestService_peer_event_handler(xpc_connection_t peer, xpc_object_t event) 
{
 xpc_type_t type = xpc_get_type(event);
 if (type == XPC_TYPE_ERROR) {
  if (event == XPC_ERROR_CONNECTION_INVALID) {
   // The client process on the other end of the connection has either
   // crashed or cancelled the connection. After receiving this error,
   // the connection is in an invalid state, and you do not need to
   // call xpc_connection_cancel(). Just tear down any associated state
   // here.
  } else if (event == XPC_ERROR_TERMINATION_IMMINENT) {
   // Handle per-connection termination cleanup.
  }
 } else {
  assert(type == XPC_TYPE_DICTIONARY);
  // Handle the message.
 }
}

static void TestService_event_handler(xpc_connection_t peer) 
{
 // By defaults, new connections will target the default dispatch
 // concurrent queue.
 xpc_connection_set_event_handler(peer, ^(xpc_object_t event) {
  TestService_peer_event_handler(peer, event);
 });
 
 // This will tell the connection to begin listening for events. If you
 // have some other initialization that must be done asynchronously, then
 // you can defer this call until after that initialization is done.
 xpc_connection_resume(peer);
}

int main(int argc, const char *argv[])
{
 xpc_main(TestService_event_handler);
 return 0;

一種のサーバとして動作するのでイベントが来たときの処理を書いていく。


アプリは XPC Services のconnection系 APIを使い、アプリと XPC間で通信を行う。以下は connection.h で定義されている関数。

xpc_connection_cancel
xpc_connection_create
xpc_connection_get_asid
xpc_connection_get_context
xpc_connection_get_egid
xpc_connection_get_euid
xpc_connection_get_name
xpc_connection_get_pid
xpc_connection_resume
xpc_connection_send_message
xpc_connection_send_message_with_reply
xpc_connection_send_message_with_reply_sync
xpc_connection_set_context
xpc_connection_set_event_handler
xpc_connection_set_finalizer_f
xpc_connection_set_target_queue
xpc_connection_suspend

参考情報

Mac OS X Technology Overview: Kernel and Device Drivers Layer
XPCの紹介


Daemons and Services Programming Guide: Designing Daemons and Services



Daemons and Services Programming Guide: Creating XPC Services


API Reference: XPC Services API Reference


App Sandbox Design Guide: App Sandbox in Depth
Sandbox での XPCの利用について。


- - - -
単一アプリ専用のプロセスを動かして利用するというアイディアは面白い。Sandbox での安全性を高めるのが目的と思われるが、うまく使えば再利用性の高い簡易サーバプロセスとして利用できそう。

サイトを新設しました。


最近このブログでiOSの開発情報提供を積極的にやってきましたが今後は「Cocoaの日々情報局」にその役割を移します。このブログ「Cocoaの日々」は前までのスタイル（開発日誌、検証情報や自作ライブラリの紹介など）に戻ります。

興味があれば新しいサイトをのぞいてみて下さい。
今後もよろしくお願いします。

例えば UIKeyboardWillChangeFrameNotification の通知を受け取りたい。普通に NSNotificationCenter へ登録すればいいのだが、iOS 4 でこれを実行するとクラッシュする。
この通知は iOS5 から導入された新しいもので iOS4 に無いのが原因。この通知名は NSString* const で定義されている。

// UIWindow.h

UIKIT_EXTERN NSString *const UIKeyboardWillChangeFrameNotification
     __OSX_AVAILABLE_STARTING(__MAC_NA,__IPHONE_5_0);

そこでこの定数の有無をチェックしたい。調べると Appleがドキュメントを出していた。

SDK Compatibility Guide: Using SDK-Based Development

この中に通知に関する記述がある（以下、引用）。

Check the availability of an external (extern) constant or a notification
name by explicitly comparing its address—and not the symbol’s bare name—to NULL or nil.

なるほど通知名のアドレスが NULLかどうかをチェックすれば良いらしい。さっきのコードはこう書ける。

if (&UIKeyboardWillChangeFrameNotification != NULL) {
        [[NSNotificationCenter defaultCenter] addObserver:self
                                                 selector:@selector(keyboardWillChangeFrame:)
                                                     name:UIKeyboardWillChangeFrameNotification
                                                   object:nil];

通知シンボルの前にアドレスを表す & を付けるのがポイント。これを忘れるとやっぱり EXC_BAD_ADDRESS でクラッシュ。

- - - - -
上述の Apple のリファレンスには他にも互換性を保つための実装情報が載っていて参考になる。

+allocWithZone: までもオーバーライドしてとことんシングルトンにこだわった記事。大抵の場合ここまで必要は無いと思うがいつか役にたつかも。

参考情報

Cocoaの日々: [iOS][Mac] dispatch_once を使ったシングルトン

ポスト ASIHTTPRequest と注目されているネットワークライブラリ。


並列実行に NSOperation を使い Blocks を使った APIを提供している。

用意されているクラス、プロトコル、カテゴリの一覧

AFHTTPClient
AFHTTPRequestOperation
AFImageCache
AFImageRequestOperation
AFJSONRequestOperation
AFNetworkActivityIndicatorManager
AFPropertyListRequestOperation
AFURLConnectionOperation
AFXMLRequestOperation
Protocol References
AFMultipartFormData
UIImageView(AFNetworking)

基本となるHTTPアクセスの他、画像のキャッシュや JSON/XML/PropertyList処理なども用意されている。

以下、READMEから抜粋。

// JSON Request
NSURLRequest *request = [NSURLRequest requestWithURL:
    [NSURL URLWithString:@"https://gowalla.com/users/mattt.json"]];
AFJSONRequestOperation *operation =
    [AFJSONRequestOperation JSONRequestOperationWithRequest:request
        success:^(NSURLRequest *request, NSHTTPURLResponse *response, id JSON) {
            NSLog(@"Name: %@ %@", [JSON valueForKeyPath:@"first_name"],
                   [JSON valueForKeyPath:@"last_name"]);
        } failure:nil];

NSOperationQueue *queue = [[[NSOperationQueue alloc] init] autorelease];
[queue addOperation:operation];

データの種類ごと（上記例は JSON）に用意された AFHTTPRequestOperation を作成し、ここに Blocksで成功時の処理を書いておく。それを最後に NSOperationQueue へ投入するだけ。いくつかステップを踏む必要はあるが元々の NSOperation系APIを素直に活用しているので汎用性がある（あ、 JSONライブラリを別途用意する必要も無いのか）。

// Image Request
UIImageView *imageView = [[UIImageView alloc]
   initWithFrame:CGRectMake(0.0f, 0.0f, 100.0f, 100.0f)];
[imageView setImageWithURL:[NSURL URLWithString:@"http://i.imgur.com/r4uwx.jpg"]
    placeholderImage:[UIImage imageNamed:@"placeholder-avatar"]];

URLから画像を取得して直接 UIImageViewを作成するメソッドもある。これは簡単でいいかも。

// File Upload with Progress Callback
NSData *imageData = UIImageJPEGRepresentation([UIImage imageNamed:@"avatar.jpg"], 0.5);
NSMutableURLRequest *request = [[AFHTTPClient sharedClient]
   multipartFormRequestWithMethod:@"POST" path:@"/upload"
   parameters:nil constructingBodyWithBlock: ^(id formData) {
  [formData appendPartWithFileData:data mimeType:@"image/jpeg" name:@"avatar"];
}];

AFHTTPRequestOperation *operation = [[[AFHTTPRequestOperation alloc]
   initWithRequest:request] autorelease];
[operation setUploadProgressBlock:
  ^(NSUInteger totalBytesWritten, NSUInteger totalBytesExpectedToWrite) {
    NSLog(@"Sent %d of %d bytes", totalBytesWritten, totalBytesExpectedToWrite);
}];

NSOperationQueue *queue = [[[NSOperationQueue alloc] init] autorelease];
[queue addOperation:operation];

POST/マルチパートによるファイルアップロード処理。簡潔でわかりやすい。setUploadProgressBlock: で進捗状況をハンドリング可能。

- - - -
比較的抽象度が高く複雑な記述なしに簡単に利用できそう。ASIHTTPRequest が機能を重ねていってAPIが肥大化気味で複雑になってしまったのに対し、よく使われる機能だけに的を絞ったある意味潔いシンプルなAPI思想が個人的には気に入った。実際に使って試してみたい。

参考情報

AFNetworking Reference
AFNetworking のリファンレンスマニュアル（appledoc）

iPhone アプリ開発コミュニティのネットワークライブラリが ASIHTTPRequest から AFNetworking への移行の流れ? - laiso - iPhoneアプリ開発グループ
...と、いうことらしい。ASIHTTPRequest のメンテが終了とは知らなかった。うーむ。

人気があるのは確かなようで GitHub の Weekly/Monthly Most Wached Project としても最近上位に来ている。
watch と fork は 1,283 123　と ASIHTTPRequest にはまだ及ばないものの相当数ある。

Gowalla Engineering / AFNetworking: A Delightful Networking Library for iOS and Mac OS X

AFNetworkingの解説記事。