Comparación entre TestFlight Live, QuincyKit y Crashlytics

Voy a lanzar mi aplicación en AppStore y me gustaría hacer un seguimiento de los lockings y solucionarlos lo antes posible. Si es posible, sería bueno recostackr también alguna información adicional sobre la actividad del usuario y otras cosas útiles. Para ello, he buscado algunas herramientas de informes de fallos y las más interesantes que he encontrado son: TestFlight Live , QuincyKit y Crashlytics .

Entre esos tres, QuincyKit debería ser el más ligero, pero los otros dos parecen ser bastante interesantes, ya que proporcionan informes más sofisticados y otras cosas interesantes.

Mi objective es tener la mayor cantidad de información posible sobre cualquier problema que pueda experimentar el usuario, pero al mismo time no quiero hacer que la aplicación sea más lenta o consumir más resources.

  1. En su opinión y desde su experiencia personal, ¿cuál de estas herramientas es la mejor (teniendo en count mi objective y mis necesidades)?
  2. ¿Al usar TestFlight Live o Crashlytics haría que mi aplicación fuera demasiado lenta?
  3. ¿Existe el riesgo de sobrecargar el dispositivo?
  4. Los informes proporcionados por QuincyKit son suficientemente precisos? ¿Cuántas informaciones puedo recuperar de ellas?

¡Gracias!

Esto es lo que decidí:

Estoy usando Crashlytics para los informes de fallas (sí, parece ser realmente genial) y TestFlight para rastrear la actividad del usuario (los puntos de control son realmente útiles para averiguar qué hacen los usuarios en general y averiguar cuál es la tendencia). Seguí las instrucciones escritas aquí

Sinceramente creo que Crashlytics es una mejor solución que Testflight para reportes de fallas.

Esto es lo que obtienes con Crashlytics que no obtienes con los demás.

  • Duplicación de sacrificio (TF lo hace también, pero no es demasiado bueno para eso, Crashlytics es condenadamente perfecto)
  • De hecho, puede marcar los lockings como cerrados / resueltos y sacarlos de su list para una versión determinada.
  • Crashlytics hace todo lo que hace el informe Crash de TF, pero mejor y más (loggings, rastros de stack, etc.)
  • Porcentaje de usuarios afectados, y los numbers que van con eso. (es decir: ¿debería corregir el error que le sucedió a un chico, o el que está pasando a 10k?) Testflight no le dice esto.
  • Priorización basada en la ocurrencia. Esta es probablemente la ganancia más importante en mi opinión.

Estos son solo algunos, pero creo que probablemente sean los más importantes para ti.

Utilizamos los informes de fallos de Testflight durante casi 2 años en una aplicación extremadamente popular (varios millones de D / L). Definitivamente es mejor que nada, y muy conveniente si está utilizando TF para su distribución, sin embargo, obtendrá muchos más beneficios de Crashlytics. Cambiamos a Crashlytics este verano y ahora somos capaces de manejar los lockings y tomar decisiones inteligentes sobre qué solucionar y cuándo, en lugar de simplemente search en una list gigante sin fin.

Veo que ya aceptaste una respuesta, pero seria seriamente darle otra mirada incluso si optas por continuar con Testflight. Me resulta difícil comprender lo que te falta hasta que tu aplicación se envíe, momento en el que es aún más difícil de cambiar.

Crashlytics es insuperable para los informes de fallas .

Estábamos en el mismo barco que intentas encontrar la mejor solución de informes de fallas. Después de algunas investigaciones exhaustivas y testings de testing de TestFlight, HockeyApp y Crashlytics, elegimos originalmente HockeyApp porque nos permitieron la distribución beta junto con los informes de fallos tanto en iOS como en Android (queríamos ambos en una solución para ambas plataforms). Sin embargo, el retroceso de excepciones de HockeyApp simplemente no nos proporcionó ningún detalle adicional de falla. Aquí es donde brilla Crashlytics . Su retracción de excepciones es increíble. Período.

Entonces, aquí está mi resumen de los 3 SDK:

Crashlytics

  • Informe de fallas # 1
  • # 1 exception backtracing, barra ninguno (proporciona detalles de choque extra muy útiles)
  • Extremadamente rápido y ligero
  • Registro de teclas personalizadas para un context de locking adicional
  • Mejor duplicación de reconocimiento de choque y sacrificio selectivo
  • Actualizaciones automáticas de SDK (su aplicación Mac actualiza automáticamente el SDK de iOS de Crashlytics en su proyecto)
  • No hay distribución beta (me encantaría una solución integral para informes de fallos y distribución beta)
  • Soporte automático del server de compilation

Vuelo de testing

  • Algo pesado y agrega hinchazón a su package de aplicaciones.
  • Gran distribución beta
  • Sin soporte para Android (al less cuando probamos hace más de 6 meses)

HockeyApp (HockeyKit – Distribución Beta, QuincyKit – Informes de locking)

  • Ligero
  • Crash que informa la interfaz de usuario un poco confuso
  • Excepción atrasada severamente limitada (al less cuando probamos en marzo de 2011)
  • Muy buena distribución beta

Dicho todo esto, elegimos Crashlytics para informes de fallos y HockeyApp para distribución beta. Pero debe elegir qué funciona mejor para sus necesidades.

Definitivamente recomiendo Crashlytics también.

TestFlight Live me ha dado problemas en el pasado. Parece que cada vez que voy a usar TestFlight, está en desuso de todos modos.

Crashlytics es increíble. Este es el por qué:

  • Agregarlo a su proyecto no podría ser más fácil. Hay una aplicación para Mac que hace la mayor parte del trabajo duro para usted.
  • Se actualiza automáticamente
  • Prioriza los crashs por usted
  • Proporciona statistics prácticas como porcentajes de sistema operativo y dispositivo, así como memory disponible, etc.

Uso Crashlytics en todas mis aplicaciones. Lo agregué a Hipstamatic cuando estuve allí y la información que obtuvimos fue impactante. Realmente ayudó a mejorar nuestro producto. También probé TestFlight Live y lo eliminé rápidamente después de la primera beta, ya que causaba fallas.

Crashlytics es increíble. Deberías usarlo

Si solo hablamos de informes de fallos, Crashlytics es mucho mejor que TestFlight. (Nunca probé QuincyKit, así que no puedo comparar las 3 opciones)

Hemos estado usando Crashlytics durante más de un año en Weddar y ha sido genial. Después de haber probado otras soluciones antes de decir que antes de instalarlo sospechaba las excelentes características que estaban indicando, pero la installation se hizo en aproximadamente 5 minutos y solo agregó 40-45Kb a la aplicación.

Los informes de fallos son increíblemente detallados, lo que hace que sea muy rápido para identificar soluciones para los errores y las actualizaciones de los sdk son bastante estables y estables. El equipo también es increíblemente solidario. Recuerdo que tuvimos un problema con los nuevos ARM7 cuando salió el iPhone5 y lo resolvieron en unos 30 minutos.

Utilizo TestFlight para la gestión de testings beta del usuario, así que he probado TestFlight Live SDK en el verano solo para ver si era una solución tener todo integrado en un service, pero tuvimos una experiencia muy mala con él. Tuve 2 actualizaciones rechazadas en la App Store Approval por primera vez (Weddar se lanzó en abril de 2011) y perdimos cerca de un mes tratando de detectar el error. Cuando las testings beta LIVE, ningún usuario se queja de ningún problema, lo "solucionamos" eliminando el TF SDK. Nunca entendí completamente cuál era el problema. Nos pusimos en contacto con el equipo de TestFlight y nunca tuvimos contacto. (Otro gran detalle es que TF SDK agregó aproximadamente 800 KB a nuestra aplicación).

Por lo tanto, incluso si todavía utilizo TestFLight para las testings beta, si buscas un gran y ligero informe de fallos SDK, definitivamente digo que deberías usar Crashlytics.

Espero que esto ayude.

Diría que vaya con TestFlight (Live)

En mi experiencia, el TestFlight SDK no bloqueará / ralentizará tu dispositivo y tiene informes de fallas muy versátiles, lo que te permite depurar los errores reportados con bastante precisión.

TestFlight también funciona como un package de comentarios para cuando estás probando en desarrollo.

También es un SDK bastante liviano.

Para ser más específico (al responder a su list de preguntas):

  1. TestFlight le permite escalar para los "puntos de control" de los usuarios y tiene su propia versión de NSLog que le permite registrar dinámicamente events en time de ejecución.
  2. Su aplicación no se ralentizaría debido a que las requestes de networking se manejan fuera del hilo principal.
  3. No entiendo por qué un dispositivo se sobrecargaría al usar cualquiera de los SDK que has mencionado.
  4. Los informes de QuincyKit parecen razonablemente precisos, sin embargo, debe decidir por sí mismo la precisión que necesita: puede encontrar aquí los documentos de QuincyKit.